CN116155298A - 一种基于互联网数据的船闸远程管理系统 - Google Patents
一种基于互联网数据的船闸远程管理系统 Download PDFInfo
- Publication number
- CN116155298A CN116155298A CN202310424879.1A CN202310424879A CN116155298A CN 116155298 A CN116155298 A CN 116155298A CN 202310424879 A CN202310424879 A CN 202310424879A CN 116155298 A CN116155298 A CN 116155298A
- Authority
- CN
- China
- Prior art keywords
- data
- time period
- adjustment
- time
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3064—Segmenting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/40—Transportation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/30—Information sensed or collected by the things relating to resources, e.g. consumed power
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
- G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6041—Compression optimized for errors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/30—Flood prevention; Flood or storm water management, e.g. using flood barriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Electric Clocks (AREA)
Abstract
本发明涉及电子数字数据处理领域,具体涉及一种基于互联网数据的船闸远程管理系统,包括数据采集模块,数据分段模块,第一门限调整系数模块,第二门限调整系数模块,数据压缩存储模块,其中:采集船闸灌泄水量的时序数据,获取若干调整时间段数据,进而获取第一门限调整系数;获取每一可能异常值的异常程度,开口大小与对比开口大小,获取第二门限调整系数;获取每一调整时间段数据的最大门限值,根据最大门限值、第一门限调整系数、第二门限调整系数获取自适应门限值,根据自适应门限值使用旋转门压缩算法进行压缩处理,获取压缩后的船闸灌泄水量数据,对船闸进行远程管理。本发明保障原始时序数据的变化特征趋势的同时提高压缩效率。
Description
技术领域
本发明涉及电子数字数据处理领域,具体涉及一种基于互联网数据的船闸远程管理系统。
背景技术
为了保障船闸远程控制的准确性,提高船闸运行的稳定性,需要实时采集并存储电压电流、实时工作次数、船闸灌泄水量等数据,其中通过传感器采集的船闸灌水及泄水数据是保证船只安全上下行的关键因素,因此对海量船闸灌泄水量时序数据进行高效压缩存储是船闸远程管理的关键因素。
由于船闸灌泄水量时序数据属于时序数据,相对于其他用于时序数据的压缩算法,旋转门压缩算法具有高效率、高压缩比、实现简单且误差可控的优点,因此,可以利用旋转门压缩算法对船闸灌泄水量时序数据进行压缩处理;现有旋转门压缩算法的压缩率与信息损失率受门限值的影响较大,当门限值较大时,会导致信息损失率较大,使得压缩后的数据趋势与原始数据趋势出现较大差异,影响船闸远程管理的准确性,当门限值较小时,由于传感器设备对船闸灌泄水数据进行采集时会出现误差,会将由于采集误差导致的异常数据与船闸出现异常时出现的异常数据同时保留,使得压缩效率较低,同时影响船闸远程管理的效率;本发明通过对不同时间段内船闸灌泄水量时序数据的变化情况进行分析,获取自适应门限值,使得压缩后的数据趋势与原始数据趋势相近同时保证了船闸灌泄水量时序数据的高效压缩,从而提高船闸远程管理的效率与准确性。
发明内容
本发明提供一种基于互联网数据的船闸远程管理系统,以解决现有的使用旋转门压缩算法对船闸灌泄水量数据进行压缩存储时,门限值选取不当影响后续船闸远程管理准确性的问题。
本发明的一种基于互联网数据的船闸远程管理系统采用如下技术方案:
本发明一个实施例提供了一种基于互联网数据的船闸远程管理系统,该系统包括以下模块:
数据采集模块:采集船闸灌泄水量的时序数据;
数据分段模块:将船闸灌泄水量的时序数据划分得到多个时间段数据,根据时间段数据时序上首位数据与末位数据的差异获取时间段数据的变化趋势,根据时间段数据间变化趋势的近似性对时间段数据进行合并,获取调整时间段数据,所述调整时间段数据包含若干时间段数据;
第一门限调整系数模块:获取调整时间段数据的变化程度阈值,根据变化程度阈值与调整时间段数据中每一时间段数据的变化趋势差异获取调整时间段数据的第一门限调整系数;
第二门限调整系数模块:获取调整时间段数据的中每一时间节点的差异程度,从而获取波动曲线,根据波动曲线的波谷点对波动曲线进行分段,获取单峰波动曲线,根据单峰波动曲线的波峰点获取异常时间节点与可能异常值,根据每一时间节点的差异程度获取每一单峰波动曲线的开口大小与对比开口大小,根据变化程度阈值与异常时间节点的相邻时间节点船闸灌泄水数据的差异获取可能异常值的异常程度,根据开口大小、对比开口大小、异常程度获取可能异常值的误差可能性,对调整时间段数据的所有可能异常值的误差可能性累加求和获取调整时间段数据的误差总和,根据调整时间段数据的误差总和、调整时间段数据中可能异常值的误差可能性及差异程度获取调整时间段数据的第二门限调整系数;
数据压缩存储模块:将调整时间段数据的所有差异程度中最大值记为调整时间段数据的最大门限值,根据调整时间段数据的最大门限值、第一门限调整系数、第二门限调整系数获取调整时间段数据的自适应门限值,根据调整时间段数据的自适应门限值使用旋转门压缩算法对调整时间段数据进行压缩存储处理,对船闸进行管理。
可选的,所述根据时间段数据间变化趋势的近似性对时间段数据进行合并,获取调整时间段数据为:
自第一时间段数据起始,获取第一时间段数据与第二时间段数据的变化趋势的乘积,若乘积小于0,将第二时间段数据与第一时间段数据断开,记第一时间段数据为新第一时间段数据,进而获取第二时间段数据与第三时间段数据的变化趋势的乘积;若第一时间段数据与第二时间段数据的变化趋势的乘积大于等于0时,将第二时间段数据与第一时间段数据连接获取连接时间段数据,连接时间段数据变化趋势为第二时间段数据与第一时间段数据的均值,进而对第三时间段数据与连接时间段数据的变化趋势的乘积进行判断,若乘积小于0,则将第三时间段与连接时间段数据断开,记连接时间段数据为新第一时间段数据;遍历所有时间段数据,对时间段数据进行连接断开操作,以此类推,获取所有新时间段数据;
获取所有大于一个时间段数据长度的新时间段数据,记大于一个时间段数据长度的任意一新时间段数据为关注时间段数据,获取关注时间段数据中所有时间段数据的变化趋势,记为变化趋势序列;从关注时间段数据中第二位时间段数据起始,获取变化趋势序列中每一时间段数据变化趋势与上一时间段数据变化趋势的差值绝对值,记为差值趋势序列;获取差值趋势序列的均值,记为调整阈值;从关注时间段数据中第二时间段数据起始,当第二时间段数据与第一时间段数据的变化趋势差值大于等于阈值,将第二时间段数据与第一时间段数据断开;当第二时间段数据与第一时间段数据的变化趋势差值绝对值小于阈值,则不做调整,对第三时间段数据与第二时间段数据的变化趋势的差值绝对值与调整阈值进行判断;遍历关注时间段数据内的所有时间段数据,对每一新时间段数据进行调整,记调整后的新时间段数据为调整时间段数据。
可选的,所述变化程度阈值的计算方法为获取每一调整时间段数据中时序上首位数据与时序上末位数据构成直线的斜率值作为变化程度阈值。
可选的,所述根据变化程度阈值与调整时间段数据中每一时间段数据的变化趋势差异获取调整时间段数据的第一门限调整系数包括:
可选的,所述获取调整时间段数据的中每一时间节点的差异程度,从而获取波动曲线包括:
将时序上每一调整时间段数据中第一时间节点的数据与最后一时间节点的数据拟合得到直线,记为目标直线,获取目标直线上每一时间节点所对应的数据值,记为目标值,获取每一调整时间段数据中每一时间节点的数据值与该时间节点目标值之间的差值绝对值,记为每一时间节点的差异程度;
以时间节点为横坐标,每一时间节点对应的差异程度为纵坐标,使用最小二乘法对差异程度进行曲线拟合,记为每一调整时间段数据的波动曲线。
可选的,所述根据每一时间节点的差异程度获取每一单峰波动曲线的开口大小与对比开口大小包括:
对每一单波峰曲线数据进行抛物线拟合,获取第一抛物线对应的二次曲线方程,其中a,b,c为二次曲线方程的参数,其中a,记为第一参数,第一抛物线中
第一参数的绝对值记为开口大小,获取单波峰曲线上每一时间节点的差异程度序列,获
取可能异常值的序号值,记为异常序号值,若异常序号值为奇数,按序号值依次提取序列
中的序号值为偶数的所有差异程度,记为对比序列,将对比序列数据进行抛物线拟合,获取
第二抛物线中的第一参数的绝对值,记为对比开口大小。
可选的,所述根据变化程度阈值与异常时间节点的相邻时间节点船闸灌泄水数据的差异获取可能异常值的异常程度包括:
其中,表示第个调整时间段数据的第个可能异常值对应的时间节点,表示
第个调整时间段数据第时间节点的灌泄水量数据即第调整时间段数据的第个可能异
常值,、、、分别表示第、、、时间
节点所对应的灌泄水量数据表示第调整时间段数据的变化程度阈值。
可选的,所述根据开口大小、对比开口大小、异常程度获取可能异常值的误差可能性包括:
其中,表示第个调整时间段数据的第个可能异常值的误差可能性,表示
第调整时间段数据的第个单波峰曲线的开口大小,表示第个调整时间段数据的第
个单波峰曲线的对比开口大小,表示第调整时间段数据的第个可能异常值的异常程
度。
可选的,所述根据调整时间段数据的误差总和、调整时间段数据中可能异常值的误差可能性及差异程度获取调整时间段数据的第二门限调整系数包括:
其中,表示第个调整时间段数据的第二门限调整系数,表示第个调整时间段
数据的误差总和,表示第个调整时间段数据中第个可能异常值的误差可能性,表示
第个调整时间段数据中第个可能异常值的差异程度,为以自然常数为底的指数函
数。
可选的,所述根据调整时间段数据的最大门限值、第一门限调整系数、第二门限调整系数获取调整时间段数据的自适应门限值包括:
本发明的有益效果是:旋转门压缩算法的压缩率和信息损失率受门限值的影响较大,较大的门限值会导致信息损失率较大,使得压缩后的数据趋势与原始趋势有些不同,较小的门限值会导致压缩效率降低;本发明通过对时序船闸灌泄水量数据进行两次分段处理,获取调整时间段数据,使得调整时间段数据内的数据变化趋势程度相似,再根据各调整时间段内数据整体的趋势变化和各局部数据的趋势变化的差异,获取第一门限值调整系数,用以在保障原始时序数据的变化特征趋势的同时,舍弃轻微扰动信息,提高压缩效率;由于实际对船闸灌泄水量数据进行采集的情况中,传感器由于使用时间过长等原因会出现采集误差,而由于采集误差数据会影响算法的整个压缩解压过程,造成数据变化趋势判断失误,且会增加算法的压缩段,使得压缩效率降低,本发明根据各调整时间段内的实际数据值中采集误差造成的异常数据特征获取第二门限调整系数,对第一门限值调整系数进行校正,用以防止采集误差造成的异常数据导致数据变化趋势判断失误和增加算法的压缩段、降低压缩效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种基于互联网数据的船闸远程管理系统的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于互联网数据的船闸远程管理系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于互联网数据的船闸远程管理系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于互联网数据的船闸远程管理系统的结构框图,该系统包括以下模块:
数据采集模块S001、采集船闸灌泄水量的时序数据。
本实施例的目的是通过船闸灌泄水量的时序数据对船闸进行远程管理,因此首先
需要采集船闸灌泄水量的时序数据;通过船闸处放置的传感器采集船闸灌泄水量的时序数
据,本实施例以船闸灌水数据的时序数据为例,获取时序上,船只一次行进过程中每一时间
节点的船闸灌水数据,其中表示第时间节点船闸的灌水量,其中时间节
点根据所选用的传感器进行设定,本实施例设定每间隔1秒为一个时间节点,实施者可视具
体应用场景进行调整。
数据分段模块S002、对船闸灌泄水量的时序数据进行分段,获取时间段数据,根据时间段数据时序上首位数据与末位数据的差异获取每一时间段数据的变化趋势,根据时间段数据的变化趋势的近似性对时间段数据进行合并调整,获取调整时间段数据。
需要说明的是,由于为了保障船只上下行的安全,船闸灌泄水量的变化应该为持续平缓的增强或减少,旋转门压缩算法是一种比较快速的线性拟合压缩算法,数据的变化趋势不同,其所对应的最优门限值不同;本发明首先根据相邻数据的变化趋势的相似程度,将原始的船闸灌泄水量的时序数据分为若干个具有相同变化趋势的新数据段,进而根据整体船闸灌泄水量时序数据间的变化趋势的差异性对新数据段进行调整,从而对不同的数据段获取其对应的最优门限值。
进一步的,设定步长为,本实施例设定,实施者可视具体应用场景进行调
整;根据步长对船闸灌泄水量的时序数据进行等长划分,得到多个时间段数据,每个时间段
数据的长度等于,若划分过程中最后一个时间段数据的长度小于B,则最后一个时间段数
据舍弃;获取每一时间段数据中时序上第一位数据记为首位数据,获取每一时间段数据中
时序上最后一位数据记为末位数据;根据首位数据、末位数据的变化情况获取每一数据段
的变化趋势。
进一步的,自第一时间段数据起始,获取第一时间段数据与第二时间段数据的变化趋势的乘积;若乘积小于0,表示第二时间段数据与第一时间段数据的变化趋势存在较大差异,此时需要将第二时间段数据与第一时间段数据断开,记第一时间段数据为新第一时间段数据,进而获取第二时间段数据与第三时间段数据的变化趋势的乘积;若第一时间段数据与第二时间段数据的变化趋势的乘积大于等于0时,表示第二时间段数据与第一时间段数据的变化趋势相似,将第二时间段数据与第一时间段数据连接获取连接时间段数据,连接时间段数据变化趋势为第一时间段数据与第二时间段数据的变化趋势的均值,进而对第三时间段数据与连接时间段数据的变化趋势的乘积进行判断,若乘积小于0,则将第三时间段数据与连接时间段数据断开,记连接时间段数据为新第一时间段数据;遍历所有时间段数据,对时间段数据进行连接断开操作,以此类推,获取所有新时间段数据。
至此,获取新时间段数据,每一新时间段数据包含一到多个时间段数据。
进一步需要说明的是,由于对时间段数据进行连接调整,获取新时间段数据仅考虑相邻数据变化趋势的近似性,而对于船闸灌泄水的时序数据,其数据间具有相关性,需要对整体的船闸灌泄水的时序数据进行分析,从而需要根据所有时间段数据变化趋势的差异程度对新时间段数据进行进一步调整。
具体进一步调整的过程为,获取大于一个时间段数据长度的新时间段数据,记大于一个时间段数据长度的任意一新时间段数据为关注时间段数据,获取关注时间段数据中所有时间段数据的变化趋势,记为变化趋势序列;获取变化趋势序列中每一时间段数据变化趋势与上一时间段数据变化趋势的差值绝对值,记为差值趋势序列;获取差值趋势序列的均值,记为调整阈值;自关注时间段数据中第二时间段数据起始,当第二时间段数据与第一时间段数据的变化趋势差值大于等于阈值,将第二时间段数据与第一时间段数据断开;当第二时间段数据与第一时间段数据的变化趋势差值绝对值小于阈值,则不做调整,对第三时间段数据与第二时间段数据的变化趋势的差值绝对值与调整阈值进行判断;以此类推,遍历关注时间段数据内的所有时间段数据,对每一新时间段数据进行调整,记调整后的新时间段数据为调整时间段数据;需要说明的是,变化趋势序列中第一时间段数据变化趋势不与上一时间段数据变化趋势计算差值。
至此,将时间段数据根据变化趋势的近似性进行合并,进而得到调整时间段数据。
第一门限调整系数模块S003、根据调整时间段数据时序上首位数据与末位数据的差异获取变化程度阈值,根据每一调整时间段数据的变化程度阈值与每一调整时间段数据中每一时间段数据的变化趋势的差异获取每一调整时间段的第一门限调整系数。
需要说明的是,对于不同变化趋势的调整时间段数据,若调整时间段数据内的数据变化较多、波动较大,说明该调整时间段数据需要较小的门限值,保证数据的变化特征趋势;若调整时间段数据内的数据变化较少、波动较小,说明该调整时间段数据需要较大的门限值,舍弃轻微扰动的信息;使得提高压缩效率的同时,降低信息损失。
进一步的,获取每一调整时间段数据中所有时间段数据及每一时间段数据的变化趋势,获取每一调整时间段数据中时序上第一位数据与时序上最后一位数据构成直线的斜率值,记为变化程度阈值。
进一步需要说明的是,每一调整时间段数据的变化程度阈值可以体现该调整时间段数据的整体趋势变化,调整时间段数据内时间段数据的变化趋势体现局部数据趋势变化,整体趋势变化与局部数据趋势变化的差异程度可体现调整时间段数据内数据的波动情况,若差异较大,则说明调整时间段数据内数据波动较多,需要较小的门限值,若差异较小,则说明调整时间段数据内的数据波动较少,需要较大的门限值,根据变化程度阈值与调整时间段数据中每一时间段数据的变化趋势获取每一调整时间段的第一门限调整系数。
其中,表示第调整时间段数据的变化程度阈值,表示第调整时间段数据内
第个时间段数据的变化趋势,表示第个调整时间段数据中所含时间段数据个数;第调
整时间段数据中每一时间段数据的变化趋势与变化程度阈值的差值绝对值可体现该时间
段数据的数据波动程度,进而对所有时间段数据的变化趋势与变化程度阈值的差值绝对值
求取均值可体现第调整时间段数据中数据的波动程度;若第调整时间段数据的波动较
大,则需要较大的第一门限调整系数,使得门限值较小,从而保证调整时间段数据的变化特
征趋势;若第调整时间段数据的波动较小,则需要较小的第一门限调整系数,使得门限值
较大,从而保证压缩效率。
至此,获取得到每一调整时间段数据的第一门限调整系数,表征时序上船闸灌泄水数据的波动程度。
第二门限调整系数模块S004、获取每一调整时间段数据的波动曲线,根据波动曲线的波谷点对波动曲线进行分段,获取单峰波动曲线,获取单峰波动曲线的开口大小与对比开口大小,根据每一单峰波动曲线的波峰值获取异常时间节点与可能异常值,根据开口大小、对比开口大小、可能异常值、异常时间节点的相邻时间节点的船闸灌泄水数据的变化情况获取可能异常值的误差可能性,进而获取每一调整时间段数据的误差总和,根据误差总和、可能异常值及每一可能异常值的误差可能性获取每一调整时间段数据的第二门限调整系数。
需要说明的是,由于传感器对船闸灌泄水数据进行采集时,可能出现数据采集误差,从而导致数据出现异常波动,此时获取得到的门限值出现误差,进而影响对船闸远程管理的准确性;当未出现异常时,时序上船闸灌泄水量的变化是一个持续的过程,在短时间内灌泄水量的增加或减少随时间线性变化,不会出现短时间内突增或突减的现象;而当传感器出现数据采集误差时,误差数据为一突变数据,与时序上前后时刻的灌泄水量数据存在较大差异,去除该误差数据前后灌泄水量数据变化趋势存在差异;需要结合时序上的灌泄水量数据获取数据为采集误差数据的可能性,进而对门限值进行进一步调整。
具体的,以时间节点为横坐标,每一时间节点对应的数据为纵坐标,将时序上每一调整时间段数据中第一时间节点的数据与最后一时间节点的数据拟合得到直线,记为目标直线,获取目标直线上每一时间节点所对应的数据值,记为目标值,获取每一调整时间段数据中每一时间节点的数据值与该时间节点目标值之间的差值绝对值,记为每一时间节点的差异程度;以时间节点为横坐标,每一时间节点对应的差异程度为纵坐标,使用最小二乘法对差异程度进行曲线拟合,记为每一调整时间段数据的波动曲线;获取每一波动曲线上的所有波谷点与波峰点,根据波谷点对波动曲线进行划分,获取得到所有单峰曲线,记为单峰波动曲线;记波峰点为异常差异点;获取异常差异点所对应时间节点,记为异常时间节点;获取异常时间节点对应的船闸灌泄水量数据,记为可能异常值。
至此,获取得到可能异常值,根据每一调整时间段数据获取每一调整时间段数据的波动曲线,每一波动曲线包含若干个单峰曲线,根据每一单峰曲线波峰点的时间节点获取可能异常值。
进一步需要说明的是,时序上船闸灌泄水量的变化是一个持续的过程,未发生异常的理想情况下,时序上灌泄水量的增加或减少随时间线性变化;进而波动曲线上的波峰点所对应时间节点的船闸灌泄水量数据,表示传感器采集误差数据或时序上船闸灌泄水量自身的波动数据,需要根据采集误差数据的特征获取波峰点所对应时间节点的船闸灌泄水量数据属于采集误差数据的可能性;单峰波动曲线中的数据符合抛物线变化,抛物线开口的大小可体现单峰波动曲线上的数据与未发生异常的理想情况时灌泄水量数据的差异程度;由于传感器采集的误差数据为突变数据,若单峰波动曲线数据中含有突变数据,去除突变数据前后,单峰波动曲线对应的抛物线的开口大小出现变化,进而根据对单峰波动曲线中部分数据去除前后,单峰波动曲线所对应的抛物线的开口大小的变化情况获取单峰波动曲线上波峰点所对应时间节点的船闸灌泄水量数据为采集误差数据的可能性。
进一步的,对每一单波峰曲线数据进行抛物线拟合,获取第一抛物线对应的二次
曲线方程,其中a,b,c为二次曲线方程的参数,其中a,记为第一参数,第一
抛物线中第一参数的绝对值记为开口大小,开口大小体现第一抛物线的开口大小;将单波
峰曲线上所有时间节点的差异程度按时序顺序进行排列,记为差异程度序列,获取可能
异常值在序列中的序号值,记为异常序号值,若异常序号值为奇数,将序列中序号值为
偶数的差异程度按照中的序号值进行排列,记为对比序列,将对比序列数据进行抛物线
拟合,获取第二抛物线中的第一参数的绝对值,记为对比开口大小;根据开口大小、对比开
口大小、可能异常值的相邻时间节点的船闸灌泄水数据的变化情况获取可能异常点的误差
可能性。
其中,表示第个调整时间段数据的第个可能异常值对应的时间节点,表示
第个调整时间段数据第时间节点的灌泄水量数据即第个调整时间段数据的第个可能
异常值,、、、分别表示第、、、时
间节点所对应的灌泄水量数据,表示第调整时间段数据的变化程度阈值,表示第调
整时间段数据的第个单波峰曲线的开口大小,表示第调整时间段数据的第个单波
峰曲线的对比开口大小;表示可能异常值与异常时间节点的相邻时间节点的灌泄水量数
据的变化情况进行预测得到的预测可能异常值之间的差异,记为第调整时间段数据的第
个可能异常值的异常程度,此时,由于时序上船闸灌泄水量的变化是一个持续的过程,当未
出现数据采集异常及灌泄水数据自身异常波动时,时序上相邻时间节点的船闸灌泄水量数
据的大小相近,且相邻时间段内数据变化情况相近,即若越小,表示可能异常值属于采集
误差的可能性越小,若越大,表示可能异常值属于采集误差的可能性越大;同时,表示对第个调整时间段数据的第个单波峰曲线中部分数据进行去除前后抛
物线开口大小的变化程度,若越大,说明去除的部分数据中含有采集误差数据
的可能性越大,进而使用可能异常值所在的单波峰曲线的归一化抛物线开口大小变化值对进行校正,进而,与的乘积表示第调整时间段数据的第个可能
异常值属于采集误差数据的误差可能性。
进一步的,将每一调整时间段数据的所有可能异常值的误差可能性进行累加求和,记为误差总和;根据误差总和、可能异常值及每一可能异常值的误差可能性获取每一调整时间段数据的第二门限调整系数。
其中,表示第个调整时间段数据中第个可能异常值的误差可能性,表示第
个调整时间段数据的误差总和,表示第个调整时间段数据中第个可能异常值的差异
程度,表示使用旋转门压缩算法进行压缩时通过该数据所需的门限值,为以自然常数为
底的指数函数;此时,若较大,第个调整时间段数据中第个可能异常值为采集误差数据
的可能性较大,对于采集误差数据所需门限值较大,因此使用每一可能异常值的误差可能
性与误差总和的比值作为可能异常值所需门限值的权重,加权求和获取第调整时间段数
据中所有可能异常值属于采集误差数据的可能性,进而对门限值进行进一步调整。
至此,获取每一调整时间段数据的第二门限调整系数,表征时序上灌泄水数据中可能异常波动数据点属于采集误差数据的可能性。
数据压缩存储模块S005、根据每一调整系数的差异程度获取每一调整时间段数据的最大门限值,根据每一调整系数的最大门限值、第一门限调整系数、第二门限调整系数获取每一调整时间段数据的自适应门限值,根据每一调整时间段数据的自适应门限值使用旋转门压缩算法对每一调整时间段数据进行压缩处理,获取压缩后的船闸灌泄水量数据,根据压缩后的船闸灌泄水量数据对船闸进行远程管理。
进一步需要说明的是,对于某一调整时间段数据,使用旋转门压缩算法进行压缩处理时对应的最大门限值为该调整时间段数据的差异程度集合的最大值;第一门限调整系数表征数据的波动程度,若某一调整时间段数据中数据波动较大,保证数据压缩前后的波动情况,需要调整门限值,使得门限值较小;同时,第二门限调整系数表征异常波动数据属于采集误差数据的可能性,若异常波动数据属于采集误差数据的可能性较大,则需要调整第一门限调整系数,进而调整门限值,使得门限值增大;保证对调整时间段数据进行压缩前后,保留调整时间段数据的数据变化特征,同时舍弃由于采集误差产生的干扰数据,提高压缩效率。
进一步的,获取每一调整时间段数据的差异程度集合,获取差异程度集合的最大值,记为最大门限值;根据第一门限调整系数与第二门限调整系数对每一时间段数据的最大门限值进行调整获取每一调整时间段数据的自适应门限值。
其中,表示第个调整时间段数据的第一门限调整系数,表示第个调整时间段
数据的第二门限调整系数,()为以自然常数为底的指数函数;表示第个调整时间段
数据的最大门限值;此时,若越大,表示第个调整时间段数据的数据波动越大,需要较小
的门限值,而数据波动可能由于设备采集误差造成,若第个调整时间段数据的异常波动数
据属于采集误差数据的可能性越大,第个调整时间段数据的第二门限调整系数越小,使用
第二门限调整系数作为第一门限调整系数的权重,使得第一门限调整系数减小,进而使
得门限值增大。
至此,获取得到每一调整时间段数据的自适应门限值。
进一步的,利用自适应门限值使用旋转门压缩算法对每一调整时间段数据进行压缩处理,进而对压缩后的调整时间段数据按时序顺序进行存储,完成对时序船闸灌泄水量数据的压缩存储,进而结合工作人员的操作,对船闸运行过程中设备运行状态进行分析;需要说明的是,旋转门压缩算法为现有技术,本实施例不再赘述。
至此,根据自适应门限值使用旋转门压缩算法对船闸灌泄水量数据进行压缩存储处理,根据船闸灌泄水量数据对船闸的运行状态进行分析,完成船闸管理控制。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于互联网数据的船闸远程管理系统,其特征在于,该系统包括以下模块:
数据采集模块:采集船闸灌泄水量的时序数据;
数据分段模块:将船闸灌泄水量的时序数据划分得到多个时间段数据,根据时间段数据时序上首位数据与末位数据的差异获取时间段数据的变化趋势,根据时间段数据间变化趋势的近似性对时间段数据进行合并,获取调整时间段数据,所述调整时间段数据包含若干时间段数据;
第一门限调整系数模块:获取调整时间段数据的变化程度阈值,根据变化程度阈值与调整时间段数据中每一时间段数据的变化趋势差异获取调整时间段数据的第一门限调整系数;
第二门限调整系数模块:获取调整时间段数据的中每一时间节点的差异程度,从而获取波动曲线,根据波动曲线的波谷点对波动曲线进行分段,获取单峰波动曲线,根据单峰波动曲线的波峰点获取异常时间节点与可能异常值,根据每一时间节点的差异程度获取每一单峰波动曲线的开口大小与对比开口大小,根据变化程度阈值与异常时间节点的相邻时间节点船闸灌泄水数据的差异获取可能异常值的异常程度,根据开口大小、对比开口大小、异常程度获取可能异常值的误差可能性,对调整时间段数据的所有可能异常值的误差可能性累加求和获取调整时间段数据的误差总和,根据调整时间段数据的误差总和、调整时间段数据中可能异常值的误差可能性及差异程度获取调整时间段数据的第二门限调整系数;
数据压缩存储模块:将调整时间段数据的所有差异程度中最大值记为调整时间段数据的最大门限值,根据调整时间段数据的最大门限值、第一门限调整系数、第二门限调整系数获取调整时间段数据的自适应门限值,根据调整时间段数据的自适应门限值使用旋转门压缩算法对调整时间段数据进行压缩存储处理,对船闸进行管理。
2.根据权利要求1所述的一种基于互联网数据的船闸远程管理系统,其特征在于,所述根据时间段数据间变化趋势的近似性对时间段数据进行合并,获取调整时间段数据为:
自第一时间段数据起始,获取第一时间段数据与第二时间段数据的变化趋势的乘积,若乘积小于0,将第二时间段数据与第一时间段数据断开,记第一时间段数据为新第一时间段数据,进而获取第二时间段数据与第三时间段数据的变化趋势的乘积;若第一时间段数据与第二时间段数据的变化趋势的乘积大于等于0时,将第二时间段数据与第一时间段数据连接获取连接时间段数据,连接时间段数据变化趋势为第二时间段数据与第一时间段数据的均值,进而对第三时间段数据与连接时间段数据的变化趋势的乘积进行判断,若乘积小于0,则将第三时间段与连接时间段数据断开,记连接时间段数据为新第一时间段数据;遍历所有时间段数据,对时间段数据进行连接断开操作,以此类推,获取所有新时间段数据;
获取所有大于一个时间段数据长度的新时间段数据,记大于一个时间段数据长度的任意一新时间段数据为关注时间段数据,获取关注时间段数据中所有时间段数据的变化趋势,记为变化趋势序列;从关注时间段数据中第二位时间段数据起始,获取变化趋势序列中每一时间段数据变化趋势与上一时间段数据变化趋势的差值绝对值,记为差值趋势序列;获取差值趋势序列的均值,记为调整阈值;从关注时间段数据中第二时间段数据起始,当第二时间段数据与第一时间段数据的变化趋势差值大于等于阈值,将第二时间段数据与第一时间段数据断开;当第二时间段数据与第一时间段数据的变化趋势差值绝对值小于阈值,则不做调整,对第三时间段数据与第二时间段数据的变化趋势的差值绝对值与调整阈值进行判断;遍历关注时间段数据内的所有时间段数据,对每一新时间段数据进行调整,记调整后的新时间段数据为调整时间段数据。
3.根据权利要求1所述的一种基于互联网数据的船闸远程管理系统,其特征在于,所述变化程度阈值的计算方法为获取每一调整时间段数据中时序上首位数据与时序上末位数据构成直线的斜率值作为变化程度阈值。
5.根据权利要求1所述的一种基于互联网数据的船闸远程管理系统,其特征在于,所述获取调整时间段数据的中每一时间节点的差异程度,从而获取波动曲线包括:
将时序上每一调整时间段数据中第一时间节点的数据与最后一时间节点的数据拟合得到直线,记为目标直线,获取目标直线上每一时间节点所对应的数据值,记为目标值,获取每一调整时间段数据中每一时间节点的数据值与该时间节点目标值之间的差值绝对值,记为每一时间节点的差异程度;
以时间节点为横坐标,每一时间节点对应的差异程度为纵坐标,使用最小二乘法对差异程度进行曲线拟合,记为每一调整时间段数据的波动曲线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310424879.1A CN116155298B (zh) | 2023-04-20 | 2023-04-20 | 一种基于互联网数据的船闸远程管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310424879.1A CN116155298B (zh) | 2023-04-20 | 2023-04-20 | 一种基于互联网数据的船闸远程管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116155298A true CN116155298A (zh) | 2023-05-23 |
CN116155298B CN116155298B (zh) | 2023-07-04 |
Family
ID=86351019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310424879.1A Active CN116155298B (zh) | 2023-04-20 | 2023-04-20 | 一种基于互联网数据的船闸远程管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116155298B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116366069A (zh) * | 2023-06-02 | 2023-06-30 | 菏泽鹏远混凝土有限公司 | 一种高性能混凝土配比数据处理方法 |
CN116400870A (zh) * | 2023-06-08 | 2023-07-07 | 西安品盛互联网技术有限公司 | 一种基于物联网的现场施工在线管理系统 |
CN116614140A (zh) * | 2023-07-20 | 2023-08-18 | 山东弘锐医疗设备有限公司 | 一种基于人工智能的医用吊塔调控方法以及系统 |
CN117370329A (zh) * | 2023-12-07 | 2024-01-09 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807925A (zh) * | 2010-02-08 | 2010-08-18 | 南京朗坤软件有限公司 | 一种基于数值排序线性拟合的历史数据压缩方法 |
CN102664635A (zh) * | 2012-03-06 | 2012-09-12 | 华中科技大学 | 一种精度可控的自适应数据压缩方法 |
CN103346797A (zh) * | 2013-05-30 | 2013-10-09 | 重庆大学 | 一种用于齿轮故障信号的实时压缩方法 |
CN106649026A (zh) * | 2016-09-26 | 2017-05-10 | 国家电网公司北京电力医院 | 适用于运维自动化系统的监测数据压缩方法 |
WO2020019403A1 (zh) * | 2018-07-26 | 2020-01-30 | 平安科技(深圳)有限公司 | 用电量异常检测方法、装置、设备及可读存储介质 |
CN110995275A (zh) * | 2019-11-20 | 2020-04-10 | 安徽省安泰科技股份有限公司 | 一种对于旋转门压缩算法的改进算法 |
CN113258933A (zh) * | 2021-05-28 | 2021-08-13 | 山西阳光三极科技股份有限公司 | 多区间自适应旋转门算法 |
CN114640355A (zh) * | 2022-03-30 | 2022-06-17 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
CN115659070A (zh) * | 2022-12-28 | 2023-01-31 | 鸿基骏业环保科技有限公司 | 一种基于nb-iot智能水表的水流量数据传输方法 |
CN115695564A (zh) * | 2022-12-30 | 2023-02-03 | 深圳市润信数据技术有限公司 | 一种物联网数据的高效传输方法 |
CN115733498A (zh) * | 2023-01-10 | 2023-03-03 | 北京四维纵横数据技术有限公司 | 时序数据的压缩方法、装置、计算机设备及介质 |
CN115987295A (zh) * | 2023-03-20 | 2023-04-18 | 河北省农林科学院 | 基于物联网的农作物监控数据高效处理方法 |
-
2023
- 2023-04-20 CN CN202310424879.1A patent/CN116155298B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807925A (zh) * | 2010-02-08 | 2010-08-18 | 南京朗坤软件有限公司 | 一种基于数值排序线性拟合的历史数据压缩方法 |
CN102664635A (zh) * | 2012-03-06 | 2012-09-12 | 华中科技大学 | 一种精度可控的自适应数据压缩方法 |
CN103346797A (zh) * | 2013-05-30 | 2013-10-09 | 重庆大学 | 一种用于齿轮故障信号的实时压缩方法 |
CN106649026A (zh) * | 2016-09-26 | 2017-05-10 | 国家电网公司北京电力医院 | 适用于运维自动化系统的监测数据压缩方法 |
WO2020019403A1 (zh) * | 2018-07-26 | 2020-01-30 | 平安科技(深圳)有限公司 | 用电量异常检测方法、装置、设备及可读存储介质 |
CN110995275A (zh) * | 2019-11-20 | 2020-04-10 | 安徽省安泰科技股份有限公司 | 一种对于旋转门压缩算法的改进算法 |
CN113258933A (zh) * | 2021-05-28 | 2021-08-13 | 山西阳光三极科技股份有限公司 | 多区间自适应旋转门算法 |
CN114640355A (zh) * | 2022-03-30 | 2022-06-17 | 北京诺司时空科技有限公司 | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 |
CN115659070A (zh) * | 2022-12-28 | 2023-01-31 | 鸿基骏业环保科技有限公司 | 一种基于nb-iot智能水表的水流量数据传输方法 |
CN115695564A (zh) * | 2022-12-30 | 2023-02-03 | 深圳市润信数据技术有限公司 | 一种物联网数据的高效传输方法 |
CN115733498A (zh) * | 2023-01-10 | 2023-03-03 | 北京四维纵横数据技术有限公司 | 时序数据的压缩方法、装置、计算机设备及介质 |
CN115987295A (zh) * | 2023-03-20 | 2023-04-18 | 河北省农林科学院 | 基于物联网的农作物监控数据高效处理方法 |
Non-Patent Citations (2)
Title |
---|
Y. YIN等: "A 2.63 μW ECG Processor With Adaptive Arrhythmia Detection and Data Compression for Implantable Cardiac Monitoring Device", 《 IEEE TRANSACTIONS ON BIOMEDICAL CIRCUITS AND SYSTEMS》, pages 777 - 790 * |
肖萍 刘荆欣 王妍 臧洁: "一种视频多模态数据自适应采集策略", 《小型微型计算机系统》, pages 383 - 391 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116366069A (zh) * | 2023-06-02 | 2023-06-30 | 菏泽鹏远混凝土有限公司 | 一种高性能混凝土配比数据处理方法 |
CN116366069B (zh) * | 2023-06-02 | 2023-08-08 | 菏泽鹏远混凝土有限公司 | 一种高性能混凝土配比数据处理方法 |
CN116400870A (zh) * | 2023-06-08 | 2023-07-07 | 西安品盛互联网技术有限公司 | 一种基于物联网的现场施工在线管理系统 |
CN116400870B (zh) * | 2023-06-08 | 2023-08-18 | 西安品盛互联网技术有限公司 | 一种基于物联网的现场施工在线管理系统 |
CN116614140A (zh) * | 2023-07-20 | 2023-08-18 | 山东弘锐医疗设备有限公司 | 一种基于人工智能的医用吊塔调控方法以及系统 |
CN116614140B (zh) * | 2023-07-20 | 2023-10-10 | 山东弘锐医疗设备有限公司 | 一种基于人工智能的医用吊塔调控方法以及系统 |
CN117370329A (zh) * | 2023-12-07 | 2024-01-09 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
CN117370329B (zh) * | 2023-12-07 | 2024-02-27 | 湖南易比特大数据有限公司 | 基于工业物联网的设备数据智能化管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116155298B (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116155298B (zh) | 一种基于互联网数据的船闸远程管理系统 | |
CN115659070B (zh) | 一种基于nb-iot智能水表的水流量数据传输方法 | |
CN111092891B (zh) | 一种网络中异常点的检测方法、检测系统及相关装置 | |
CN116011686B (zh) | 基于多数据融合的充电棚光伏发电储量预测方法 | |
CN115882868B (zh) | 一种气体监测数据智能存储方法 | |
CN116828070A (zh) | 一种智慧电网数据优化传输方法 | |
CN114640355B (zh) | 时序数据库的有损压缩及解压缩方法、系统、存储介质、设备 | |
CN117235557A (zh) | 基于大数据分析的电气设备故障快速诊断方法 | |
CN116320043B (zh) | 一种提高多载波通信系统传输效率的方法及系统 | |
CN117540238B (zh) | 一种工业数字化信息采集装置用数据安全管理方法 | |
CN116975008B (zh) | 一种船舶气象监测数据优化存储方法 | |
CN115935296A (zh) | 一种电能数据计量方法及系统 | |
CN115987294A (zh) | 一种物联网的多维数据处理方法 | |
CN116743180B (zh) | 一种储能电源数据智能存储方法 | |
CN116760908A (zh) | 基于数字孪生的农业信息优化管理方法及系统 | |
CN108667463B (zh) | 监测数据压缩方法 | |
CN115695564B (zh) | 一种物联网数据的高效传输方法 | |
CN113258933B (zh) | 多区间自适应旋转门算法 | |
CN114710674A (zh) | 一种建筑施工监控数据存储方法 | |
CN117294314B (zh) | 一种果蔬罐头生产信息数据记录管理方法 | |
CN116866503B (zh) | 一种无线4g安防网关数据高效存储方法 | |
CN114925313A (zh) | 一种基于分布式链路追踪动态采样率的自适应方法及系统 | |
CN116545591B (zh) | 一种基于bms电池管理系统的数据传输方法 | |
CN117034177A (zh) | 一种电力负荷异常数据智能监测方法 | |
CN113098640B (zh) | 一种基于频道占用度预测的频谱异常检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |