CN116383450B - 一种铁路公路物流运输信息综合管理系统 - Google Patents
一种铁路公路物流运输信息综合管理系统 Download PDFInfo
- Publication number
- CN116383450B CN116383450B CN202310656427.6A CN202310656427A CN116383450B CN 116383450 B CN116383450 B CN 116383450B CN 202310656427 A CN202310656427 A CN 202310656427A CN 116383450 B CN116383450 B CN 116383450B
- Authority
- CN
- China
- Prior art keywords
- dimension
- data
- dimensions
- target
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 51
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000007726 management method Methods 0.000 claims description 21
- 230000002596 correlated effect Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013144 data compression Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000007906 compression Methods 0.000 abstract description 11
- 230000006835 compression Effects 0.000 abstract description 10
- 238000003860 storage Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000009826 distribution Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/40—Transportation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/20—Information sensed or collected by the things relating to the thing itself
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种铁路公路物流运输信息综合管理系统,包括:利用传感器采集数据,获取历史和当前的所有维度数据的趋势项数据,根据趋势项数据相邻点斜率差异得到数据分段,根据数据分段代表值进行聚类,根据聚类结果中不同维度相关系数得到强相关维度,根据聚簇中心距离、强相关维度DTW距离均值得到单向关系程度,根据强相关维度数量、维度之间相关系数、单向关系程度得到最终单向关系程度,根据单向关系维度再次进行聚类,根据聚类结果分析计算得到目标维度的自适应差分阶数,根据差分阶数进行模型构建及压缩。本发明通过自适应获取模型构建的差分阶数构建更加准确的模型,从而提高物流运输数据压缩存储效果。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种铁路公路物流运输信息综合管理系统。
背景技术
随着全球化的发展和经济快速增长的趋势,物流运输是国民经济中非常重要的一环,可以直接或间接地影响国民经济的发展和整体效能,通过运输货物和物流信息,连接着生产和销售的各个环节,为经济发展提供了重要保障。尤其是港口码头的发展,通过将外煤、外矿通过海运抵达港口码头,再通过铁路、公路物流到达各个目的地,实现公路、铁路、码头联运物流运输通道,降低物流成本,提升物流效率。
随着科学技术的发展,为了提升网络运营能力与客户服务能力,打造装卸、堆场、仓储、运输、加工及配送一体化的社会化的运营服务体系,通过数据信息技术,实现对不同环节的信息进行全面地、系统化的管理,提高物流运输链的效率、可控性和透明度。其中物流车联网技术可以实现港口的火车、集装箱卡精准定位车以及港口的堆场轨道吊的自动化远程控制、集装箱识别等应用,帮助管理者随时了解车辆以及港口的状况信息,可以大大提高物流运输信息化效率和安全性。
然而随着港口物流业的快速发展,各个物流环节产生的数据量会急剧增加,包括物流运输过程中的港口状态数据、车辆行驶数据、运输货物数据等多维度数据,这些数据量庞大且分散,对传输带宽以及存储空间要求相对较高。因此为了更好地应用车联网技术,对数据的实时处理和传输要求也越来越高。在此背景下,数据压缩技术就显得尤为重要。现在传统的车联网数据的压缩算法采用基于预测的压缩算法,其中通过对时间序列的数据进行预测模型的构建得到预测数据,并对预测误差处理实现压缩。
其中ARIMA模型是常用的预测模型,而在该预测模型的建模过程中,由于数据的非平稳影响,会严重影响到的模型的构建和预测误差的分析,因此构建模型过程中差分阶数的设置决定着非平稳数据到平稳数据的转换,使其可以满足建立时间序列模型的要求。因此本案根据采集的车联网数据的不同维度下时间序列分布特征,考虑维度之间的综合影响,进而获取每个时间序列下的差分阶数大小,进而保证模型的构建准确,进而提高数据的压缩率大小,保证铁路公路物流运输信息综合管理系统的信息存储的高效性。
发明内容
本发明提供一种铁路公路物流运输信息综合管理系统,以解决现有的问题。
本发明的一种铁路公路物流运输信息综合管理系统采用如下技术方案:
本发明一个实施例提供了一种铁路公路物流运输信息综合管理系统,该系统包括以下模块:
传感器数据采集模块:获取历史数据和当前数据的每个维度数据;
数据特征分析模块:对历史和当前的所有维度数据进行分段得到每个维度的若干分段;
第一聚类模块:根据每个维度的所有分段的代表值对每个维度的分段进行聚类得到每个维度的若干个第一聚簇;
单向关系程度计算模块:将任意一个维度记为第一目标维度,将第一目标维度的任意一个第一聚簇记为目标第一聚簇,根据其他维度的分段与第一目标维度的分段获得第一目标维度在目标第一聚簇下的所有强相关维度;
将第一目标维度的任意一个强相关维度记为目标强相关维度,根据目标第一聚簇中的且属于目标强相关维度上的分段,获得第一目标维度与目标强相关维度在目标第一聚簇下的单向关系程度;根据单向关系程度获得第一目标维度的最终单向关系程度;
第二聚类模块:根据最终单向关系程度获取单向关系维度,根据属于单向关系维度的所有分段按照分段代表值进行聚类得到若干个第二聚簇;
自适应差分确定模块:将当前数据中任意一个分段且属于第二聚簇分段记为待计算分段,根据待计算分段确定目标维度,根据待计算分段中的数据点在目标维度和强相关维度的变化量,获得待计算分段中每个强相关维度对目标维度的影响值;根据影响值获取待计算分段的影响权重值;根据待计算分段的影响权重值、待计算分段的差异得到目标维度的自适应差分阶数;
数据压缩模块:根据所有维度的自适应差分阶数进行ARIMA模型的构建进行压缩。
进一步地,所述对历史和当前的所有维度数据进行分段得到每个维度的若干分段,包括的具体步骤如下:
通过STL时间序列分割算法获取每次物流运输过程中所有维度的趋势项数据,根据任意一个维度下获取的物流运输过程中的趋势项数据计算每个时间点的趋势项数据的斜率值,即任意一个时间点和前一个时间点的连线的斜率值,第一个时间点的斜率值设置为0,若任意一个时间点的趋势项数据的斜率值与前一个时间点的趋势项数据的斜率值的差值的绝对值大于预设斜率阈值时,则将维度中的该时间点作为分段点,获得所有维度分段点,将所有维度的分段点作为每次物流运输过程的每个维度数据的最终分段点。
进一步地,所述根据其他维度的分段与第一目标维度的分段获得第一目标维度在目标第一聚簇下的所有强相关维度,包括的具体步骤如下:
计算第个聚簇的所有分段中每一个分段的第/>个维度与第/>个维度之间的相关系数的绝对值,进而得到第/>个聚簇的所有分段中第/>个维度与第/>个维度之间的相关系数的绝对值的均值,记为相关性系数/>,当/>大于预设相关系数阈值时,则第/>个维度在第/>个聚簇中和第i个维度是强相关的,获得第/>个聚簇中与第/>个维度强相关的所有维度组成的维度集合/>。
进一步地,所述根据目标第一聚簇中的且属于目标强相关维度上的分段,获得第一目标维度与目标强相关维度在目标第一聚簇下的单向关系程度,包括的具体步骤如下:
式中,表示根据第/>个维度的进行聚类的聚簇的数量;/>表示聚簇结果中第个聚簇的聚类中心与第/>个聚簇的聚类中心之间的欧式距离;/>表示所有聚簇结果中两个聚簇的聚类中心之间的欧式距离的最大值;/>表示第/>个聚簇中且属于第/>个维度上的分段,即目标第一聚簇中的且属于目标强相关维度上的分段,/>表示第/>个聚簇中且属于第/>个维度上的分段;/>表示/>和/>的/>距离均值;/>表示以自然常数为底数的指数函数,/>表示第a个聚簇中的第/>个维度与第/>个维度之间单向关系程度。
进一步地,所述根据单向关系程度获得第一目标维度的最终单向关系程度,包括的具体步骤如下:
式中,表示根据第/>个维度的进行聚类的聚簇的数量,/>表示第/>个聚簇中与第个维度具有强相关性的维度数量;/>表示第/>个聚簇中所有分段的第/>个维度与第/>个强相关性维度之间的相关性系数;/>表示第/>个聚簇中的第/>个维度与第/>个维度之间单向关系程度;/>表示第/>个维度的最终单向关系程度。
进一步地,所述根据最终单向关系程度获取单向关系维度,包括的具体步骤如下:
获取所有维度的最终单向关系程度,对其进行线性归一化处理,将最终单向关系程度大于预设程度阈值的维度作为单向关系维度。
进一步地,所述根据待计算分段中的数据点在目标维度和强相关维度的变化量,获得待计算分段中每个强相关维度对目标维度的影响值,包括的具体步骤如下:
式中,表示第/>个分段所在聚簇中除第/>个分段外的分段数量;/>表示聚簇中第/>个分段下数据点总个数,第/>个分段记为待计算分段;/>表示第/>个分段中第/>个数据点与前一个数据点在第/>个强相关维度下的变化量,/>表示第/>个分段中第/>个数据点与前一个数据点在目标维度/>下的变化量,/>也表示待计算分段中的数据点在目标维度和强相关维度的变化量;/>表示与目标维度/>具有强相关维度中的第/>个维度对目标维度/>的影响值。
进一步地,所述根据影响值获取待计算分段的影响权重值,包括的具体步骤如下:
式中,表示第/>个分段受到的影响权重值;/>表示与目标维度/>具有强相关性的维度总数量;/>表示与目标维度/>和具有强相关性的维度中第/>个维度的相关性系数;表示与目标维度/>具有强相关性的维度中的第/>个维度对目标维度/>的影响值;表示/>函数。
进一步地,所述根据待计算分段的影响权重值、待计算分段的差异得到目标维度的自适应差分阶数,包括的具体步骤如下:
式中,表示第/>个分段所属目标维度/>的自适应获取的差分阶数,/>表示第/>个分段所属目标维度/>的数据方差值,即待计算分段的差异;/>表示第/>个分段受到的影响权重值,即待计算分段的影响权重值;/>表示第/>个分段所属目标维度/>的差分阶数的超参数值;
表示对/>向上取整。
本发明的技术方案的有益效果是:本实施例中为了保证铁路公路物流运输信息综合管理系统的信息存储的高效性,采用基于预测的压缩算法对车辆网数据进行数据压缩,在压缩过程中为了获取准确的ARIMA预测模型,对非平稳数据转换为平稳数据的过程中的差分阶数进行自适应获取。其中根据维度数据的趋势分布特征对当前物流过程中的不同维度的数据进行区分。并且在计算目标维度对不同维度的影响关系时,通过聚类分析获取维度中的单向关系的维度特征,使得聚类结果的分段数据不会受到呈现单向关系维度数据的干扰,使得后续在同一个聚类结果中分析非单向关系的影响程度值更加准确,再综合考虑结合分段中维度数据的自相关性进而得到准确的差分阶数。避免了传统的ARIMA模型的构建的过程中设置的差分阶数不合理造成的平稳数据序列转换过程中造成的错误结果,丢失较多的信息的缺点,进而保证模型的构建准确,进而提高数据的压缩率大小,保证铁路公路物流运输信息综合管理系统的信息存储的高效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种铁路公路物流运输信息综合管理系统的系统框架图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种铁路公路物流运输信息综合管理系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种铁路公路物流运输信息综合管理系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种铁路公路物流运输信息综合管理系统的系统框架图,该系统包括以下模块:
传感器数据采集模块:
本实施例中首先需要对车联网数据进行采集,其中通过布置与车联网有关的传感器来采集不同维度下的车联网数据,传感器包括:速度传感器、GPS位置传感器、发动机转速传感器、惯性传感器、油量传感器、轮胎胎压胎温传感器等。需要说明的是,本实施例对各类传感器型号不进行设定,可根据实施者具体实施情况而定。其中为了计算方便,将各类传感器的采样频率为每10秒采集一次,可根据实施者具体实施情况而定。利用传感器可以获取历史车联网数据和当前物流运输过程中的车联网数据,获取的数据都是多维的,即多个传感器采集的数据。
数据特征分析模块:
需要说明的是,在基于预测的压缩算法中,采用ARIMA模型进行预测模型的构建,而由于物流和交通情况的不确定性、节假日和天气等因素的影响,会使得采集的不同维度的车联网时间序列数据出现不同的非平稳性特征,会影响模型的构建和预测误差的分析,因此往往会采用差分变换来实现非平稳时间序列数据到平稳时间序列数据的转换,其中差分变换过程是通过差分阶数来确定。然而由于不同的维度的数据受到的时间分布特征的影响情况下,还会受到维度之间的互相影响,例如车燃油数据除了其自身的数据分布,还会受到车速、引擎位置传感器数据、以及环境数据的影响,因此若仅根据数据的自相关性(即趋势分布)来获取差分阶数会产生较大的误差。
因此本实施例为了获取目标维度对不同维度的依赖关系,根据当前物流运输过程中的车联网数据以及历史的车联网数据的数据分布特征来获取数据聚类结果,并根据聚类结果来量化不同维度数据之间的影响,进而获取最终的差分阶数,进行自适应预测压缩。
进一步需要说明的是,在确定差分阶数的时候,需要考虑当前物流运输过程中的趋势分布特征,若趋势分布特征不同,则对应的差分阶数的选择不同,因此本实施例根据趋势分布特征对当前物流过程中的不同维度的数据进行区分。并且在计算目标维度对不同维度的依赖关系时,若仅根据当前物流运输过程中的车联网数据会出现随机性太强的缺点,并且考虑不同环境参数、不同物流交通情况不同以及时间分布上的不同会对依赖关系进行错误的计算。因此本实施例根据当前物流运输过程中的车联网数据以及历史的车联网数据的数据分布特征进行聚类分析,进一步对当前物流运输过程中的车联网数据进行后续的分析。
对当前物流运输过程的车联网数据以及历史的不同物流运输过程的车联网数据进行趋势的分析。对每次物流运输过程的所有维度数据进行趋势分布特征的确定。
具体的,通过STL时间序列分割算法获取每次物流运输过程中所有维度数据的趋势项数据,根据趋势项数据的变化程度来确定分段时间点,目的是为了获取的每个分段的趋势,若趋势相似则对应的该分段的差分阶数相同不进行变化。根据任意一个维度下获取的物流运输过程中的趋势项数据计算每个时间点的趋势项数据的斜率值,即任意一个时间点和前一个时间点的连线的斜率值,第一个时间点的斜率值设置为0,若任意一个时间点的趋势项数据的斜率值与前一个时间点的趋势项数据的斜率值的差值的绝对值大于预设斜率阈值时,则将维度中的该时间点作为分段点,需要说明的是,斜率值的差值的绝对值是经过最大最小值归一化法处理后的值,本实施例以预设斜率阈值为0.68为例进行叙述,在实施时可以设置为其它值,本实施例不进行具体限定。获得所有维度分段点,将所有维度的分段点作为每次物流运输过程的每个维度数据的最终分段点,根据获取的最终分段点获取所有不同维度的分段。
第一聚类模块:
需要说明的是,根据获取的不同维度的分段进行聚类,聚类的目的为:为了获取不同维度之间的影响,在每次物流运输过程的车联网数据中需要获取相关性的各个分段进行分析,若相关性不大,会使得分析得到的影响结果不准确,因此需要对每次物流运输过程的车联网数据进行分段之间数据的聚类,在同一个类别中进行维度影响分析。但是由于多维度的车联网数据之间存在维度间的互相影响,若仅进行相同维度之间的比较,会存在一个维度的两段数据不相关,但是另一个维度的该两段数据是相关的,则对应的最终聚类结果达不到我们期望的效果,其中由于维度之间存在单向关系,本实施例所述的单向关系,即两个维度A和B中,A的变化会引起B的变化,但是B的变化不会引起A的变化,这些维度的数据变化相对应的受到其它维度关联影响较小(可以理解为大环境下的维度数据,类似环境数据,路径数据),若这些维度的数据之间相关性较大则聚类结果较为相似,可以表征为含有对数据聚类结果有较大的信息量贡献的维度数据,因此本实施例对不同维度之间的单向关系进行量化,作为在聚类过程中聚类结果的维度权重的表征。
具体方法如下:
根据第个维度所有的分段数据之中的数据值的均值作为分段数据的代表值,根据第/>个维度分段数据的代表值对第/>个维度所有分段数据进行聚类,聚类方法采用K-Means聚类,聚簇的数量/>,需要说明的是,在实施时可以设置为其他值,本实施例不进行具体限定。
单向关系程度计算模块:
具体的,在所有聚类结果中任意选取一个聚簇进行分析,记为第a个聚簇,计算第个聚簇的所有分段中每一个分段的第/>个维度与第/>个维度之间的相关系数的绝对值,需要说明的是,相关系数的计算是利用现有的皮尔逊相关系数计算公式得到的,进而得到第/>个聚簇的所有分段中第/>个维度与第/>个维度之间的相关系数的绝对值的均值,记为相关性系数/>,当/>大于预设相关系数阈值时,则第/>个维度在第/>个聚簇中和第i个维度是强相关的,获得第/>个聚簇中与第/>个维度强相关的所有维度组成的维度集合/>。需要说明的是,本实施例以预设相关系数阈值为0.68为例进行叙述,在实施时可以设置为其他值,在此不进行固定限制。其次,在其他聚簇中分析/>中的维度,通过比较其中第/>个维度在第/>个聚簇的结果与第/>个聚簇的结果之间的数据的差异,若差异较小,则对应的第/>个维度的数据变化不影响第/>个维度的变化。
对应第个聚簇中的第/>个维度与第/>个维度之间单向关系程度/>的计算方法为:
式中,表示根据第/>个维度的进行聚类的聚簇的数量;/>表示聚簇结果中第个聚簇的聚类中心与第/>个聚簇的聚类中心之间的欧式距离;/>表示所有聚簇结果中两个聚簇的聚类中心之间的欧式距离的最大值;/>表示第/>个聚簇中且属于第/>个维度上的分段,/>表示第/>个聚簇中且属于第/>个维度上的分段;表示/>和/>的/>距离均值;/>表示以自然常数为底数的指数函数,/>表示第a个聚簇中的第/>个维度与第/>个维度之间单向关系程度。
其中通过计算两个聚簇结果中的与第个维度具有强相关性的维度之间数据差异,来表征第/>个维度的变化对于第/>个维度的影响,若差异越小,则表明第/>个维度的数据差异不是受到第/>个维度的变化影响;但是由于两个维度具有强相关性,因此第/>个维度对于第/>个维度之间的单向关系程度越大;其中/>表示第/>个聚簇的参考权重,若两个聚簇之间的差异越大即聚簇中心越远,表明两个聚簇区分越明显,则对应的这个聚簇的参考权重越大。
对应的第个维度的最终单向关系程度/>的计算方法为:
式中,表示根据第/>个维度的进行聚类的聚簇的数量,/>表示第/>个聚簇中与第个维度具有强相关性的维度数量;/>表示第/>个聚簇中所有分段的第/>个维度与第/>个强相关性维度之间的相关性系数;/>表示第/>个聚簇中的第/>个维度与第/>个维度之间单向关系程度;/>表示第/>个维度的最终单向关系程度。
其它维度经过同样处理,可以得到所有维度的最终单向关系程度,对其进行线性归一化处理,将最终单向关系程度大于预设程度阈值的维度作为单向关系维度,即对应的为其变化不受到其他维度的影响,本实施例以预设程度阈值为0.75为例进行叙述,在实施时可以设置其他值,在此不进行具体限定。
第二聚类模块:
具体的,将所有单向关系维度按照最终单向关系程度从大到小的顺序进行排列,根据获取的第一个单向关系维度在当前物流运输过程以及历史的物流运输过程的所有分段进行聚类分析,同样进行K-Means聚类,,需要说明的是,在实施时可以设置为其他值,本实施例不进行具体限定;第二个单向关系维度在第一个单向关系维度聚类结果中进行再聚类;依次进行直到单向关系维度都聚类完毕,得到的最终聚类结果,其中每个结果中受到单向关系维度数据影响基本相同,即对应的同一个聚簇中仅受到非单向关系维度的影响。
自适应差分确定模块:
需要说明的是,根据上述模块获取得到的数据聚类结果,对于当前物流运输过程中的所有分段的目标维度进行差分阶数自适应。其中为了获取其他维度对目标维度的影响,首先要确定其他维度对于目标维度的影响值,即对应的需要获取与目标维度具有较强相关性的非单向关系维度的影响值,其次根据以该影响值作为权重大小来对当前分段下的非单向关系维度的波动程度来量化影响值,最后综合结合分段中目标维度数据的自相关性来获取最终的差分阶数。
具体的,根据上述模块得到的聚类结果中,获取到与当前物流运输过程中的待计算分段的同一类的所有分段,该聚类结果中仅受到非单向关系维度的影响,因此本实施例计算这些非单向关系维度对目标维度的影响值,进而获得差分阶数。记当前物流运输过程中的待计算分段为第个分段,所属目标维度为/>维度,则同样根据上述模块计算相关性系数,计算得到的第/>个分段下的目标维度/>与其他非单向关系维度之间的强相关性,由于分段过程中是根据不同维度下的数据趋势项得到的,可以保证每个分段下所有维度的数据的趋势相同,因此对于目标维度/>受到的除/>外的其他维度中强相关性的维度中的第/>个维度的影响值/>的计算方法为:
式中,表示第/>个分段所在聚簇中除第/>个分段外的分段数量;/>表示聚簇中第/>个分段下数据点总个数,第/>个分段记为待计算分段;/>表示第/>个分段中第/>个数据点与前一个数据点在第/>个强相关维度下的变化量,/>表示第/>个分段中第/>个数据点与前一个数据点在目标维度/>下的变化量,/>也表示待计算分段中的数据点在目标维度和强相关维度的变化量;/>表示与目标维度/>具有强相关维度中的第/>个维度对目标维度/>的影响值。
第个分段受到的影响权重值/>的计算方法为:
式中,表示第/>个分段受到的影响权重值;/>表示与目标维度/>具有强相关性的维度总数量;/>表示与目标维度/>和具有强相关性的维度中第/>个维度的相关性系数;表示与目标维度/>具有强相关性的维度中的第/>个维度对目标维度/>的影响值;函数用来进行归一化其中通过相关性系数来表征两个维度的关联性,关联性越大,表明两个维度之间关系密切,则对应的目标维度受到的第/>个维度的影响影响权重越大,进而得到综合的影响。
则第个分段下的目标维度/>的自适应获取的差分阶数/>的计算方法为:
式中,表示第/>个分段所属目标维度/>的自适应获取的差分阶数,/>表示第/>个分段所属目标维度/>的数据方差值;/>表示第/>个分段受到的影响权重值;/>表示第/>个分段所属目标维度/>的差分阶数的超参数值,本实施例以超参数值为4进行说明,在实施时可以根据不同维度的数据特征来设置;/>表示对向上取整。其中/>表示目标维度/>本身的数据波动特征,来表征不稳定程度,若当前分段受到的影响权重值越大,则对应的需要调整的差分阶数越大。
对于目标维度为单向关系维度,由于其数据变化仅与自身数据变化有关因此不进行该节计算分析。采用差分阶数迭代的方式来获取差分阶数,(迭代初始值为1,步长为1进行,终止条件为8),通过ADF检验来计算每次迭代过程中序列是否为平稳序列,若是则停止迭代,对应的差分阶数即为该目标维度的差分阶数。
数据压缩模块:
根据上述模块计算得到的每段的每个维度的自适应差分阶数,将该段该维度的数据转换为平稳序列,并根据ARIMA模型中的自相关图来确定自回归阶数,以及偏自相关图来确定移动平均阶数得到ARIMA模型。
根据得到的ARIMA模型进行数据预测,与实时采集的数据计算预测误差,判断是否在设置误差范围内,在确定误差范围的过程中,可根据交叉验证的方法估计预测误差范围,该方法为公知技术,在本实施例中不再赘述,若不在该范围内进行舍弃,将保留的误差值用于下一个时间点的预测,从而实现对数据的压缩。其中基于预测的压缩是公知技术,在本实施例中不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种铁路公路物流运输信息综合管理系统,其特征在于,该系统包括以下模块:
传感器数据采集模块:获取历史数据和当前数据的每个维度数据,所述每个维度数据是指由不同类别的传感器采集得到的数据,所述传感器的类别包括:速度传感器、GPS位置传感器、发动机转速传感器、惯性传感器、油量传感器以及轮胎胎压胎温传感器;
数据特征分析模块:对历史和当前的所有维度数据进行分段得到每个维度的若干分段;
第一聚类模块:根据每个维度的所有分段的代表值对每个维度的分段进行聚类得到每个维度的若干个第一聚簇;
单向关系程度计算模块:将任意一个维度记为第一目标维度,将第一目标维度的任意一个第一聚簇记为目标第一聚簇,根据其他维度的分段与第一目标维度的分段获得第一目标维度在目标第一聚簇下的所有强相关维度;
将第一目标维度的任意一个强相关维度记为目标强相关维度,根据目标第一聚簇中的且属于目标强相关维度上的分段,获得第一目标维度与目标强相关维度在目标第一聚簇下的单向关系程度;根据单向关系程度获得第一目标维度的最终单向关系程度;
第二聚类模块:根据最终单向关系程度获取单向关系维度,根据属于单向关系维度的所有分段按照分段代表值进行聚类得到若干个第二聚簇;
自适应差分确定模块:将当前数据中任意一个分段且属于第二聚簇分段记为待计算分段,根据待计算分段确定目标维度,根据待计算分段中的数据点在目标维度和强相关维度的变化量,获得待计算分段中每个强相关维度对目标维度的影响值;根据影响值获取待计算分段的影响权重值;根据待计算分段的影响权重值、待计算分段的差异得到目标维度的自适应差分阶数;
数据压缩模块:根据所有维度的自适应差分阶数进行ARIMA模型的构建,根据得到的ARIMA模型进行数据预测,与实时采集的数据计算预测误差,判断是否在设置误差范围内,若不在该范围内进行舍弃,将保留的误差值用于下一个时间点的预测,从而实现对数据的压缩。
2.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述对历史和当前的所有维度数据进行分段得到每个维度的若干分段,包括的具体步骤如下:
通过STL时间序列分割算法获取每次物流运输过程中所有维度的趋势项数据,根据任意一个维度下获取的物流运输过程中的趋势项数据计算每个时间点的趋势项数据的斜率值,即任意一个时间点和前一个时间点的连线的斜率值,第一个时间点的斜率值设置为0,若任意一个时间点的趋势项数据的斜率值与前一个时间点的趋势项数据的斜率值的差值的绝对值大于预设斜率阈值时,则将维度中的该时间点作为分段点,获得所有维度分段点,将所有维度的分段点作为每次物流运输过程的每个维度数据的最终分段点。
3.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据其他维度的分段与第一目标维度的分段获得第一目标维度在目标第一聚簇下的所有强相关维度,包括的具体步骤如下:
计算第个聚簇的所有分段中每一个分段的第/>个维度与第/>个维度之间的相关系数的绝对值,进而得到第/>个聚簇的所有分段中第/>个维度与第/>个维度之间的相关系数的绝对值的均值,记为相关性系数/>,当/>大于预设相关系数阈值时,则第/>个维度在第/>个聚簇中和第i个维度是强相关的,获得第/>个聚簇中与第/>个维度强相关的所有维度组成的维度集合/>。
4.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据目标第一聚簇中的且属于目标强相关维度上的分段,获得第一目标维度与目标强相关维度在目标第一聚簇下的单向关系程度,包括的具体步骤如下:
式中,表示根据第/>个维度的进行聚类的聚簇的数量;/>表示聚簇结果中第/>个聚簇的聚类中心与第/>个聚簇的聚类中心之间的欧式距离;/>表示所有聚簇结果中两个聚簇的聚类中心之间的欧式距离的最大值;/>表示第/>个聚簇中且属于第/>个维度上的分段,即目标第一聚簇中的且属于目标强相关维度上的分段,/>表示第/>个聚簇中且属于第/>个维度上的分段;/>表示/>和/>的/>距离均值;/>表示以自然常数为底数的指数函数,/>表示第a个聚簇中的第/>个维度与第个维度之间单向关系程度。
5.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据单向关系程度获得第一目标维度的最终单向关系程度,包括的具体步骤如下:
式中,表示根据第/>个维度的进行聚类的聚簇的数量,/>表示第/>个聚簇中与第/>个维度具有强相关性的维度数量;/>表示第/>个聚簇中所有分段的第/>个维度与第/>个强相关性维度之间的相关性系数;/>表示第/>个聚簇中的第/>个维度与第/>个维度之间单向关系程度;/>表示第/>个维度的最终单向关系程度。
6.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据最终单向关系程度获取单向关系维度,包括的具体步骤如下:
获取所有维度的最终单向关系程度,对其进行线性归一化处理,将最终单向关系程度大于预设程度阈值的维度作为单向关系维度。
7.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据待计算分段中的数据点在目标维度和强相关维度的变化量,获得待计算分段中每个强相关维度对目标维度的影响值,包括的具体步骤如下:
式中,表示第/>个分段所在聚簇中除第/>个分段外的分段数量;/>表示聚簇中第/>个分段下数据点总个数,第/>个分段记为待计算分段;/>表示第/>个分段中第/>个数据点与前一个数据点在第/>个强相关维度下的变化量,/>表示第/>个分段中第/>个数据点与前一个数据点在目标维度/>下的变化量,/>也表示待计算分段中的数据点在目标维度和强相关维度的变化量;/>表示与目标维度/>具有强相关维度中的第/>个维度对目标维度/>的影响值。
8.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据影响值获取待计算分段的影响权重值,包括的具体步骤如下:
式中,表示第/>个分段受到的影响权重值;/>表示与目标维度/>具有强相关性的维度总数量;/>表示与目标维度/>和具有强相关性的维度中第/>个维度的相关性系数;/>表示与目标维度/>具有强相关性的维度中的第/>个维度对目标维度/>的影响值;/>表示/>函数。
9.根据权利要求1所述一种铁路公路物流运输信息综合管理系统,其特征在于,所述根据待计算分段的影响权重值、待计算分段的差异得到目标维度的自适应差分阶数,包括的具体步骤如下:
式中,表示第/>个分段所属目标维度/>的自适应获取的差分阶数,/>表示第/>个分段所属目标维度/>的数据方差值,即待计算分段的差异;/>表示第/>个分段受到的影响权重值,即待计算分段的影响权重值;/>表示第/>个分段所属目标维度/>的差分阶数的超参数值;
表示对/>向上取整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310656427.6A CN116383450B (zh) | 2023-06-05 | 2023-06-05 | 一种铁路公路物流运输信息综合管理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310656427.6A CN116383450B (zh) | 2023-06-05 | 2023-06-05 | 一种铁路公路物流运输信息综合管理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116383450A CN116383450A (zh) | 2023-07-04 |
CN116383450B true CN116383450B (zh) | 2023-08-25 |
Family
ID=86964222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310656427.6A Active CN116383450B (zh) | 2023-06-05 | 2023-06-05 | 一种铁路公路物流运输信息综合管理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116383450B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116680661B (zh) * | 2023-08-03 | 2023-10-20 | 湖南天联城市数控有限公司 | 基于多维数据的燃气自动调压柜压力监测方法 |
CN116821940B (zh) * | 2023-08-23 | 2024-02-13 | 青岛阿斯顿工程技术转移有限公司 | 一种培训考核数据智能采集方法 |
CN116974258B (zh) * | 2023-09-25 | 2023-12-08 | 常熟理工学院 | 基于多维数据的生产过程监测方法 |
CN117135686B (zh) * | 2023-10-24 | 2024-02-20 | 深圳市蓝鲸智联科技股份有限公司 | 一种基于蓝牙的车载信息交互方法及系统 |
CN117151948B (zh) * | 2023-10-31 | 2024-02-27 | 临沂大学 | 一种高校学生外出签到综合管理方法及系统 |
CN117392165B (zh) * | 2023-12-12 | 2024-02-23 | 南方医科大学南方医院 | 一种基于人工智能的医疗样本大数据采集方法 |
CN117436712B (zh) * | 2023-12-21 | 2024-04-12 | 山东铁鹰建设工程有限公司 | 一种施工挂篮运行风险实时监测方法及系统 |
CN117743280B (zh) * | 2024-02-21 | 2024-04-23 | 盈客通天下科技(大连)有限公司 | 一种公路桥梁施工数据智能管理方法 |
CN117874690B (zh) * | 2024-03-13 | 2024-05-28 | 山东省地质测绘院 | 一种地理信息测绘数据智能管理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107070683A (zh) * | 2016-12-12 | 2017-08-18 | 国网北京市电力公司 | 数据预测的方法和装置 |
CN112561165A (zh) * | 2020-12-16 | 2021-03-26 | 南京航空航天大学 | 一种基于组合模型的多维时序数据预测方法 |
CN113065702A (zh) * | 2021-03-31 | 2021-07-02 | 中国地质大学(武汉) | 基于st-seep分段法和时空arma模型的滑坡位移多线性预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8990217B2 (en) * | 2011-07-13 | 2015-03-24 | International Business Machines Corporation | Lossless compression of high nominal-range data |
US9858311B2 (en) * | 2014-03-31 | 2018-01-02 | EMC IP Holding Company LLC | Heteroscedastic data compression using ARIMA-GARCH model estimation |
-
2023
- 2023-06-05 CN CN202310656427.6A patent/CN116383450B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107070683A (zh) * | 2016-12-12 | 2017-08-18 | 国网北京市电力公司 | 数据预测的方法和装置 |
CN112561165A (zh) * | 2020-12-16 | 2021-03-26 | 南京航空航天大学 | 一种基于组合模型的多维时序数据预测方法 |
CN113065702A (zh) * | 2021-03-31 | 2021-07-02 | 中国地质大学(武汉) | 基于st-seep分段法和时空arma模型的滑坡位移多线性预测方法 |
Non-Patent Citations (1)
Title |
---|
《基于边缘计算的车间设备能源数据处理技术研究与应用》;陈胜强;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116383450A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116383450B (zh) | 一种铁路公路物流运输信息综合管理系统 | |
CN111539454B (zh) | 一种基于元学习的车辆轨迹聚类方法及系统 | |
WO2016122591A1 (en) | Performance testing based on variable length segmentation and clustering of time series data | |
CN111008726B (zh) | 一种电力负荷预测中类图片转换方法 | |
CN111046564A (zh) | 两阶段退化产品的剩余寿命预测方法 | |
CN113378890A (zh) | 一种基于改进YOLO v4的轻量级行人车辆检测方法 | |
CN108416376B (zh) | 一种基于svm的在途物流人车跟踪监控管理系统及方法 | |
CN116320042B (zh) | 边缘计算的物联终端监测控制系统 | |
CN110084534B (zh) | 一种基于驾驶行为画像的驾驶风险因子量化方法 | |
CN108460481B (zh) | 基于循环神经网络的无人机侦察目标演变规律预测方法 | |
CN114996661B (zh) | 一种冷藏车温度监控方法及系统 | |
CN117578715A (zh) | 一种电力运维智能监测预警方法、系统及存储介质 | |
US20150012250A1 (en) | Clustering based continuous performance prediction and monitoring for semiconductor manufacturing processes using nonparametric bayesian models | |
CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
CN115800245A (zh) | 基于sarima-随机森林组合模型的短期负荷预测方法 | |
CN113526282A (zh) | 一种电梯中长期老化故障诊断方法、装置、介质和设备 | |
CN116702090A (zh) | 一种多模态数据融合与不确定估计的水位预测方法及系统 | |
CN116523177A (zh) | 融合机理和深度学习模型的车辆能耗预测方法及装置 | |
CN110750848A (zh) | 一种考虑软件运行的软-硬件退化系统剩余寿命估计的方法 | |
CN117035422A (zh) | 一种货车线路运输风险预测的方法 | |
CN115204323B (zh) | 基于种子多特征的聚类及综合的方法、系统、设备及介质 | |
CN116384843A (zh) | 数字能源氮气站的能效评估模型训练方法及其监测方法 | |
CN116403090A (zh) | 一种基于动态锚框和Transformer的小尺寸目标检测方法 | |
CN115018194A (zh) | 电动汽车故障等级预测的方法、系统、电子设备和存储介质 | |
CN115081514A (zh) | 一种数据不平衡情况下的工业设备故障识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |