CN117278643B - 基于云边协同的车载云标定数据传输系统 - Google Patents
基于云边协同的车载云标定数据传输系统 Download PDFInfo
- Publication number
- CN117278643B CN117278643B CN202311540864.8A CN202311540864A CN117278643B CN 117278643 B CN117278643 B CN 117278643B CN 202311540864 A CN202311540864 A CN 202311540864A CN 117278643 B CN117278643 B CN 117278643B
- Authority
- CN
- China
- Prior art keywords
- data
- iteration
- target segment
- sequence
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims abstract description 122
- 238000012937 correction Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000010586 diagram Methods 0.000 claims abstract description 44
- 230000005856 abnormality Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000013144 data compression Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0006—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
- H04L1/0007—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及基于云边协同的车载云标定数据传输系统,该系统采集温度时序数据序列,进行一阶差分,得到差分数据序列,并划分为若干个序列段,将任意一个序列段,记为目标段,从而获取第一次迭代后的目标段、第一次迭代的判断阈值,结合目标段和第一次迭代后的目标段中的数据值差异,得到内限修正值,再结合预设的初始内限系数,得到第一次迭代后的目标段的内限系数,由此获取目标段的更新序列段,从而得到更新温度时序数据序列,至此使用游程编码,得到压缩数据,并传输至云端。本发明通过箱线图迭代过程中内限系数自适应,提高异常数据检测的准确性,从而提高传输数据的可信度。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及基于云边协同的车载云标定数据传输系统。
背景技术
当前车辆越来越依赖感知数据,如传感器数据和摄像头图像,来支持自动驾驶、驾驶辅助系统和车辆网络连接。数据标定有助于提高这些系统的准确性和可靠性,从而提高车辆的感知和自动化能力,其中汽车空调的温度影响着行车的舒适性,通过分析汽车空调的温度数据,对汽车空调的温度进行自适应调控,可以保障车内环境温度舒适,从而提高驾驶员行车的安全性。
现有的问题:长时间采集的汽车空调的温度数据,可能存在着一些噪声影响的异常数据。箱线图是当前常使用的一种异常数据检测方法,但该算法中内限系数的选取大小,会影响异常数据检测的准确性,当内限系数不合适时,检测出的异常数据误差较大,从而减小了传输数据的可信度。
发明内容
本发明提供基于云边协同的车载云标定数据传输系统,以解决现有的问题。
本发明的基于云边协同的车载云标定数据传输系统采用如下技术方案:
本发明一个实施例提供了基于云边协同的车载云标定数据传输系统,该系统包括以下模块:
数据采集模块:用于采集任意一段时间内的汽车空调温度数据,得到温度时序数据序列;对温度时序数据序列进行一阶差分,得到差分数据序列;
数据划分模块:用于将差分数据序列划分为若干个序列段;
数据迭代更新模块:用于将任意一个序列段,记为目标段;根据目标段中数据的数据值大小,得到目标段中的异常数据、每个异常数据的异常程度;根据目标段中所有异常数据的异常程度和数量,得到第一次迭代后的目标段、第一次迭代的判断阈值;
根据目标段和第一次迭代后的目标段中的数据值差异、第一次迭代的判断阈值,得到第一次迭代后的目标段的内限修正值;
根据第一次迭代后的目标段的内限修正值、预设的初始内限系数,得到第一次迭代后的目标段的内限系数;
根据第一次迭代后的目标段、第一次迭代的判断阈值、第一次迭代后的目标段的内限系数,得到目标段的更新序列段;
将所有序列段的更新序列段构成的序列,记为更新温度时序数据序列;
数据压缩传输模块:用于使用游程编码,得到更新温度时序数据序列的压缩数据,将压缩数据传输至云端。
进一步地,所述将差分数据序列划分为若干个序列段包括:
在差分数据序列中,将前q个数据的皮尔逊相关系数的绝对值,记为第一相关性;将前个数据的皮尔逊相关系数的绝对值,记为第二相关性;当第二相关性小于第一相关性时,将前q个数据构成的序列段,记为第一序列段;
当第二相关性大于等于第一相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第三相关性;当第三相关性小于第二相关性时,将前/>个数据构成的序列段,记为第一序列段;
当第三相关性大于等于第二相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第四相关性,以此类推,得到第一序列段;其中,q为预设的数据数量;
去除差分数据序列中第一序列段中的数据,得到剩余差分数据序列;
在剩余差分数据序列中,根据差分数据序列中第一序列段的获取方式,得到第二序列段;
以此类推,将差分数据序列划分为若干个序列段。
进一步地,所述根据目标段中数据的数据值大小,得到目标段中的异常数据、每个异常数据的异常程度包括:
根据预设的初始内限系数,使用箱线图算法,得到目标段对应的箱线图的上限和下限、目标段中的异常数据;
根据目标段中每个异常数据、目标段对应的箱线图的上限和下限之间的差异,得到目标段中每个异常数据的异常程度。
进一步地,所述根据目标段中每个异常数据、目标段对应的箱线图的上限和下限之间的差异,得到目标段中每个异常数据的异常程度对应的具体计算公式为:
其中为目标段中第i个异常数据的异常程度,/>为目标段中第i个异常数据的数据值,/>和/>分别为目标段对应的箱线图的下限和上限,| |为绝对值函数,/>为线性归一化函数。
进一步地,所述根据目标段中所有异常数据的异常程度和数量,得到第一次迭代后的目标段、第一次迭代的判断阈值包括:
将一减去目标段中每个异常数据的异常程度,记为目标段中每个异常数据的权重;
将目标段中不是异常数据的数据,记为正常数据;
将预设的权重,记为正常数据的权重;
根据目标段中所有数据的数据值和权重,使用加权最小二乘法对目标段中的数据进行拟合,得到目标段中每个数据的拟合数据;
将目标段中所有数据的拟合数据构成的序列段,记为第一次迭代后的目标段;
在目标段中,将异常数据的数量除以所有数据的数量,记为第一次迭代的判断阈值。
进一步地,所述根据目标段和第一次迭代后的目标段中的数据值差异、第一次迭代的判断阈值,得到第一次迭代后的目标段的内限修正值包括:
使用最小二乘法,得到第一次迭代后的目标段中每个数据的拟合数据值;
根据第一次迭代后的目标段中所有数据的数据值、拟合数据值之间的差异,得到第一次迭代后的目标段的内限初始修正值;
根据第一次迭代的判断阈值、目标段和第一次迭代后的目标段中所有的数据,得到第一次迭代的修正值校正程度;
计算第一次迭代的修正值校正程度、第一次迭代后的目标段的内限初始修正值的乘积,将所述乘积的归一化值,记为第一次迭代后的目标段的内限修正值。
进一步地,所述根据第一次迭代后的目标段中所有数据的数据值、拟合数据值之间的差异,得到第一次迭代后的目标段的内限初始修正值对应的具体计算公式为:
其中C为第一次迭代后的目标段的内限初始修正值,为第一次迭代后的目标段中第j个数据的数据值,/>为第一次迭代后的目标段中第j个数据的拟合数据值,/>为第一次迭代后的目标段中所有数据的均值,m为第一次迭代后的目标段中的数据数量,| |为绝对值函数。
进一步地,所述根据第一次迭代的判断阈值、目标段和第一次迭代后的目标段中所有的数据,得到第一次迭代的修正值校正程度对应的具体计算公式为:
其中W为第一次迭代的修正值校正程度,H为第一次迭代的判断阈值,为第一次迭代后的目标段中第j个数据的数据值,/>为目标段中第j个数据的数据值,m为第一次迭代后的目标段中的数据数量,m也为目标段中的数据数量,| |为绝对值函数。
进一步地,所述根据第一次迭代后的目标段的内限修正值、预设的初始内限系数,得到第一次迭代后的目标段的内限系数包括:
计算第一次迭代后的目标段的内限修正值、预设的初始内限系数的乘积,将预设的初始内限系数减去所述乘积,记为第一次迭代后的目标段的内限系数。
进一步地,所述根据第一次迭代后的目标段、第一次迭代的判断阈值、第一次迭代后的目标段的内限系数,得到目标段的更新序列段包括:
按照第一次迭代后的目标段、第一次迭代的判断阈值、第一次迭代后的目标段的内限系数的获取方式进行迭代,根据第一次迭代后的目标段的内限系数、第一次迭代后的目标段、第一次迭代的判断阈值,得到第二次迭代后的目标段、第二次迭代的判断阈值、第二次迭代后的目标段的内限系数;
根据第二次迭代后的目标段的内限系数、第二次迭代后的目标段、第二次迭代的判断阈值,得到第三次迭代后的目标段、第三次迭代的判断阈值、第三次迭代后的目标段的内限系数;
以此类推,直至任意一次迭代的判断阈值小于预设的终止阈值时,迭代结束,得到最后一次迭代后的目标段;
将最后一次迭代后的目标段,记为目标段的更新序列段。
本发明的技术方案的有益效果是:
本发明实施例中,采集温度时序数据序列,进行一阶差分,得到差分数据序列,并划分为若干个序列段,其通过自适应分段,保障局部数据分析的准确性,从而提高异常数据检测的准确性。将任意一个序列段,记为目标段,根据目标段中数据的数据值大小,得到目标段中的异常数据、每个异常数据的异常程度,从而得到第一次迭代后的目标段、第一次迭代的判断阈值,其通过异常数据的异常程度,对目标段中的数据进行平滑处理,减小异常数据的影响,提高数据的准确性。根据目标段和第一次迭代后的目标段中的数据值差异、第一次迭代的判断阈值,得到第一次迭代后的目标段的内限修正值,结合预设的初始内限系数,得到第一次迭代后的目标段的内限系数,由此获取目标段的更新序列段,其通过数据迭代和自适应迭代过程中的内限系数,进一步平滑目标段中的数据,减小异常数据的影响,提高数据的准确性。最后将所有序列段的更新序列段构成的序列,记为更新温度时序数据序列。使用游程编码,得到更新温度时序数据序列的压缩数据,将压缩数据传输至云端。至此本发明通过箱线图迭代过程中内限系数自适应,提高异常数据检测的准确性,从而提高传输数据的可信度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于云边协同的车载云标定数据传输系统的模块流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的基于云边协同的车载云标定数据传输系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的基于云边协同的车载云标定数据传输系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的基于云边协同的车载云标定数据传输系统的模块流程图,该系统包括以下模块:
模块101:数据采集模块。
使用温度传感器,采集任意一段时间内的汽车空调温度数据,得到温度时序数据序列。对温度时序数据序列进行一阶差分,得到差分数据序列。
所需说明的是:时序数据的一阶差分为公知技术,具体方法在此不做介绍。其用于将非平稳的时序数据转换为平稳的序列,使数据更加稳定和可以预测,有助于更好地识别异常数据。
模块102:数据划分模块。
已知在采用箱线图识别异常数据的过程中,传统的方法中内限系数是固定的,一般取1.5或3。过大的内限系数会导致异常上下限范围过大,对数据异常的容许率也就大,会导致异常数据的识别结果不准确。
因此本实施例会依据数据变化趋势对内限系数进行修正,使其有利于异常数据的识别。并且为了进一步提高内限系数修正结果的准确性,对箱线图的绘制进行迭代,在迭代过程中对内限系数进行不断的修正,并且依据前几次迭代过程中内限系数的变化对迭代过程中的内限系数进行再次修正。依据最终的内限系数识别异常数据并对其进行校正,获得标定后的数据。由此通过在箱线图迭代过程中对内限系数进行修正,提高异常数据识别结果的准确性,进而提高标定数据的准确性。
由于对整体的数据直接搭建一个箱线图进行分析效果不好,而且部分参数受异常数据影响较大,整体分析不利于凸显局部异常,而空调温度这种时序数据在局部具有稳定性,可对所采集数据进行分组搭建多个箱线图来识别异常数据。即本实施例先将差分数据序列划分为若干个序列段,对每个序列段分别进行箱线图识别异常数据的操作,提高异常数据识别的准确性。
在数据分组过程中,直接自定义一个组数会导致分组内数据趋势混乱,破坏了原本数据的趋势,有可能将正常数据识别为异常数据。因此可依据数据相关性对数据进行分组。
本实施例预设的数据数量q为10,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
在差分数据序列中,将前q个数据的皮尔逊相关系数的绝对值,记为第一相关性。将前个数据的皮尔逊相关系数的绝对值,记为第二相关性。当第二相关性小于第一相关性时,将前q个数据构成的序列段,记为第一序列段。
当第二相关性大于等于第一相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第三相关性。当第三相关性小于第二相关性时,将前/>个数据构成的序列段,记为第一序列段。
当第三相关性大于等于第二相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第四相关性,以此类推,得到第一序列段。
去除差分数据序列中第一序列段中的数据,得到剩余差分数据序列。
在剩余差分数据序列中,根据差分数据序列中第一序列段的获取方式,得到第二序列段。
所需说明的是:第二序列段的获取过程为重复第一序列段的获取过程,即在剩余差分数据序列中,将前q个数据的皮尔逊相关系数的绝对值,记为第一相关性。将前个数据的皮尔逊相关系数的绝对值,记为第二相关性。当第二相关性小于第一相关性时,将前q个数据构成的序列段,记为第二序列段。当第二相关性大于等于第一相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第三相关性。当第三相关性小于第二相关性时,将前/>个数据构成的序列段,记为第二序列段。当第三相关性大于等于第二相关性时,将前/>个数据的皮尔逊相关系数的绝对值,记为第四相关性,以此类推,得到第二序列段。
以此类推,将差分数据序列划分为若干个序列段。
所需说明的是:皮尔逊相关系数为公知技术,具体方法在此不做介绍。皮尔逊相关系数的绝对值越大,数据序列的变化趋势越明显。因此当数据量增加后,皮尔逊相关系数的绝对值时,认为数据量增加合理,由此保障每个序列段中的数据变化趋势明显。
模块103:数据迭代更新模块。
在对内限系数修正的过程中,需要分析每一箱线图对应数据的变化异常程度,据此获得该箱线图对应内限系数的修正系数,因为有些数据的变化属于正常变化,内限系数的修正系数就小。依据修正后的内限系数,获得上下限识别异常数据,并依据该箱线图内的数据以及异常数据的异常程度对其进行修正。
对修正后的数据进行迭代再次绘制箱线图,并对内限系数进行修正,并在内限系数修正过程中考虑前几次迭代时的内限系数对其的影响,对内限系数进行再次修正。依据迭代终止时的箱线图的修正后的内限系数,获得其对应异常上下限范围,识别异常数据并对其进行修正,获得处理后的标定数据。由此在箱线图迭代过程中对内限系数进行多次修正,进一步提高异常数据识别结果准确性,进而数据标定结果的准确性。
已知内限系数为箱线图算法中的主要参数。本实施例预设的初始内限系数为1.5,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
将差分数据序列划分的任意一个序列段,记为目标段。
根据预设的初始内限系数,使用箱线图算法,得到目标段中的异常数据、目标段对应的箱线图的上限和下限。
所需说明的是:箱线图算法为公知技术,具体过程为:例如一个数据序列{10,7,5,11,13},将数据按升序排列,得到序列{5,7,10,11,13},其中最小值为5、下四分位数为7、中位数为10、上四分位数为11、最大值为13。箱线图的下限和上限分别为:下四分位数减去内限系数与IQR的乘积、上四分位数加上内限系数与IQR的乘积,其中IQR为上四分位数减去下四分位数的差值。在箱线图的上限和下限之外的数据点被认定为异常数据。因此内限系数越大,识别的异常数据会越少。
由此可知目标段中每个异常数据的异常程度的计算公式为:
其中为目标段中第i个异常数据的异常程度,n为目标段中异常数据的数量,/>为目标段中第i个异常数据的数据值,/>和/>分别为目标段对应的箱线图的下限和上限,||为绝对值函数。/>为线性归一化函数,将数据值归一化至[0,1]区间内。
所需说明的是:在对异常数据进行修正的过程中,依据箱线图内的数据以及其异常程度对其进修正。一个异常数据的异常程度是依据异常数据与异常上下限均值差异的占比关系来反映,占比越大,数据异常程度就越大。即在/>中的占比越大,异常程度越大。其中,对/>加1,是为了防止公式中分母为0。
再对箱线图内所有数据进行拟合,获得异常数据的拟合值,并在拟合过程中将拟合运算的异常数据的异常程度作为权重参与运算,其余数据则不考虑异常程度,依据异常数据的拟合残差对其进行修正。具体过程为:
将一减去目标段中每个异常数据的异常程度,记为目标段中每个异常数据的权重。
由于本实施例设定的权重范围为0到1之间,因此本实施例预设的权重为1,以此为例进行叙述,其它实施方式中可根据设定的权重范围,取最大值为预设的权重,本实施例不进行限定。
在目标段中,将不是异常数据的数据,记为正常数据。将预设的权重,记为正常数据的权重。
根据目标段中所有数据的数据值和权重,使用加权最小二乘法对目标段中的数据进行拟合,得到目标段中每个数据的拟合数据。
所需说明的是:加权最小二乘法为公知技术,具体方法在此不做介绍。由此通过加权最小二乘法对目标段中的数据进行平滑滤波,即赋予异常数据较小的权重,减少异常数据对目标段中的数据变化趋势的影响,提高目标段中数据的可信度。
将目标段中所有数据的拟合数据构成的序列段,记为第一次迭代后的目标段。
在目标段中,将异常数据的数量除以所有数据的数量,记为第一次迭代的判断阈值。其中值越大,说明目标段中的异常程度越大。
所需说明的是:预设的初始内限系数是根据经验选取的,可能不适用于目标段中异常数据的识别,由此会导致对目标段进行数据拟合时,减小异常数据影响的效果较差,即第一次迭代后的目标段中的数据仍然存在异常数据的影响,因此需要根据目标段到第一次迭代后的目标段之间的数据变化,对预设的初始内限系数进行迭代更新,获取更适合的内限系数,故本实施例通过再获取第一次迭代后的目标段对应的内限系数,得到第二次迭代后的目标段、第二次迭代的判断阈值,由此进行迭代,直至迭代结束,得到最后一次迭代后的目标段,由此保障数据的准确性。并且每次迭代的判断阈值是根据异常数据的数量获取的,由此令最后一次迭代获取的目标段中的异常数据最小,即此时的拟合数据受到的异常数据的影响最小,数据更加真实、可信。
第一次迭代后的目标段对应的内限系数的具体计算过程为:
依据箱线图内数据变化的异常程度进行内限系数的修正系数的获取,数据变化异常程度越低且有趋势,说明此种情景下的数据异常的可能性也就小,需要一个较大的内限范围来避免将部分数据识别为异常数据,进而对内限系数进行修正的可能性就也大,内限系数的修正系数就大。
分析数据变化异常可能性的过程中,可计算该组数据的曲线拟合误差,当拟合误差越小,表明数据有趋势的可能性越大。数据越聚集,表明数据异常的可能性越小,其内限系数的修正程度就越大。
使用最小二乘法,得到第一次迭代后的目标段中每个数据的拟合数据值。
其中,最小二乘法为公知技术,具体方法在此不做介绍。
由此可知第一次迭代后的目标段的内限初始修正值C的计算公式为:
其中C为第一次迭代后的目标段的内限初始修正值,为第一次迭代后的目标段中第j个数据的数据值,/>为第一次迭代后的目标段中第j个数据的拟合数据值,/>为第一次迭代后的目标段中所有数据的均值,m为第一次迭代后的目标段中的数据数量,| |为绝对值函数。
所需说明的是:表示第一次迭代后的目标段中的数据趋势,其值越小,趋势越明显,数据异常可能性越小,/>越小,说明数据大多聚集在一起,数据异常可能性就小,需要越大的内限系数,避免正常数据被误分为异常。由此用表示第一次迭代后的目标段的内限初始修正值,C越大,说明第一次迭代后的目标段中的异常数据影响越小,故需要越大的内限系数,减少异常数据识别,从而尽量保持第一次迭代后的目标段中的数据,公式中的分母中加1,是为了防止分母为0。
在目标段迭代的过程中,前几次迭代过程会影响到后续迭代中内限系数的初始修正值。因为需要对其所识别到的异常数据进行了修正,并对修正后的数据搭建了新的箱线图,也就是说上一次迭代时异常修正会影响到下一次搭建箱线图所需的数据。并且在迭代过程中,内限系数的变化是越来越稳定的,因为随着迭代过程中不断对异常数据进行修正,箱线图中异常数据越来越少,即所需的内限系数增加程度逐渐降低。
当前箱线图内数据在前几次修正过程中,修正程度可能过大,在当前箱线图内,为了防止过度修正,需要数据异常尺度越小,即当前箱线图所需的内限系数越大,故当前箱线图的内限系数进行二次修正的程度越小,即内限系数的二次修正系数越小。
当前箱线图内数据在前几次修正过程中的修正程度表现为每一次修正前后数据的变化量,其中数据所在的箱线图的异常程度越大,修正幅度越不可信,同时越靠近当前次的修正,其修正程度对当前箱线图的内限系数的初始修正系数的影响越大。
由此可知第一次迭代的修正值校正程度W的计算公式为:
其中W为第一次迭代的修正值校正程度,H为第一次迭代的判断阈值,为第一次迭代后的目标段中第j个数据的数据值,/>为目标段中第j个数据的数据值,m为第一次迭代后的目标段中的数据数量,m也为目标段中的数据数量,| |为绝对值函数。
所需说明的是:H越小,说明目标段中的异常数据占比越小,即预设的初始内限系数越可信,而越小,说明相邻两次迭代后的目标段中的数据值变化量越小,即预设的初始内限系数越可信,因此用/>表示第一次迭代的修正值校正程度,W越小,说明预设的初始内限系数不需要进行较大的调整,故需要将C向小调整,W越大,说明预设的初始内限系数越不可信,需要较大的调整,故需要将C向大调整。
由此可知第一次迭代后的目标段的内限修正值的计算公式为:
其中为第一次迭代后的目标段的内限修正值,W为第一次迭代的修正值校正程度,C为第一次迭代后的目标段的内限初始修正值。
所需说明的是:越大,说明第一次迭代后的目标段中的异常数据影响越小,故需要越大的内限系数,减少异常数据识别,从而尽量保持第一次迭代后的目标段中的数据,避免正常数据被误分为异常。
故第一次迭代后的目标段的内限系数的计算公式为:
其中为第一次迭代后的目标段的内限系数,/>为预设的初始内限系数,/>为第一次迭代后的目标段的内限修正值。
本实施例预设的终止阈值为0.1,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
按照上述方式进行迭代,根据第一次迭代后的目标段的内限系数、第一次迭代后的目标段、第一次迭代的判断阈值,得到第二次迭代后的目标段、第二次迭代的判断阈值、第二次迭代后的目标段的内限系数。
所需说明的是:第二次迭代后的目标段、第二次迭代的判断阈值的获取过程为:根据内限系数,使用箱线图,得到第一次迭代后的目标段中的异常数据,从而得到异常数据的异常程度,再得到每个数据的权重,进行数据加权拟合,可得到第二次迭代后的目标段第二次迭代的判断阈值。由此可知第二次迭代后的目标段的内限系数的获取过程为:根据第一次和第二次迭代后的目标段之间的数据差异、第二次迭代的判断阈值,得到第二次迭代后的目标段的内限修正值,从而结合第二次迭代后的目标段的内限系数,得到第三次迭代后的目标段的内限系数。
根据第二次迭代后的目标段的内限系数、第二次迭代后的目标段、第二次迭代的判断阈值,得到第三次迭代后的目标段、第三次迭代的判断阈值、第三次迭代后的目标段的内限系数。
以此类推,直至任意一次迭代的判断阈值小于预设的终止阈值时,迭代结束,得到最后一次迭代后的目标段。
所需说明的是:在第二次迭代之后,以第t次迭代为例,第t次迭代的修正值校正程度,应根据第t次迭代的判断阈值、第t-1和第t次迭代后的目标段中所有数据的差异获取,为了防止数据比较量少,导致不准确。本实施例设定数据比较量为3,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。即令第t次迭代的修正值校正程度,为原本的第t-2、t-1、t次迭代的修正值校正程度的均值。并且当任意一次迭代的判断阈值小于预设的终止阈值时,说明此次迭代后的目标段中异常数据最少,故结束迭代,得到受异常数据影响最小的目标段。
将最后一次迭代后的目标段,记为目标段的更新序列段。
按照上述方式,得到差分数据序列划分的每一个序列段的更新序列段。
在差分数据序列中,将所有更新序列段构成的序列,记为更新温度时序数据序列。
模块104:数据压缩传输模块。
使用游程编码,得到更新温度时序数据序列的压缩数据,将压缩数据传输至云端。
所需说明的是:游程编码为公知技术,用于将连续重复的数值序列转换为一个数值及其重复次数的序列。压缩数据解压时,按照游程编码的规则,将压缩后的数据恢复为包含数值及其重复次数的序列,而一阶差分指的是对原始数据序列中每个相邻元素进行减法操作得到新的序列,可通过逆向的差分操作即可还原为原始数据序列。
至此,本发明完成。
综上所述,在本发明实施例中,采集温度时序数据序列,进行一阶差分,得到差分数据序列,并划分为若干个序列段。将任意一个序列段,记为目标段,根据目标段中数据的数据值大小,得到目标段中的异常数据、每个异常数据的异常程度,从而得到第一次迭代后的目标段、第一次迭代的判断阈值。根据目标段和第一次迭代后的目标段中的数据值差异、第一次迭代的判断阈值,得到第一次迭代后的目标段的内限修正值,结合预设的初始内限系数,得到第一次迭代后的目标段的内限系数,由此获取目标段的更新序列段,将所有序列段的更新序列段构成的序列,记为更新温度时序数据序列。使用游程编码,得到更新温度时序数据序列的压缩数据,将压缩数据传输至云端。本发明通过箱线图迭代过程中内限系数自适应,提高异常数据检测的准确性,从而提高传输数据的可信度。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.基于云边协同的车载云标定数据传输系统,其特征在于,该系统包括以下模块:
数据采集模块:用于采集任意一段时间内的汽车空调温度数据,得到温度时序数据序列;对温度时序数据序列进行一阶差分,得到差分数据序列;
数据划分模块:用于将差分数据序列划分为若干个序列段;
数据迭代更新模块:用于将任意一个序列段,记为目标段;根据目标段中数据的数据值大小,得到目标段中的异常数据、每个异常数据的异常程度;根据目标段中所有异常数据的异常程度和数量,得到第一次迭代后的目标段、第一次迭代的判断阈值;
根据目标段和第一次迭代后的目标段中的数据值差异、第一次迭代的判断阈值,得到第一次迭代后的目标段的内限修正值;
根据第一次迭代后的目标段的内限修正值、预设的初始内限系数,得到第一次迭代后的目标段的内限系数;
根据第一次迭代后的目标段、第一次迭代的判断阈值、第一次迭代后的目标段的内限系数,得到目标段的更新序列段;
将所有序列段的更新序列段构成的序列,记为更新温度时序数据序列;
数据压缩传输模块:用于使用游程编码,得到更新温度时序数据序列的压缩数据,将压缩数据传输至云端;
所述根据目标段和第一次迭代后的目标段中的数据值差异、第一次迭代的判断阈值,得到第一次迭代后的目标段的内限修正值包括:
使用最小二乘法,得到第一次迭代后的目标段中每个数据的拟合数据值;
根据第一次迭代后的目标段中所有数据的数据值、拟合数据值之间的差异,得到第一次迭代后的目标段的内限初始修正值;
根据第一次迭代的判断阈值、目标段和第一次迭代后的目标段中所有的数据,得到第一次迭代的修正值校正程度;
计算第一次迭代的修正值校正程度、第一次迭代后的目标段的内限初始修正值的乘积,将所述乘积的归一化值,记为第一次迭代后的目标段的内限修正值;
所述根据第一次迭代后的目标段中所有数据的数据值、拟合数据值之间的差异,得到第一次迭代后的目标段的内限初始修正值对应的具体计算公式为:
其中C为第一次迭代后的目标段的内限初始修正值,为第一次迭代后的目标段中第j个数据的数据值,/>为第一次迭代后的目标段中第j个数据的拟合数据值,/>为第一次迭代后的目标段中所有数据的均值,m为第一次迭代后的目标段中的数据数量,| |为绝对值函数;
所述根据第一次迭代的判断阈值、目标段和第一次迭代后的目标段中所有的数据,得到第一次迭代的修正值校正程度对应的具体计算公式为:
其中W为第一次迭代的修正值校正程度,H为第一次迭代的判断阈值,为第一次迭代后的目标段中第j个数据的数据值,/>为目标段中第j个数据的数据值,m为第一次迭代后的目标段中的数据数量,m也为目标段中的数据数量,| |为绝对值函数。
2.根据权利要求1所述基于云边协同的车载云标定数据传输系统,其特征在于,所述将差分数据序列划分为若干个序列段包括:
在差分数据序列中,将前q个数据的皮尔逊相关系数的绝对值,记为第一相关性;将前个数据的皮尔逊相关系数的绝对值,记为第二相关性;当第二相关性小于第一相关性时,将前q个数据构成的序列段,记为第一序列段;
当第二相关性大于等于第一相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第三相关性;当第三相关性小于第二相关性时,将前/>个数据构成的序列段,记为第一序列段;
当第三相关性大于等于第二相关性时,将前个数据的皮尔逊相关系数的绝对值,记为第四相关性,以此类推,得到第一序列段;其中,q为预设的数据数量;
去除差分数据序列中第一序列段中的数据,得到剩余差分数据序列;
在剩余差分数据序列中,根据差分数据序列中第一序列段的获取方式,得到第二序列段;
以此类推,将差分数据序列划分为若干个序列段。
3.根据权利要求1所述基于云边协同的车载云标定数据传输系统,其特征在于,所述根据目标段中数据的数据值大小,得到目标段中的异常数据、每个异常数据的异常程度包括:
根据预设的初始内限系数,使用箱线图算法,得到目标段对应的箱线图的上限和下限、目标段中的异常数据;
根据目标段中每个异常数据、目标段对应的箱线图的上限和下限之间的差异,得到目标段中每个异常数据的异常程度。
4.根据权利要求3所述基于云边协同的车载云标定数据传输系统,其特征在于,所述根据目标段中每个异常数据、目标段对应的箱线图的上限和下限之间的差异,得到目标段中每个异常数据的异常程度对应的具体计算公式为:
其中为目标段中第i个异常数据的异常程度,/>为目标段中第i个异常数据的数据值,/>和/>分别为目标段对应的箱线图的下限和上限,| |为绝对值函数,/>为线性归一化函数。
5.根据权利要求1所述基于云边协同的车载云标定数据传输系统,其特征在于,所述根据目标段中所有异常数据的异常程度和数量,得到第一次迭代后的目标段、第一次迭代的判断阈值包括:
将1减去目标段中每个异常数据的异常程度,记为目标段中每个异常数据的权重;
将目标段中不是异常数据的数据,记为正常数据;
将预设的权重,记为正常数据的权重;
根据目标段中所有数据的数据值和权重,使用加权最小二乘法对目标段中的数据进行拟合,得到目标段中每个数据的拟合数据;
将目标段中所有数据的拟合数据构成的序列段,记为第一次迭代后的目标段;
在目标段中,将异常数据的数量除以所有数据的数量,记为第一次迭代的判断阈值。
6.根据权利要求1所述基于云边协同的车载云标定数据传输系统,其特征在于,所述根据第一次迭代后的目标段的内限修正值、预设的初始内限系数,得到第一次迭代后的目标段的内限系数包括:
计算第一次迭代后的目标段的内限修正值、预设的初始内限系数的乘积,将预设的初始内限系数加上所述乘积,记为第一次迭代后的目标段的内限系数。
7.根据权利要求1所述基于云边协同的车载云标定数据传输系统,其特征在于,所述根据第一次迭代后的目标段、第一次迭代的判断阈值、第一次迭代后的目标段的内限系数,得到目标段的更新序列段包括:
按照第一次迭代后的目标段、第一次迭代的判断阈值、第一次迭代后的目标段的内限系数的获取方式进行迭代,根据第一次迭代后的目标段的内限系数、第一次迭代后的目标段、第一次迭代的判断阈值,得到第二次迭代后的目标段、第二次迭代的判断阈值、第二次迭代后的目标段的内限系数;
根据第二次迭代后的目标段的内限系数、第二次迭代后的目标段、第二次迭代的判断阈值,得到第三次迭代后的目标段、第三次迭代的判断阈值、第三次迭代后的目标段的内限系数;
以此类推,直至任意一次迭代的判断阈值小于预设的终止阈值时,迭代结束,得到最后一次迭代后的目标段;
将最后一次迭代后的目标段,记为目标段的更新序列段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311540864.8A CN117278643B (zh) | 2023-11-20 | 2023-11-20 | 基于云边协同的车载云标定数据传输系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311540864.8A CN117278643B (zh) | 2023-11-20 | 2023-11-20 | 基于云边协同的车载云标定数据传输系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117278643A CN117278643A (zh) | 2023-12-22 |
CN117278643B true CN117278643B (zh) | 2024-01-26 |
Family
ID=89206631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311540864.8A Active CN117278643B (zh) | 2023-11-20 | 2023-11-20 | 基于云边协同的车载云标定数据传输系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117278643B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117476136B (zh) * | 2023-12-28 | 2024-03-15 | 山东松盛新材料有限公司 | 一种高纯羧酸酯合成工艺参数优化方法及系统 |
CN117574102B (zh) * | 2024-01-17 | 2024-04-05 | 山东华中重钢有限公司 | 基于大数据分析的钢结构疲劳寿命预测方法 |
CN117633695A (zh) * | 2024-01-24 | 2024-03-01 | 西电济南变压器股份有限公司 | 一种基于电参数时序分析的变压器运行监测方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688125A (zh) * | 2021-08-24 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的异常值检测方法、装置、电子设备及介质 |
CN115349137A (zh) * | 2020-03-30 | 2022-11-15 | 卡尔蔡司医疗技术公司 | 使用神经网络校正octa体积中的流投影伪影 |
WO2023027049A1 (ja) * | 2021-08-26 | 2023-03-02 | 株式会社Gsユアサ | 補正方法、コンピュータプログラム、補正装置及び蓄電デバイス |
CN115766607A (zh) * | 2022-11-08 | 2023-03-07 | 陕西通信规划设计研究院有限公司 | 一种基于5g物联网的数据压缩传输方法 |
CN115950557A (zh) * | 2023-03-08 | 2023-04-11 | 深圳市特安电子有限公司 | 一种基于压力变送器的温度智能补偿方法 |
CN116229347A (zh) * | 2022-12-28 | 2023-06-06 | 沈阳瞻言科技有限公司 | 一种人群安全异常事件识别方法 |
CN116678552A (zh) * | 2023-08-03 | 2023-09-01 | 四川中测仪器科技有限公司 | 一种变温度环境下光纤应力传感器异常监测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014064845A1 (ja) * | 2012-10-26 | 2014-05-01 | 富士通株式会社 | 温度測定システム及び異常検知方法 |
US11636292B2 (en) * | 2018-09-28 | 2023-04-25 | Hartford Steam Boiler Inspection And Insurance Company | Dynamic outlier bias reduction system and method |
-
2023
- 2023-11-20 CN CN202311540864.8A patent/CN117278643B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115349137A (zh) * | 2020-03-30 | 2022-11-15 | 卡尔蔡司医疗技术公司 | 使用神经网络校正octa体积中的流投影伪影 |
CN113688125A (zh) * | 2021-08-24 | 2021-11-23 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的异常值检测方法、装置、电子设备及介质 |
WO2023027049A1 (ja) * | 2021-08-26 | 2023-03-02 | 株式会社Gsユアサ | 補正方法、コンピュータプログラム、補正装置及び蓄電デバイス |
CN115766607A (zh) * | 2022-11-08 | 2023-03-07 | 陕西通信规划设计研究院有限公司 | 一种基于5g物联网的数据压缩传输方法 |
CN116229347A (zh) * | 2022-12-28 | 2023-06-06 | 沈阳瞻言科技有限公司 | 一种人群安全异常事件识别方法 |
CN115950557A (zh) * | 2023-03-08 | 2023-04-11 | 深圳市特安电子有限公司 | 一种基于压力变送器的温度智能补偿方法 |
CN116678552A (zh) * | 2023-08-03 | 2023-09-01 | 四川中测仪器科技有限公司 | 一种变温度环境下光纤应力传感器异常监测方法 |
Non-Patent Citations (4)
Title |
---|
Dynamic junction temperature estimation via built-in negative thermal coefficient (NTC) thermistor in high power IGBT modules;Chaoshan Zhang;《2017 IEEE Applied Power Electronics Conference and Exposition (APEC)》;全文 * |
Feasibility of a universal approach for temperature correction in frequency domain spectroscopy of transformer insulation;Yiyi Zhang;《IEEE Transactions on Dielectrics and Electrical Insulation》;1766 - 1773 * |
利用温度全局优化法探测堤坝多重集中渗漏;王新建;朱大林;潘纪顺;;工程地质学报(02);全文 * |
高频监测数据的异常数据特征分析与检测;李婷;孔文佳;周娟;郑洲顺;;数学理论与应用(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117278643A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117278643B (zh) | 基于云边协同的车载云标定数据传输系统 | |
CN109727446B (zh) | 一种用电数据异常值的识别与处理方法 | |
CN116320042B (zh) | 边缘计算的物联终端监测控制系统 | |
CN117454085B (zh) | 一种车辆在线监控方法及系统 | |
CN105115573A (zh) | 一种洪水流量预报的校正方法和装置 | |
CN112288597A (zh) | 一种基于层次聚类和直方图算法的能耗在线异常检测方法 | |
CN111260893A (zh) | 一种海洋平台推进器故障预警方法和装置 | |
CN117407700A (zh) | 一种带电作业过程中作业环境的监测方法 | |
CN112305379A (zh) | 一种用于gis绝缘缺陷的模式识别方法及系统 | |
CN117671396B (zh) | 施工进度的智能监控预警系统及方法 | |
CN113487223B (zh) | 一种基于信息融合的风险评估方法和评估系统 | |
CN112003891B (zh) | 用于智能网联车辆控制器的多传感数据融合方法 | |
CN116718218B (zh) | 一种光电集成式传感芯片测试数据处理方法 | |
JP4284322B2 (ja) | クラス分け処理結果の評定と時間的安定化のための方法 | |
CN112305513A (zh) | 一种传感器测量参数修正方法及系统 | |
CN108182492B (zh) | 一种资料同化方法及装置 | |
CN116704641A (zh) | 无人机飞行数据异常检测方法、装置、设备及存储介质 | |
CN115327525A (zh) | 航迹置信度的评估方法、装置及电子设备 | |
CN114676818A (zh) | 一种用于粮食存储的实时异常检测系统 | |
JP6950647B2 (ja) | データ判定装置、方法、及びプログラム | |
CN117135686B (zh) | 一种基于蓝牙的车载信息交互方法及系统 | |
CN116560219B (zh) | 基于输电杆塔风速联合分析的自适应监测控制方法及系统 | |
CN117668684B (zh) | 基于大数据分析的电网电能数据异常检测方法 | |
CN117990187A (zh) | 基于人工智能的地下水水位动态监测方法 | |
CN115993595A (zh) | 目标跟踪滤波方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |