CN112836180A - 传感数据确定方法、装置、电子设备及可读存储介质 - Google Patents
传感数据确定方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112836180A CN112836180A CN202110421270.XA CN202110421270A CN112836180A CN 112836180 A CN112836180 A CN 112836180A CN 202110421270 A CN202110421270 A CN 202110421270A CN 112836180 A CN112836180 A CN 112836180A
- Authority
- CN
- China
- Prior art keywords
- sensing
- predicted
- sensing data
- data
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请提供一种传感数据确定方法、装置、电子设备及可读存储介质,涉及传感数据处理领域。所述传感数据确定方法包括:确定待预测传感位置与关联传感位置的传感数据空间相关性;根据所述传感数据空间相关性,建立预测模型;获取所述关联传感位置的传感数据,并将所述关联传感位置的传感数据输入到所述预测模型,获得所述待预测传感位置的预测传感数据;基于所述预测传感数据,确定所述待预测传感位置的目标传感数据。根据本申请的传感数据确定方法、装置、电子设备及可读存储介质,解决了传感数据缺失或者异常的问题,可基于预测模型确定传感数据缺失或者异常的传感位置的预测传感数据,从而可实现对传感数据的补全、异常检测以及修正。
Description
技术领域
本申请涉及传感数据处理领域,尤其是涉及一种传感数据确定方法、装置、电子设备及可读存储介质。
背景技术
为了维护基础设施的正常使用,需要在其内部布置众多传感设备用于实时获取设施的运行状况。然而,当出现传感位置的传感器停机或发生故障数据异常、人员操作失误导致数据丢失、实际采样频率偏低不满足需求等情况时,可能会导致传感数据产生缺失或异常。传感数据中出现缺失值或者异常值,会使得对传感的运行状况产生误判,对运行调度产生影响,甚至会威胁到该基础设施周边人员的安全。
发明内容
鉴于在现有的传感数据中可能会出现部分传感数据缺失或者异常的问题,本申请提出一种传感数据确定方法、装置、电子设备及可读存储介质。根据本申请的传感数据确定方法、装置、电子设备及可读存储介质可以根据多个传感位置的传感数据空间相关性来建立预测模型,以基于预测模型根据关联传感位置的传感数据确定预测传感位置的传感数据,从而可实现对传感数据的补全、异常检测以及修正。
根据本申请的第一方面提供一种传感数据确定方法,所述传感数据确定方法包括:确定待预测传感位置与关联传感位置的传感数据空间相关性;根据所述传感数据空间相关性,建立预测模型;获取所述关联传感位置的传感数据,并将所述关联传感位置的传感数据输入到所述预测模型,获得所述待预测传感位置的预测传感数据;基于所述预测传感数据,确定所述待预测传感位置的目标传感数据。
可选地,根据所述传感数据空间相关性,建立预测模型的步骤可以包括:根据所述传感数据空间相关性,确定初始预测模型以及所述初始预测模型的约束条件;获取所述待预测传感位置和所述关联传感位置的样本传感数据;基于所述初始预测模型、所述约束条件和所述样本传感数据,确定所述初始预测模型的模型系数,并基于所述模型系数,确定所述预测模型。
可选地,所述传感数据空间相关性可以包括第一方向相关性和第二方向相关性,所述关联传感位置可以包括第一关联传感位置和第二关联传感位置,其中,确定待预测传感位置与关联传感位置的传感数据空间相关性的步骤可以包括:确定与所述待预测传感位置在第一方向上对准的第一关联传感位置,根据所述第一关联传感位置与所述待预测传感位置之间的在所述第一方向上的距离,确定所述待预测传感位置与所述第一关联传感位置的第一方向相关性;确定与所述待预测传感位置在第二方向上对准的第二关联传感位置,根据所述第二关联传感位置与所述待预测传感位置之间的在所述第二方向上的距离,确定所述待预测传感位置与所述第二关联传感位置的第二方向相关性,其中,所述第一方向与所述第二方向不同。
可选地,根据所述传感数据空间相关性,确定初始预测模型以及所述初始预测模型的约束条件的步骤可以包括:根据所述第一方向相关性,确定所述初始预测模型;根据所述第一方向相关性和所述第二方向相关性,确定所述约束条件。
可选地,所述第一方向可以为竖直方向和水平方向中的一个,所述第二方向可以为竖直方向和水平方向中的另一个,其中,所述第二关联传感位置与所述待预测传感位置位于目标对象上并且可呈轴对称分布。
可选地,获取所述待预测传感位置和所述关联传感位置的样本传感数据的步骤可以包括:获取所述待预测传感位置和所述关联传感位置的原始样本传感数据;对所述原始样本传感数据进行去趋势化处理,将去趋势化处理后的原始样本传感数据确定为所述样本传感数据。
可选地,基于所述预测传感数据,确定所述待预测传感位置的目标传感数据的步骤可以包括:确定所述待预测传感位置的实测传感数据,并将所述实测传感数据与所述预测传感数据进行比较;根据比较结果,确定所述待预测传感位置的目标传感数据,其中,在所述比较结果表示所述实测传感数据与所述预测传感数据之间的残差大于或等于预定阈值的情况下,将所述预测传感数据确定为所述待预测传感位置的目标传感数据;在所述比较结果表示所述实测传感数据与所述预测传感数据之间的残差小于预定阈值的情况下,将所述实测传感数据确定为所述待预测传感位置的目标传感数据。
根据本申请的第二方面提供一种传感数据确定装置,所述传感数据确定装置包括:相关性确定单元,确定待预测传感位置与关联传感位置的传感数据空间相关性;建模单元,根据所述传感数据空间相关性,建立预测模型;预测单元,获取所述关联传感位置的传感数据,并将所述关联传感位置的传感数据输入到所述预测模型,获得所述待预测传感位置的预测传感数据;传感数据确定单元,基于所述预测传感数据,确定所述待预测传感位置的目标传感数据。
根据本申请的第三方面提供一种电子设备,所述电子设备包括:处理器;存储器,存储有计算机程序,当所述计算机程序被处理器执行时,实现根据本申请的第一方面所述的传感数据确定方法。
根据本申请的第四方面提供一种存储有计算机程序的计算机可读存储介质,当所述计算机程序被处理器执行时实现根据本申请的第一方面所述的传感数据确定方法。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了根据本申请实施例的传感数据确定方法的流程示意图;
图2示出了根据本申请实施例的传感位置的传感数据空间相关性的示意图;
图3示出了根据本申请实施例的传感数据确定方法中的比较结果的示意图;
图4示出了根据本申请实施例的传感数据确定装置的示意性框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
在通过传感数据监测基础设施的运行状况的过程中,传感数据的可靠程度严重影响到对设施运行状况的评估,一般来说,用于采集传感数据的实体传感器往往是在建造过程中被植入在设施内部,并且已与设施形成为整体,不便于更换、维修。然而,在使用过程中,传感器会因为环境的变化而使得采集的传感数据突然或者持续性偏离真实值,从而产生数据零点漂移现象。在此情况下,虽然数据的绝对大小已经不具有参考的价值,但其同一传感器或不同传感器的传感数据之间的相对大小仍是有用的信息。鉴于此,需要一种符合客观物理规律观察结果的方法,以最大化地利用已损坏的传感数据和不完整的传感数据将其修正成可以体现真实值的正常值。
本申请的一个方面涉及一种传感数据确定方法。该传感数据确定方法可以根据与待预测传感位置具有传感数据空间相关性的关联传感位置的传感数据,确定待预测传感位置的传感数据,从而在多个传感位置中的一些传感位置的传感数据缺失或异常的情况下可以准确确定这些传感位置的传感数据。
值得注意的是,在本申请提出申请之前,现有的对传感数据的补全或异常检测方法仅是针对单个传感器进行的,具体来说,可以通过统计单个传感器在历史时间段内的多个时间点的历史传感数据,确定在该历史时间段内的其他时间点的传感数据,以利用所确定的传感数据补全或替换在该时间点缺失或异常的数据。
现有的对传感数据的补全或异常检测方法包括使用整体数据的历史统计量填充方法、使用滑动窗口的统计量填充方法、线性或多项式插值法以及基于神经网络的时序方法预测填充方法。
具体来说,在使用整体数据的历史统计量填充方法中,可使用传感数据的历史平均值、中位数或众数作为缺失数据的替代值。然而,这样处理缺失值会更改数据的分布,使得数据的统计量(例如数据的方差)可靠度降低,填充数值可信度偏低。此外,填充的数据无法反映出缺失期间的数据的真实变化细节情况。此外,由于传感器新加入的数据会影响到数据统计量,因此,填充的缺失值会因为新数据的加入而发生变化,这也不符合实际应用中的要求——对缺失值的估计不应该过多的受到未来数据的影响。
在使用滑动窗口的统计量填充方法中,与上述方法类似,不同的是其使用固定长度的历史值统计量替代缺失值。尽管该方法可以消减更早的无关数据产生的影响,但是依旧无法完全解决利用统计量填充的上述问题。此外,当缺失值过多,超过选取滑窗长度时,无法使用此方法。
以上两种统计量填充方法还存在一个致命的问题:由于传感器寿命等原因,当传感数据突然或者逐渐偏离真实值时,这种方法无法修正偏离值,导致传感数据不可靠,无法反映设施的真实运行状况。
在线性或多项式插值法中,可利用缺失值两侧已有数据做线性或多项式回归处理,填充缺失值。然而,现实中的数据一般并不满足线性或者多项式关系,显然这种填充方式与真实情况相违背,填充数据可信度不高。
在时序方法预测填充缺失值和修正异常值方法中,如可利用LSTM等时序方法,其可利用数据自身的时序性特点以及周边相关传感器数据作为特征,预测缺失值大小或修正异常值。然而,此方法由于采用滑动窗口取样的方式,使得当缺失量过大时无法进行预测,预测的准确度不高。同样地,此方法无法将偏离真实值的传感数据修正。
此外,在现有的对诸如水坝的设施的传感数据处理中,传感数据的修正方式一般是通过3-sigma方法识别出异常点,然后在剔除异常点后采用上述提到的填充方法填充数值。然而,3-sigma方法仅能识别出离群异常值,对于并不是离群值的异常区域无法判定,导致判定准确度不高。
然而,上述传感数据确定方法未意识到多个传感位置之间的传感数据空间相互关联的特点,并且不会识别出偏离真实值这种异常情况,因此其确定的传感数据的准确性和可信度不高。
下面将参照图1至图3详细描述根据本申请实施例的传感数据确定方法。
如图1所示,根据本申请实施例的传感数据确定方法可包括以下步骤:
S1、确定待预测传感位置与关联传感位置的传感数据空间相关性。
在该步骤中,待预测传感位置和关联传感位置可以设置在目标对象上,目标对象可以指的是设置传感位置的装置或设施,即,被感测的对象,在下文中,以水坝作为目标对象为例描述本申请的实施例,然而,应理解的是,本申请实施例的目标对象不限于此,其也可以是其他装置或设施,例如可以是桥梁、建筑物、大型设备等。
这里,传感位置可以指的是需要采集数据的位置。传感数据可以是被检测的信息,其可以呈电信号、光信号或任意其他所需的信息形式。传感位置的传感数据可以通过布置在传感位置的实体传感器直接采集得到,然而其不限于此,例如传感数据也可以通过虚拟传感器获得,这里,虚拟传感器可以通过建模对待测信息的相关量进行测量并对测得的相关量数据进行处理,以间接确定待测信息。
目标对象上可设置有多个传感位置,待预测传感位置可以是多个传感位置中的一个或多个,关联传感位置可以是多个传感位置中的除了待预测传感位置之外的传感位置中的一个或多个。作为示例,根据本申请实施例的多个传感位置的传感数据可以是相同类型的传感数据,例如其表征相同的物理量。这些传感位置之间存在一定的空间相对关系。在目标对象是水坝的示例中,由于水坝是一个空间三维的完整体,因此设置在坝体上的传感位置可呈现出空间对称性的分布,各个传感位置之间不是完全独立的,它们的传感数据之间会存在空间上的相互关联性,例如具有空间对称性。基于这样的构思,在需要确定待预测传感位置的传感数据时,可确定与该待预测传感位置具有空间相关性的关联传感位置,并且确定它们的传感数据之间的空间相关性,以用于对待预测传感位置的传感数据进行预测。这里,对于一个待预测传感位置可以确定多个关联传感位置。
传感数据空间相关性可以是指待预测传感位置的传感数据与关联传感位置的传感数据之间满足的特定数学关系。
作为示例,传感数据空间相关性可以包括第一方向相关性和第二方向相关性,相应地,关联传感位置可以包括第一关联传感位置和第二关联传感位置。这里,第一关联传感位置可以是与待预测传感位置在第一方向上对准的传感位置,第二关联传感位置可以是与待预测传感位置在第二方向上对准的传感位置,第一方向可与第二方向不同。也就是说,可以从两个不同的方向上确定与待预测传感位置具有传感数据空间相关性的关联传感位置。
在这种情况下,确定待预测传感位置与关联传感位置的传感数据空间相关性的步骤可以包括:
确定与待预测传感位置在第一方向上对准的第一关联传感位置,根据第一关联传感位置与待预测传感位置之间的在第一方向上的距离,确定待预测传感位置与第一关联传感位置的第一方向相关性;
确定与待预测传感位置在第二方向上对准的第二关联传感位置,根据第二关联传感位置与待预测传感位置之间的在第二方向上的距离,确定待预测传感位置与第二关联传感位置的第二方向相关性。
作为示例,第一方向可以为竖直方向,第二方向可以为水平方向。
例如,在目标对象是水坝的情况下,如图2所示,待预测传感位置a与第一关联传感位置b1、b2处于相同的水平位置,或者说,二者在竖直方向y(或者说高度方向)上对准,但是处于不同的竖直位置(即,处于不同的高度);待预测传感位置a与第二关联传感位置b处于相同的竖直位置(即,处于相同的高度),或者说,二者在水平方向x上对准,但是处于不同的水平位置。
对于处于相同水平位置而处于不同竖直位置的待预测传感位置a和第一关联传感位置b1、b2,它们的传感数据具有良好的线性关系,在确定第一关联传感位置b1和b2的情况下,可根据第一关联传感位置b1和b2与待预测传感位置a之间的在竖直方向上的距离,确定第一方向相关性。以传感数据为水坝产生的位移为例,由于水坝的下部更稳定,抗震动能力更强,因此越靠近水坝下部的位置受到震动的影响越小,其位移也越小,也就是说,待预测传感位置a和第一关联传感位置b1、b2三个位置的传感数据可呈线性关系,并且三个位置的传感数据之间的大小关系是固定不变的,因此,第一方向相关性可表示为:待预测传感位置a处的位移小于第一关联传感位置b2处的位移且大于第一关联传感位置b1处的位移。
对于处于相同竖直位置而处于不同水平位置的待预测传感位置a和第二关联传感位置c,它们所受到的外界影响因素基本一致,例如水位高低、压强大小、坝体构造等是基本一致的,这使得二者的传感数据重叠性较高,在同一时刻点的数据较为相近。在确定第二关联传感位置c的情况下,可根据第二关联传感位置c与待预测传感位置a之间的在水平方向上的距离,确定第二方向相关性。以传感数据为水坝产生的位移为例,第二关联传感位置c处的位移与待预测传感位置a处的位移之差可小于预定阈值,该预定阈值取决于第二关联传感位置c与待预测传感位置a在水平方向上的距离。该预定阈值可以根据物理分析来计算得到,也可根据经验法来判断,例如可以统计预定时间段中的第二关联传感位置c处的位移与待预测传感位置a处的位移之差,将二者之差中的最大值作为预定阈值。
在一种情况下,第二关联传感位置c与待预测传感位置a在目标对象上可呈轴对称分布,如图2所示,基于水坝的对称结构,第二关联传感位置c可相对于坝体的对称轴X-X位于与待预测传感位置a对称的位置。在此情况下,处于与待预测传感位置a轴对称的位置的第二关联传感位置c处的位移可最接近待预测传感位置a处的位移,对于第二关联传感位置c的预定阈值可以是在与待预测传感位置a在水平方向上对准的所有第二关联传感位置(例如图2中的位置c1和c2)的预定阈值中最小的。与现有的数据补全方法中会破坏数据原有的统计量(例如方差)的方案相比,根据本申请实施例的传感数据确定方法可利用对称传感位置的传感数据的统计量预测待预测传感位置的传感数据的统计量,使得待预测传感位置的传感数据的统计信息更加接近真实情况。
尽管上面以竖直方向和水平方向为例描述了第一方向和第二方向以及第一方向相关性和第二方向相关性,但是本申请不限于此,第一方向和第二方向可以互换,第一方向和第二方向也可以是其他方向,第一方向相关性和第二方向相关性可以根据第一方向和第二方向的不同而不同,也就是说,在目标对象上,沿着不同方向分布的传感位置的传感数据表现出不同的相关性,当利用物理或数学分析确定某一方向上的传感位置的传感数据之间的相关性或者分布规律时,即可通过本申请的方法来确定待预测传感位置的传感数据。
此外,尽管上面以水坝为例进行了描述,但是本申请不限于此,例如,目标对象也可以是桥梁,在此情况下,第一方向可以是竖直方向或者可以是桥梁中心至桥梁端部的方向,第二方向可以是水平方向,特别是,第二关联传感位置也可以与待预测传感位置呈轴对称分布。此外,目标对象也可以是房屋、楼宇、塔架或者其他设施或设备。
此外,尽管上面以传感数据为位移为例进行了描述,但是本申请不限于此,例如,传感数据也可以是压力、压强、振动频率等,本申请不对传感数据的类型进行限制,可以使用任意类型传感数据。
S2、根据传感数据空间相关性,建立预测模型。
在该步骤中,预测模型可以表征待预测传感位置与关联传感位置之间的传感数据空间相关性的数学关系,例如其可以是统计模型。
作为示例,根据传感数据空间相关性,建立预测模型的步骤可以包括以下步骤:
S21、根据传感数据空间相关性,确定初始预测模型以及初始预测模型的约束条件。
具体来说,初始预测模型可以根据传感数据空间相关性来选取,例如,在上面描述的示例中,可根据第一方向相关性确定初始预测模型。作为示例,对于水坝的情况而言,第一方向相关性可表示为待预测传感位置的传感数据与第一关联传感位置的传感数据的线性关系,对此,初始预测模型可以是线性模型,例如可以是线性回归模型、贝叶斯线性回归模型、Fisher线性回归模型等。然而,初始预测模型的选择没有特别限制,只要其能够用于表征待预测传感位置与关联传感位置的传感数据之间的传感数据空间相关性即可。这里,在初始预测模型为贝叶斯线性回归模型的情况下,可以利用贝叶斯回归模型的固有特性给出预测传感数据的置信区间,以为后续使用预测传感数据提供更多选择性。
约束条件可以用于对预测模型的预测结果进行限制,其可以根据传感数据空间相关性来确定。例如,在上面描述的示例中,可根据第一方向相关性和第二方向相关性确定约束条件。作为示例,对于水坝的情况而言,可根据第一方向相关性将待预测传感位置的传感数据约束在预定范围内,例如图2中的待预测传感位置的位移大于第一关联传感位置b1的位移且小于第一关联传感位置b2的位移,并且待预测传感位置的位移、第一关联传感位置b1的位移以及第一关联传感位置b2的位移三者满足线性相关性。可根据第二方向相关性将待预测传感位置的传感数据与关联传感位置的传感数据之差约束为小于预定阈值。
S22、获取待预测传感位置和关联传感位置的样本传感数据。
具体来说,样本传感数据可以用于训练初始预测模型,以确定模型系数。样本传感数据可以基于原始样本传感数据来确定。
作为示例,获取待预测传感位置和关联传感位置的样本传感数据的步骤可以包括:
获取待预测传感位置和关联传感位置的原始样本传感数据;
对原始样本传感数据进行去趋势化处理,将去趋势化处理后的原始样本传感数据确定为样本传感数据。
在该步骤中,原始样本传感数据可以是待预测传感位置和关联传感位置在任意时间段内采集到的传感数据。在实际感测过程中,由于设置在传感位置的传感器零点漂移等原因,可能会导致在不同时间段采集的原始样本传感数据呈现整体上升或下降的变化趋势,这种趋势会使得采集到的数据偏离真实值,因此,在此情况下,可对采集到的原始样本传感数据进行去趋势化处理。
作为示例,可以利用诸如线性去趋势算法、多项式去趋势算法等的去趋势算法对原始样本传感数据执行去趋势化处理。
例如,可对原始样本传感数据进行线性拟合,找到其变化趋势,再从原始样本传感数据减去该变化趋势,从而得到真实的传感数据,并将去趋势化处理后的数据作为样本传感数据,以供训练初始预测模型使用。
此外,根据本申请实施例的方法还可以对原始样本传感数据进行标准化或归一化处理。标准化是将数据转化为均值为0、标准差为1的样本数据,归一化是将数据转化成0~1分布的线性变换,其他特征缩放处理方法也可以应用在此处。作为示例,标准化处理可以在去趋势化处理后执行,并且可将标准化处理后的传感数据作为样本传感数据。
S23、基于初始预测模型、约束条件和样本传感数据,确定初始预测模型的模型系数,并基于模型系数,确定预测模型。
作为示例,可以通过以下方式确定预测模型:
将样本传感数据输入到初始预测模型中,并设定约束条件,对初始预测模型进行训练,确定模型系数;
将模型系统代入到初始预测模型中,获得预测模型。
此外,在训练初始预测模型的过程中,可设置附加约束条件,附加约束条件例如可包括:将初始预测模型的所有参数约束为正值,和/或约束参数之间的大小关系。
例如,在传感数据空间相关性包括第一方向相关性和第二方向相关性的情况下,可以将待预测传感位置的样本传感数据和第一关联传感位置的样本传感数据作为初始预测模型的特征输入,将待预测传感位置的样本传感数据和第二关联传感位置的样本传感数据之间的第二方向相关性作为约束条件。
此外,待预测传感位置的样本传感数据可以作为训练初始预测模型的标签值。这里,标签值可以用于评价预测模型的准确度,例如可以通过度量预测传感数据与标签值之间的接近程度。
此外,在训练初始预测模型的过程中,可设置损失函数。作为示例,损失函数可以通过所选择的初始预测模型的原有算法的损失函数的基础之上和第二关联传感位置的样本传感数据与预测值的平方损失函数确定。例如,损失函数可表示为L(x)=L 0(x)+c|ŷ-y|2,其中,L 0(x)表示原有算法的损失函数,c为对称约束性系数,ŷ为第二关联传感位置的预测值,y为第二关联传感位置的样本传感数据,即,为真实值。
S3、获取关联传感位置的传感数据,并将关联传感位置的传感数据输入到预测模型,基于预测模型确定待预测传感位置的预测传感数据。
在该步骤中,关联传感位置的传感数据可以是与待预测传感位置的预测传感数据处于同一时刻的传感数据。预先训练好的预测模型可以基于关联传感位置的传感数据,输出待预测传感位置的预测传感数据。
需要说明的是,关联传感位置的传感数据可以被包含在步骤S2中使用的样本传感数据中。
S4、基于预测传感数据,确定待预测传感位置的目标传感数据。
在该步骤中,可确定待预测传感位置的实测传感数据,并将实测传感数据与预测传感数据进行比较,根据比较结果,确定待预测传感位置的目标传感数据。
具体来说,实测传感数据可以是与预测传感数据对应的传感数据。在获取到待预测传感位置采集到的传感数据的情况下,可以将采集到的传感数据确定为待预测传感位置的实测传感数据。在待预测传感位置的传感数据缺失的情况下,可将0值确定为待预测传感位置的实测传感数据。
例如,将实测传感数据与预测传感数据进行比较的步骤可以包括:计算实测传感数据与预测传感数据之间的残差。
这里,在比较结果表示实测传感数据与预测传感数据之间的残差大于或等于预定阈值的情况下,可用预测传感数据替换实测传感数据;在比较结果表示实测传感数据与预测传感数据之间的残差小于预定阈值的情况下,保持实测传感数据不变。
作为示例,如图3所示,横轴表示时间,单位为年份,纵轴表示传感数据的大小,这里仅为示意,其可为无量纲的值。在图3中,预测传感数据与实际传感数据在大部分情况下是基本重合的(如图3在上的曲线的细实线区域所示),仅在部分区间内出现偏离(如图3在上的曲线的由虚线圈标记的粗实线区域)。作为示例,可以利用变分自编码器(VAE)对预测传感器数据与实际传感数据之间的残差进行学习,虚线圈标记的粗实线区域表示判定残差偏离0值过大的区域,说明实测传感数据在此时间段内与预测传感数据偏差较大,出现异常。在判定区域为异常时(例如,上述粗实线区域),预测模型可以利用预测传感数据自动修正实测传感数据,例如用预测传感数据替换实测传感数据;在判定区域为正常时(例如,图3中的细实线区域),可以保持实测传感数据不变。
在待预测传感位置的传感数据缺失的情况下,将0值确定为待预测传感位置的实测传感数据。在此情况下,缺失值可作为实测传感数据与预测传感数据进行比较,比较的残差必然大于预定阈值,因此,该缺失值可被判定为异常值,从而可用预测传感数据更新作为缺失值的实测传感数据,即,可将预测传感数据自动填充到缺失的位置。
本申请的另一方面涉及一种传感数据确定装置。图4示出了根据本申请示例性实施例的传感数据确定装置的示意性框图。
如图4所示,根据本申请示例性实施例的传感数据确定装置包括相关性确定单元100、建模单元200、预测单元300和传感数据确定单元400。
确定单元100可以确定目标对象上的待预测传感位置与关联传感位置的传感数据空间相关性。
建模单元200可以根据传感数据空间相关性,建立预测模型。
预测单元300可以获取关联传感位置的传感数据,并将关联传感位置的传感数据输入到预测模型,基于预测模型确定待预测传感位置的预测传感数据。
传感数据确定单元400可以基于预测传感数据确定待预测传感位置的目标传感数据。
确定单元100、建模单元200、预测单元300和传感数据确定单元400可以根据如上述图1至图3所示的方法实施例中的传感数据确定方法执行所述方法中的相应步骤,例如通过确定单元100、建模单元200、预测单元300和传感数据确定单元400可执行的机器可读指令来实现,确定单元100、建模单元200、预测单元300和传感数据确定单元400的具体实现方式可参见上面描述的方法实施例,在此不再赘述。
本申请实施例还提供一种电子设备,电子设备包括处理器和存储器。存储器存储有计算机程序。当该计算机程序被处理器执行时,电子设备可以根据如上述图1至图3所示的方法实施例中的传感数据确定方法执行所述方法中的相应步骤,例如通过电子设备可执行的机器可读指令来实现,电子设备的具体实现方式可参见上面描述的方法实施例,在此不再赘述。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当该计算机程序被处理器执行时可以执行如上述图1至图3所示的方法实施例中的传感数据确定方法的步骤,具体实现方式可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请的实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请的传感数据确定方法、装置、电子设备及可读存储介质,可以根据多个传感位置的传感数据空间相关性来建立预测模型,以基于预测模型根据关联传感位置的传感数据确定预测传感位置的传感数据,从而可实现对传感数据的补全、异常检测以及修正。
此外,根据本申请的传感数据确定方法、装置、电子设备及可读存储介质,可以利用待预测传感位置周边具有空间相关性的传感位置的传感信息来确定待预测传感位置的传感数据,与仅考虑待预测传感位置自身的时间序列的传感数据的确定方法相比,准确度和可信度更高。
此外,根据本申请的传感数据确定方法、装置、电子设备及可读存储介质,可利用与所述待预测传感位置在所述目标对象上呈轴对称分布的关联传感位置与待预测传感位置的传感数据空间相关性来约束预测模型的计算,使得即使存在大量或大区域的待预测传感位置也可以提供可靠的传感数据预测,传感数据的预测结果的准确性不会受到待预测传感位置的数量的影响。
此外,根据本申请的传感数据确定方法、装置、电子设备及可读存储介质,允许采用贝叶斯回归模型作为预测模型,从而可以利用贝叶斯回归模型的固有特性给出预测传感数据的置信区间,以为后续使用预测传感数据提供更多选择性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种传感数据确定方法,其特征在于,所述传感数据确定方法包括:
确定待预测传感位置与关联传感位置的传感数据空间相关性;
根据所述传感数据空间相关性,建立预测模型;
获取所述关联传感位置的传感数据,并将所述关联传感位置的传感数据输入到所述预测模型,获得所述待预测传感位置的预测传感数据;
基于所述预测传感数据,确定所述待预测传感位置的目标传感数据。
2.根据权利要求1所述的传感数据确定方法,其特征在于,根据所述传感数据空间相关性,建立预测模型的步骤包括:
根据所述传感数据空间相关性,确定初始预测模型以及所述初始预测模型的约束条件;
获取所述待预测传感位置和所述关联传感位置的样本传感数据;
基于所述初始预测模型、所述约束条件和所述样本传感数据,确定所述初始预测模型的模型系数,并基于所述模型系数,确定所述预测模型。
3.根据权利要求2所述的传感数据确定方法,其特征在于,所述传感数据空间相关性包括第一方向相关性和第二方向相关性,所述关联传感位置包括第一关联传感位置和第二关联传感位置,
其中,确定待预测传感位置与关联传感位置的传感数据空间相关性的步骤包括:
确定与所述待预测传感位置在第一方向上对准的第一关联传感位置,根据所述第一关联传感位置与所述待预测传感位置之间的在所述第一方向上的距离,确定所述待预测传感位置与所述第一关联传感位置的第一方向相关性;
确定与所述待预测传感位置在第二方向上对准的第二关联传感位置,根据所述第二关联传感位置与所述待预测传感位置之间的在所述第二方向上的距离,确定所述待预测传感位置与所述第二关联传感位置的第二方向相关性,其中,所述第一方向与所述第二方向不同。
4.根据权利要求3所述的传感数据确定方法,其特征在于,根据所述传感数据空间相关性,确定初始预测模型以及所述初始预测模型的约束条件的步骤包括:
根据所述第一方向相关性,确定所述初始预测模型;
根据所述第一方向相关性和所述第二方向相关性,确定所述约束条件。
5.根据权利要求3或4所述的传感数据确定方法,其特征在于,所述第一方向为竖直方向和水平方向中的一个,所述第二方向为竖直方向和水平方向中的另一个,其中,所述第二关联传感位置与所述待预测传感位置位于目标对象上并且呈轴对称分布。
6.根据权利要求2所述的传感数据确定方法,其特征在于,获取所述待预测传感位置和所述关联传感位置的样本传感数据的步骤包括:
获取所述待预测传感位置和所述关联传感位置的原始样本传感数据;
对所述原始样本传感数据进行去趋势化处理,将去趋势化处理后的原始样本传感数据确定为所述样本传感数据。
7.根据权利要求1所述的传感数据确定方法,其特征在于,基于所述预测传感数据,确定所述待预测传感位置的目标传感数据的步骤包括:
确定所述待预测传感位置的实测传感数据,并将所述实测传感数据与所述预测传感数据进行比较;
根据比较结果,确定所述待预测传感位置的目标传感数据,
其中,在所述比较结果表示所述实测传感数据与所述预测传感数据之间的残差大于或等于预定阈值的情况下,将所述预测传感数据确定为所述待预测传感位置的目标传感数据;
在所述比较结果表示所述实测传感数据与所述预测传感数据之间的残差小于预定阈值的情况下,将所述实测传感数据确定为所述待预测传感位置的目标传感数据。
8.一种传感数据确定装置,其特征在于,所述传感数据确定装置包括:
相关性确定单元,确定待预测传感位置与关联传感位置的传感数据空间相关性;
建模单元,根据所述传感数据空间相关性,建立预测模型;
预测单元,获取所述关联传感位置的传感数据,并将所述关联传感位置的传感数据输入到所述预测模型,获得所述待预测传感位置的预测传感数据;
传感数据确定单元,基于所述预测传感数据,确定所述待预测传感位置的目标传感数据。
9.一种电子设备,其特征在于,所述电子设备包括:
处理器;
存储器,存储有计算机程序,当所述计算机程序被处理器执行时,实现根据权利要求1至7中的任一项所述的传感数据确定方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时实现根据权利要求1至7中的任一项所述的传感数据确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110421270.XA CN112836180B (zh) | 2021-04-19 | 2021-04-19 | 传感数据确定方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110421270.XA CN112836180B (zh) | 2021-04-19 | 2021-04-19 | 传感数据确定方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112836180A true CN112836180A (zh) | 2021-05-25 |
CN112836180B CN112836180B (zh) | 2021-07-23 |
Family
ID=75929798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110421270.XA Active CN112836180B (zh) | 2021-04-19 | 2021-04-19 | 传感数据确定方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112836180B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113884705A (zh) * | 2021-09-28 | 2022-01-04 | 上海电气风电集团股份有限公司 | 簇群风机风速计的监测方法及其系统及计算机可读存储介质 |
CN115381438A (zh) * | 2022-08-24 | 2022-11-25 | 华南师范大学 | 生命体征信号的重建方法、装置、计算机设备和存储介质 |
CN116774639A (zh) * | 2023-08-24 | 2023-09-19 | 中国水利水电第九工程局有限公司 | 一种基于互联网的污水处理设备远程控制系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007087615A2 (en) * | 2006-01-25 | 2007-08-02 | Redzone Robotics, Inc. | Spatio-temporal and context-based indexing and representation of subterranean networks and means for doing same |
CN104602297A (zh) * | 2015-01-26 | 2015-05-06 | 无锡清华信息科学与技术国家实验室物联网技术中心 | 基于压缩感知的无线传感器网络监测方法及系统 |
CN105678046A (zh) * | 2014-11-18 | 2016-06-15 | 日本电气株式会社 | 修补时空序列数据中的缺失数据的方法及装置 |
CN105787283A (zh) * | 2016-03-25 | 2016-07-20 | 西北大学 | 一种基于时空相关性的土遗址监测数据修正拟合方法 |
US9808190B2 (en) * | 2011-04-15 | 2017-11-07 | Dexcom, Inc. | Advanced analyte sensor calibration and error detection |
CN109101638A (zh) * | 2018-08-20 | 2018-12-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
CN110348536A (zh) * | 2019-07-18 | 2019-10-18 | 广州大学 | 数据智能预测方法、装置、计算机设备及存储介质 |
-
2021
- 2021-04-19 CN CN202110421270.XA patent/CN112836180B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007087615A2 (en) * | 2006-01-25 | 2007-08-02 | Redzone Robotics, Inc. | Spatio-temporal and context-based indexing and representation of subterranean networks and means for doing same |
US9808190B2 (en) * | 2011-04-15 | 2017-11-07 | Dexcom, Inc. | Advanced analyte sensor calibration and error detection |
CN105678046A (zh) * | 2014-11-18 | 2016-06-15 | 日本电气株式会社 | 修补时空序列数据中的缺失数据的方法及装置 |
CN104602297A (zh) * | 2015-01-26 | 2015-05-06 | 无锡清华信息科学与技术国家实验室物联网技术中心 | 基于压缩感知的无线传感器网络监测方法及系统 |
CN105787283A (zh) * | 2016-03-25 | 2016-07-20 | 西北大学 | 一种基于时空相关性的土遗址监测数据修正拟合方法 |
CN109101638A (zh) * | 2018-08-20 | 2018-12-28 | 河海大学 | 一种大坝变形监测连续性缺失数据补全方法 |
CN110348536A (zh) * | 2019-07-18 | 2019-10-18 | 广州大学 | 数据智能预测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
J KARJEE等: "Data Accuracy Estimation for Spatially Correlated Data in Wireless Sensor Networks under Distributed Clustering", 《JOURNAL OF NETWORKS》 * |
潘立强: "传感器网络中一种基于时-空相关性的缺失值估计算法", 《计算机学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113884705A (zh) * | 2021-09-28 | 2022-01-04 | 上海电气风电集团股份有限公司 | 簇群风机风速计的监测方法及其系统及计算机可读存储介质 |
CN115381438A (zh) * | 2022-08-24 | 2022-11-25 | 华南师范大学 | 生命体征信号的重建方法、装置、计算机设备和存储介质 |
CN115381438B (zh) * | 2022-08-24 | 2023-04-18 | 华南师范大学 | 生命体征信号的重建方法、装置、计算机设备和存储介质 |
CN116774639A (zh) * | 2023-08-24 | 2023-09-19 | 中国水利水电第九工程局有限公司 | 一种基于互联网的污水处理设备远程控制系统 |
CN116774639B (zh) * | 2023-08-24 | 2023-10-27 | 中国水利水电第九工程局有限公司 | 一种基于互联网的污水处理设备远程控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112836180B (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112836180B (zh) | 传感数据确定方法、装置、电子设备及可读存储介质 | |
JP6661559B2 (ja) | 異常検出装置、異常検出方法およびプログラム | |
CN112188531B (zh) | 异常检测方法、装置、电子设备及计算机存储介质 | |
CN115689393B (zh) | 一种基于物联网的电力系统实时动态监测系统及方法 | |
KR102408426B1 (ko) | 설비 노화 지수를 이용한 이상 감지 방법 및 장치 | |
US11640328B2 (en) | Predicting equipment fail mode from process trace | |
CN116308305B (zh) | 一种桥梁健康监测数据管理系统 | |
US7949497B2 (en) | Machine condition monitoring using discontinuity detection | |
JP7090430B2 (ja) | データ処理方法、データ処理装置、および、データ処理プログラム | |
JP5824959B2 (ja) | 異常診断装置 | |
Li et al. | An adaptive prognostics method based on a new health index via data fusion and diffusion process | |
CN106652393B (zh) | 假警报确定方法及装置 | |
CN117114454B (zh) | 一种基于Apriori算法的直流套管状态评估方法及系统 | |
CN112288126B (zh) | 一种采样数据异常变化在线监测与诊断方法 | |
KR102618023B1 (ko) | 고장유형에 따른 패턴 분석을 통한 고장 예지 진단시스템 및 방법 | |
KR20230125116A (ko) | 머신러닝 클러스터링 알고리즘과 통계적 기법을 이용해 고장 데이터가 부재한 시스템의 결함 탐지 및 고장 진단 예측 방법 | |
JP6953812B2 (ja) | 異常検出装置及び異常検出システム | |
WO2022070656A1 (ja) | 異常検知モデルの評価システムおよび評価方法 | |
JP5948998B2 (ja) | 異常診断装置 | |
US20230297095A1 (en) | Monitoring device and method for detecting anomalies | |
CN111382946B (zh) | 设备健康状态的自主评估方法、系统及工业互联网设备 | |
CN112912807A (zh) | 异常诊断装置 | |
KR102634666B1 (ko) | 롤투롤 공정의 롤 베어링 수명 예측 모델 구축 방법 | |
JP7378689B1 (ja) | 処理装置及び処理システム | |
CN116560417B (zh) | 用于气液分离的全自动排液控制方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |