CN116450636B - 基于低秩张量分解的物联网数据补全方法、设备及介质 - Google Patents
基于低秩张量分解的物联网数据补全方法、设备及介质 Download PDFInfo
- Publication number
- CN116450636B CN116450636B CN202310729965.3A CN202310729965A CN116450636B CN 116450636 B CN116450636 B CN 116450636B CN 202310729965 A CN202310729965 A CN 202310729965A CN 116450636 B CN116450636 B CN 116450636B
- Authority
- CN
- China
- Prior art keywords
- tensor
- data
- order
- internet
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 52
- 239000011159 matrix material Substances 0.000 claims abstract description 96
- 230000000295 complement effect Effects 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000004590 computer program Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于低秩张量分解的物联网数据补全方法、设备及介质，首先构建物联网监测数据的三阶张量数据并进行正交Tucker分解，得到核张量和因子矩阵；将核张量、因子矩阵、三阶张量数据输入到张量补全模型中，对张量补全模型进行求解，并用三阶张量数据对求解得到的三阶张量重构数据进行张量补全，得到补全后的三阶张量重构数据；其中，张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性。通过将构建的物联网的三阶张量数据张量分解后，依据相应的张量补全模型进行补全，采用核张量与因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性，有效提高物联网数据的重建精度。
Description
技术领域
本发明属于数据处理技术领域，尤其涉及一种基于低秩张量分解的物联网数据补全方法、设备及介质。
背景技术
随着物联网技术的不断发展和应用，大量的传感器数据被采集并存储在云端。这些数据包含了各种各样的信息，如环境参数、设备状态等，对于实现智能化管理和决策具有重要意义。然而，由于传感器故障、通信中断等原因，这些数据往往存在缺失或者异常值，影响了数据的准确性和可靠性。因此，如何对缺失的数据进行重建成为一个重要的研究方向。传统的基于稀疏约束的数据补全方法主要是基于矩阵补全算法，但是在实际应用中，数据往往具有高维和复杂结构的特点，矩阵补全算法无法很好地处理这种情况。因此，近年来，基于低秩张量补全的方法逐渐成为研究热点。低秩张量补全方法可以更好地利用数据的结构信息，提高数据补全的准确性和鲁棒性。在物联网领域，基于低秩张量补全的数据补全方法已经得到了广泛的应用。
目前，基于结构化低秩张量补全的物联网数据重建方法能够利用物联网数据之间的时空相关性和挖掘物联网数据的低秩性来缓解基不匹配对重建精度的影响，从而提高数据重建精度。但该方法虽然能取得较好的重建精度的效果，但没考虑利用低秩张量分解后，物联网数据的低秩性，导致数据重建精度的效果不够理想。
发明内容
有鉴于此，本发明提供了一种基于低秩张量分解的物联网数据补全方法、设备及介质，旨在解决现有技术中物联网监测数据特征提取效果较差的问题。
本发明实施例的第一方面提供了一种基于低秩张量分解的物联网数据补全方法，包括：
获取物联网监测数据，并构建物联网监测数据的三阶张量数据；
对物联网监测数据的三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵；
将核张量、因子矩阵、三阶张量数据输入到预先建立的张量补全模型中，对张量补全模型进行求解，并用三阶张量数据对求解得到的三阶张量重构数据进行张量补全，得到补全后的三阶张量重构数据；
其中，张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性。
本发明实施例的第二方面提供了一种基于低秩张量分解的物联网数据补全装置，包括：
获取模块，用于获取物联网监测数据，并构建物联网监测数据的三阶张量数据；
分解模块，用于对物联网监测数据的三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵；
补全模块，用于将核张量、因子矩阵、三阶张量数据输入到预先建立的张量补全模型中，对张量补全模型进行求解，并用三阶张量数据对求解得到的三阶张量重构数据进行张量补全，得到补全后的三阶张量重构数据；
其中，张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性。
本发明实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面的基于低秩张量分解的物联网数据补全方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上第一方面的基于低秩张量分解的物联网数据补全方法的步骤。
本发明实施例提供的基于低秩张量分解的物联网数据补全方法、设备及介质，首先获取物联网监测数据，并构建物联网监测数据的三阶张量数据；然后对物联网监测数据的三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵；最终将核张量、因子矩阵、三阶张量数据输入到预先建立的张量补全模型中，对张量补全模型进行求解，并用三阶张量数据对求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据；其中，张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性。通过将构建的物联网的三阶张量数据张量分解后，依据相应的张量补全模型进行补全，采用核张量与因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性，有效提高物联网数据的重建精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于低秩张量分解的物联网数据补全方法的应用场景图；
图2是本发明实施例提供的基于低秩张量分解的物联网数据补全方法的实现流程图；
图3是本发明另一实施例提供的基于低秩张量分解的物联网数据补全方法的实现流程图；
图4是本发明实施例提供的基于低秩张量分解的物联网数据补全装置的结构示意图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
图1是本发明实施例提供的基于低秩张量分解的物联网数据补全方法的应用场景图。如图1所示，在一些实施例中，本发明实施例提供的基于低秩张量分解的物联网数据补全方法可以但不限于应用于该应用场景。在该发明实施例中，该系统包括：数据采集系统11和电子设备12。
数据采集系统11可以是传感器、视频采集器、雷达等，在此不作限定。电子设备12可以是终端、服务器等，终端可以是电脑、MCU等，服务器可以是物理服务器、云服务器等，在此不作限定。数据采集系统11首先向电子设备12上报物联网监测数据，电子设备12对物联网监测数据进行补全。
图2是本发明实施例提供的基于低秩张量分解的物联网数据补全方法的实现流程图。如图2所示，在一些实施例中，基于低秩张量分解的物联网数据补全方法，应用于图1中所示的电子设备12，该方法包括：
S210，获取物联网监测数据，并构建物联网监测数据的三阶张量数据。
在本发明实施例中，可以将物联网监测区域划分为个网格点，每个网格点内部署一个传感器节点；假设传感器节点每隔时隙τ感测一次数据，并将数据传输到基站，那么基站在时间T＝/>×τ内接收到的数据可组成一个三阶张量数据/>，/>、/>、/>为正整数；/>表示时间。
S220，对物联网监测数据的三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵。
为了确定由反映时空相关性的物联网数据组成三阶张量数据的/>模降维值（也就是三阶张量数据/>进行低秩张量分解后核张量/>各模维度值），可以将按/>模展开，对/>进行奇异值SVD分解，其中/>为/>第j个较大特征值，利用下列公式获得降维值/>。在一些实施例中，在S220之后，该方法还包括：根据预设优选方案设置核张量的各模的维数；其中，预设优选方案为：
(1)
其中，R n为核张量第n模的维数，λ j为奇异值分解后的第j个最大特征值，/>为三阶张量数据的第/>模展开值，而σ n是截断精度的阈值，n∈(1，N)。
S230，将核张量、因子矩阵、三阶张量数据输入到预先建立的张量补全模型中，对张量补全模型进行求解，并用三阶张量数据对求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据。
其中，张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性。
为了通过设计张量降维方案，将组成的三阶张量数据通过低秩张量分解的补全优化模型求解，得到较小秩的核张量和一组因子矩阵，然后通过核张量与因子矩阵的各模相乘生成的新的三阶张量重构数据/>，利用已知的三阶张量数据/>对新的三阶张量重构数据/>进行张量补全。在本发明实施例中，S230可以包括：根据辅助矩阵，将张量补全模型转化为第一优化模型；建立第一优化模型对应的增广拉格朗日函数；采用交替方向乘子法对增广拉格朗日函数进行迭代求解，得到补全后的三阶张量重构数据。
在本发明实施例中，由于数据丢失，在时间T内仅有D个环境信息测量值传输到基站，即D＜＜，因此由反映时空相关性的物联网数据组成的三阶张量数据/>具有低秩性或近似低秩。为了将三阶张量数据/>的数据恢复，可以将/>进行低秩张量分解，分解产生的核张量/>与因子矩阵/>的各模相乘生成一个大小与三阶张量数据/>相同的新的三阶张量重构数据/>，并对新的三阶张量重构数据/>各模展开施加核范数来刻画它的低秩性。最后将已知的三阶张量数据/>（物联网数据）对新的三阶张量重构数据/>进行张量补全。因此，可以得到张量补全模型为：
(2)
其中，为核张量，在/>上具备低秩性（/>为降维方案设置的核张量/>各模的维数），/>为因子矩阵，/>为物联网监测数据的三阶张量数据，/>为补全后的三阶张量重构数据，/>表示/>的非零项，/>为第一权重，/>的所有值的和为1，/>为矩阵核范数，/>表示补全后的三阶张量重构数据按n模展开的矩阵所有奇异值的和，/>为Frobenius范数，/>是Stiefel流形，且。
其中，为全模积，表示核张量与n个U n相乘的n模展开。
由于式（2）具有高计算量，这限制了求解大规模问题的能力。因此提出了一种基于低秩张量分解的补全算法，将用/>替代。
定理5-1：给出两个张量，（它的多线性秩为）和/> 。如果/>（即）并且/>满足，那么/>，其中/>与/>分别为张量/>与/>的迹范数。
证明：给出两个张量和/>。如果/>与（/>）满足，那么根据核范数的属性，能够得到以下结论：
(3)
其中，。如果张量/>在/>模展开，那么可以得到：
(4)
令，/>可能通过以下等式获得：
(5)
因此，结合式（3）与式（5），证明可通过以下式子完成：
(6)
根据定理5-1，可以将用/>替代。因此，式（2）可进行如下描述：
(7)
其中为张量/>的/>模展开。
为了区别与张量/>，引入了3个辅助矩阵/>来替代/>，由于因子矩阵有正交约束，因此，式（7）可转换成以下形式，即第一优化模型：
(8)
其中，表示辅助矩阵，/>表示核张量/>第/>模展开。
显然，式（8）是含有大量变量和约束的非凸非线性问题。因此，采用交替方向乘子法（the Alternating Direction Method of Multipliers，ADMM）来简化计算。在采用ADMM之前，需要对式（8）进行以下处理：
给出任意的，式（8）的增广拉格朗日函数可定义如下：
(9)
其中，为正的标量，/>为拉格朗日乘子。
在一些实施例中，采用交替方向乘子法对增广拉格朗日函数进行迭代求解，得到补全后的三阶张量重构数据，包括：对核张量、因子矩阵、辅助矩阵、拉格朗日乘子以及物联网监测数据的三阶张量重构数据进行迭代更新，并在每次迭代更新完成后，根据更新前的核张量、更新前的因子矩阵和更新后的三阶张量重构数据，确定是否满足迭代停止条件，或者，在每次迭代更新完成后，根据更新后的核张量的第模展开和更新后的辅助矩阵，确定是否满足迭代停止条件；若满足迭代停止条件，则将更新后三阶张量重构数据作为补全后的三阶张量重构数据；若不满足迭代停止条件，则进行下一次迭代更新。
在本发明实施例中，算法的输入为训练集对应的三阶张量数据、第一权重、最大迭代次数t max。输出为补全后的三阶张量重构数据，在第一次迭代时，将构建的三阶张量数据结合S220中分解得到的核张量和因子矩阵作为迭代的初始值。
在一些实施例中，迭代停止条件为：
(10)
或者，迭代停止条件为：
(11)
其中，为第t次迭代得到的核张量，/>为第t次迭代得到的因子矩阵，/>为第t+1次迭代得到的三阶张量重构数据，/>为构建的物联网监测数据的三阶张量数据，/>为Frobenius范数，/>表示/>第/>模展开，/>表示第t+1次迭代得到的辅助矩阵，ξ为预设的容忍值，t<t max，t max为最大迭代次数。
在一些实施例中，对核张量、因子矩阵、辅助矩阵、拉格朗日乘子以及物联网监测数据的三阶张量重构数据进行迭代更新的过程中，每次迭代包括以下步骤：根据更新前的核张量、更新前的因子矩阵、更新前的辅助矩阵、更新前的拉格朗日乘子和第一更新公式，计算更新后的核张量；根据更新后的核张量、更新前的因子矩阵、更新前的三阶张量重构数据、更新前的辅助矩阵、更新前的拉格朗日乘子和第二更新公式，计算更新后的因子矩阵；根据更新后的核张量、更新后的因子矩阵、更新前的辅助矩阵、更新前的拉格朗日乘子和第三更新公式，计算更新后的辅助矩阵；根据更新后的核张量、更新后的因子矩阵、更新前的三阶张量重构数据和第四更新公式，计算更新后的三阶张量重构数据；根据更新后的核张量、更新后的辅助矩阵、更新前的拉格朗日乘子和第五更新公式，计算更新后的拉格朗日乘子。
在本发明实施例中，对于核张量的优化：
将其他参数固定的情况下，核张量通过求解进行更新，即上述的第一更新公式：
(12)
因为对于任意的张量，等式/>当且仅当/>成立。因此，式（12）第一项/>模乘以/>后可转换成以下形式：
(13)
其中，，式（13）已经被证明有一个封闭的解：
(14)
其中，。
对于因子矩阵的优化：
将和其他参数固定的情况下，因子矩阵/>通过更新进行求解：
(15)
借助以下公式：
(16)
可以使因子矩阵可以通过以下更新，即上述的第二更新公式：
(17)
其中，。因此，将式（17）转换成以下问题：
(18)
其中，。为了求解式（18），利用von Neumann的迹不等式，于是式（18）很容易地用下面的公式解决：
(19)
其中，和/>分别为/>进行奇异值分解（SVD）后的左、右奇异矩阵。
对于辅助矩阵的优化：
将和其他参数固定的情况下，/>可通过以下形式进行更新，即上述的第三更新公式：
(20)
很显然，式（20）中可获得封闭解：
(21)
其中，，且对于任意矩阵/>的奇异值分解有/>，同时为软阈值运算。
对于更新的三阶张量重构数据的优化：
将其他参数固定的情况下，待恢复的三阶张量重构数据的更新可以通过解决以下问题进行获得：
(22)
通过投影性质，的唯一最优解可轻松通过以下形式获得，即上述的第四更新公式：
(23)
其中，集中的元素能被观察到，而/>集中的元素都丢失。
对于拉格朗日乘子的更新：
上述的第五更新公式为：
(24)
其中，，/>，/>为第t次迭代时的正的标量。
图3是本发明另一实施例提供的基于低秩张量分解的物联网数据补全方法的实现流程图。如图3所示，在一些实施例中，首先将反映时空相关性的物联网数据组成三阶张量数据，然后设计降维方案，确定将三阶张量数据分解后生成的核张量各模维度的大小，接着构建张量补全模型，并对其进行迭代求解，在每次迭代中，将三阶张量数据对求解得到的核张量和因子矩阵生成新的三阶张量重构数据进行张量补全，并判断是否满足停止规则(即迭代停止条件)，若满足则将其作为最终补全后的三阶张量重构数据，反之进行下一次迭代。
综上，本发明的有益效果具体为：通过将构建的物联网的三阶张量数据张量分解后，依据相应的张量补全模型进行补全，采用核张量与因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性，有效提高物联网数据的重建精度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图4是本发明实施例提供的基于低秩张量分解的物联网数据补全装置的结构示意图。如图4所示，在一些实施例中，基于低秩张量分解的物联网数据补全装置4，包括：
获取模块410，用于获取物联网监测数据，并构建物联网监测数据的三阶张量数据；
分解模块420，用于对物联网监测数据的三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵；
补全模块430，用于将核张量、因子矩阵、三阶张量数据输入到预先建立的张量补全模型中，对张量补全模型进行求解，并用三阶张量数据对求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据；
其中，张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画物联网监测数据的低秩性。
可选的，补全模块430，具体用于：根据辅助矩阵，将张量补全模型转化为第一优化模型；建立第一优化模型对应的增广拉格朗日函数；采用交替方向乘子法对增广拉格朗日函数进行迭代求解，得到补全后的三阶张量重构数据。
可选的，张量补全模型为：
其中，为核张量，在/>上具备低秩性（/>为降维方案设置的核张量/>各模的维数），/>为因子矩阵，/>为物联网监测数据的三阶张量数据，/>为补全后的三阶张量重构数据，/>表示/>的非零项，/>为第一权重，/>的所有值的和为1，/>为矩阵核范数，/>表示补全后的三阶张量重构数据按n模展开后的矩阵所有奇异值的和，/>为Frobenius范数，/>是Stiefel流形，且。
可选的，第一优化模型为：
其中，表示辅助矩阵，/>表示核张量/>第/>模展开。
可选的，增广拉格朗日函数为：
其中，为正的标量，/>为拉格朗日乘子。
可选的，补全模块430，具体用于：对核张量、因子矩阵、辅助矩阵、拉格朗日乘子以及物联网监测数据的三阶张量重构数据进行迭代更新，并在每次迭代更新完成后，根据更新前的核张量、更新前的因子矩阵和更新后的三阶张量重构数据，确定是否满足迭代停止条件，或者，在每次迭代更新完成后，根据更新后的核张量的第模展开和更新后的辅助矩阵，确定是否满足迭代停止条件；若满足迭代停止条件，则将更新后三阶张量重构数据作为补全后的三阶张量重构数据；若不满足迭代停止条件，则进行下一次迭代更新。
可选的，补全模块430在每次迭代中，具体用于：根据更新前的核张量、更新前的因子矩阵、更新前的辅助矩阵、更新前的拉格朗日乘子和第一更新公式，计算更新后的核张量；根据更新后的核张量、更新前的因子矩阵、更新前的三阶张量重构数据、更新前的辅助矩阵、更新前的拉格朗日乘子和第二更新公式，计算更新后的因子矩阵；根据更新后的核张量、更新后的因子矩阵、更新前的辅助矩阵、更新前的拉格朗日乘子和第三更新公式，计算更新后的辅助矩阵；根据更新后的核张量、更新后的因子矩阵、更新前的三阶张量重构数据和第四更新公式，计算更新后的三阶张量重构数据；根据更新后的核张量、更新后的辅助矩阵、更新前的拉格朗日乘子和第五更新公式，计算更新后的拉格朗日乘子。
可选的，基于低秩张量分解的物联网数据补全装置4还包括：降维模块，用于根据预设优选方案设置核张量的各模的维数，得到降维后的核张量；
其中，预设优选方案为：
其中，R n为核张量第n模的维数，λ j为奇异值分解后的第j个最大特征值，/>为三阶张量数据的第/>模展开值，而σ n是截断精度的阈值，n∈(1，N)。
相应的，补全模块430，具体用于将降维后的核张量、因子矩阵、三阶张量数据输入到预先建立的张量补全模型中，对张量补全模型进行求解，并用求解得到的张量重构数据对三阶张量数据进行张量补全，得到补全后的三阶张量重构数据。
本实施例提供的基于低秩张量分解的物联网数据补全装置，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图5是本发明实施例提供的电子设备的结构示意图。如图5所示，本发明的一个实施例提供的电子设备5，该实施例的电子设备5包括：处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。处理器50执行计算机程序52时实现上述各个基于低秩张量分解的物联网数据补全方法实施例中的步骤，例如图2所示的步骤210至步骤230。或者，处理器50执行计算机程序52时实现上述各系统实施例中各模块/单元的功能，例如图4所示模块410至430的功能。
示例性的，计算机程序52可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器51中，并由处理器50执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序52在电子设备5中的执行过程。
电子设备5可以是可以为终端、服务器等，在此不作限定，服务器可以是物理服务器、云服务器等，在此不作限定。电子设备5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是电子设备5的内部存储单元，例如电子设备5的硬盘或内存。存储器51也可以是电子设备5的外部存储设备，例如电子设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器51还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及电子设备所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于低秩张量分解的物联网数据补全方法实施例中的步骤。
计算机可读存储介质存储有计算机程序52，计算机程序52包括程序指令，程序指令被处理器50执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序52来指令相关的硬件来完成，计算机程序52可存储于一计算机可读存储介质中，该计算机程序52在被处理器50执行时，可实现上述各个方法实施例的步骤。其中，计算机程序52包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
计算机可读存储介质可以是前述任一实施例的电子设备的内部存储单元，例如电子设备的硬盘或内存。计算机可读存储介质也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，计算机可读存储介质还可以既包括电子设备的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及电子设备所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于低秩张量分解的物联网数据补全方法，其特征在于，包括：
获取物联网监测数据，并构建所述物联网监测数据的三阶张量数据；
对所述物联网监测数据的三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵；
将所述核张量、所述因子矩阵、所述三阶张量数据输入到预先建立的张量补全模型中，对所述张量补全模型进行求解，并用所述三阶张量数据对求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据；
其中，所述张量补全模型根据核张量和因子矩阵的各模的乘积生成的三阶张量重构数据刻画所述物联网监测数据的低秩性；
将所述核张量、所述因子矩阵、所述三阶张量数据输入到预先建立的张量补全模型中，对所述张量补全模型进行求解，并用所述三阶张量数据对根据求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据，包括：
根据辅助矩阵，将所述张量补全模型转化为第一优化模型；
建立所述第一优化模型对应的增广拉格朗日函数；
采用交替方向乘子法对所述增广拉格朗日函数进行迭代求解，得到补全后的三阶张量重构数据；
所述张量补全模型为：
其中，为所述核张量，在/>上具备低秩性，/>为核张量/>各模的维数，/>为所述因子矩阵，/>为所述物联网监测数据的三阶张量数据，/>为三阶张量重构数据，/>表示/>的非零项，/>为第一权重，/>的所有值的和为1，/>为矩阵核范数，/>表示补全后的三阶张量重构数据按n模展开的矩阵所有奇异值的和，/>为Frobenius范数，是Stiefel流形，且/>；
所述第一优化模型为：
其中，表示辅助矩阵，/>表示核张量/>第/>模展开；
所述增广拉格朗日函数为：
其中，为正的标量，/>为拉格朗日乘子。
2.根据权利要求1所述的基于低秩张量分解的物联网数据补全方法，其特征在于，所述采用交替方向乘子法对所述增广拉格朗日函数进行迭代求解，得到补全后的三阶张量重构数据，包括：
对所述核张量、所述因子矩阵、所述辅助矩阵、拉格朗日乘子以及所述物联网监测数据的三阶张量重构数据进行迭代更新，并在每次迭代更新完成后，根据更新前的核张量、更新前的因子矩阵和更新后的三阶张量重构数据，确定是否满足迭代停止条件，或者，在每次迭代更新完成后，根据更新后的核张量的第模展开和更新后的辅助矩阵，确定是否满足迭代停止条件；
若满足迭代停止条件，则将更新后三阶张量重构数据作为补全后的三阶张量重构数据；
若不满足迭代停止条件，则进行下一次迭代更新。
3.根据权利要求2所述的基于低秩张量分解的物联网数据补全方法，其特征在于，对所述核张量、所述因子矩阵、所述辅助矩阵、拉格朗日乘子以及所述物联网监测数据的三阶张量重构数据进行迭代更新的过程中，每次迭代包括以下步骤：
根据更新前的核张量、更新前的因子矩阵、更新前的辅助矩阵、更新前的拉格朗日乘子和第一更新公式，计算更新后的核张量；
根据更新后的核张量、更新前的因子矩阵、更新前的三阶张量重构数据、更新前的辅助矩阵、更新前的拉格朗日乘子和第二更新公式，计算更新后的因子矩阵；
根据更新后的核张量、更新后的因子矩阵、更新前的辅助矩阵、更新前的拉格朗日乘子和第三更新公式，计算更新后的辅助矩阵；
根据更新后的核张量、更新后的因子矩阵、更新前的三阶张量重构数据和第四更新公式，计算更新后的三阶张量重构数据；
根据更新后的核张量、更新后的辅助矩阵、更新前的拉格朗日乘子和第五更新公式，计算更新后的拉格朗日乘子。
4.根据权利要求1-3任一项所述的基于低秩张量分解的物联网数据补全方法，其特征在于，在对所述三阶张量数据进行正交Tucker分解，得到核张量和因子矩阵之后，所述方法还包括：
根据预设优选方案设置所述核张量的各模的维数，得到降维后的核张量；
其中，所述预设优选方案为：
其中，R n为核张量第n模的维数，λ j为奇异值分解后的第j个最大特征值，/>为三阶张量数据的第/>模展开值，而σ n是截断精度的阈值，n∈(1，N)；
将所述核张量、所述因子矩阵、所述三阶张量数据输入到预先建立的张量补全模型中，对所述张量补全模型进行求解，并用所述三阶张量数据对求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据，包括：
将降维后的核张量、所述因子矩阵、所述三阶张量数据输入到预先建立的张量补全模型中，对所述张量补全模型进行求解，并用所述三阶张量数据对求解得到的张量重构数据进行张量补全，得到补全后的三阶张量重构数据。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至4中任一项所述基于低秩张量分解的物联网数据补全方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上的权利要求1至4中任一项所述基于低秩张量分解的物联网数据补全方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729965.3A CN116450636B (zh) | 2023-06-20 | 2023-06-20 | 基于低秩张量分解的物联网数据补全方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310729965.3A CN116450636B (zh) | 2023-06-20 | 2023-06-20 | 基于低秩张量分解的物联网数据补全方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116450636A CN116450636A (zh) | 2023-07-18 |
| CN116450636B true CN116450636B (zh) | 2023-08-18 |
Family
ID=87132487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310729965.3A Active CN116450636B (zh) | 2023-06-20 | 2023-06-20 | 基于低秩张量分解的物联网数据补全方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116450636B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105679022A (zh) * | 2016-02-04 | 2016-06-15 | 北京工业大学 | 一种基于低秩的多源交通数据的补全方法 |
| CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
| CN112465713A (zh) * | 2020-11-24 | 2021-03-09 | 北京大学 | 基于流形优化的张量低秩模型非平滑三维图像补全方法 |
| CN113222834A (zh) * | 2021-04-22 | 2021-08-06 | 南京航空航天大学 | 一种基于平滑约束和矩阵分解的视觉数据张量补全方法 |
| CN113408788A (zh) * | 2021-05-26 | 2021-09-17 | 华南理工大学 | 微气象监测装置高维构建及补全方法、系统、装置及介质 |
| CN114841888A (zh) * | 2022-05-16 | 2022-08-02 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
| CN115103029A (zh) * | 2022-05-20 | 2022-09-23 | 西安邮电大学 | 基于截断核范数的低秩张量补全QoS预测方法及装置 |
| CN115309814A (zh) * | 2022-08-08 | 2022-11-08 | 河北工业大学 | 基于结构化低秩张量补全的物联网数据重建方法 |
-
2023
- 2023-06-20 CN CN202310729965.3A patent/CN116450636B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105679022A (zh) * | 2016-02-04 | 2016-06-15 | 北京工业大学 | 一种基于低秩的多源交通数据的补全方法 |
| CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
| CN112465713A (zh) * | 2020-11-24 | 2021-03-09 | 北京大学 | 基于流形优化的张量低秩模型非平滑三维图像补全方法 |
| CN113222834A (zh) * | 2021-04-22 | 2021-08-06 | 南京航空航天大学 | 一种基于平滑约束和矩阵分解的视觉数据张量补全方法 |
| CN113408788A (zh) * | 2021-05-26 | 2021-09-17 | 华南理工大学 | 微气象监测装置高维构建及补全方法、系统、装置及介质 |
| CN114841888A (zh) * | 2022-05-16 | 2022-08-02 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
| CN115103029A (zh) * | 2022-05-20 | 2022-09-23 | 西安邮电大学 | 基于截断核范数的低秩张量补全QoS预测方法及装置 |
| CN115309814A (zh) * | 2022-08-08 | 2022-11-08 | 河北工业大学 | 基于结构化低秩张量补全的物联网数据重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于张量的方法及应用综述";夏虹 等;《计算机技术与发展》;第第32卷卷(第第6期期);1-8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116450636A (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Eriksson et al. | A consensus-based framework for distributed bundle adjustment | |
| Kressner et al. | Algorithm 941: Htucker---A MATLAB toolbox for tensors in hierarchical Tucker format | |
| Liu et al. | Generalized higher-order orthogonal iteration for tensor decomposition and completion | |
| Shang et al. | Robust principal component analysis with missing data | |
| CN104809695B (zh) | 一种数据去噪的方法及装置 | |
| Zhou et al. | Efficient algorithms for computing the largest eigenvalue of a nonnegative tensor | |
| Fengmin et al. | A hybrid simulated annealing thresholding algorithm for compressed sensing | |
| CN111859835A (zh) | 一种电路互连网络模型的降阶方法、降阶装置及降阶设备 | |
| WO2020223850A1 (en) | System and method for quantum circuit simulation | |
| Sun et al. | Async-RED: A provably convergent asynchronous block parallel stochastic method using deep denoising priors | |
| CN110751599B (zh) | 一种基于截断核范数的视觉张量数据补全方法 | |
| Tindall et al. | Gauging tensor networks with belief propagation | |
| CN114819168B (zh) | 一种矩阵特征值的量子比较方法及装置 | |
| CN116450636B (zh) | 基于低秩张量分解的物联网数据补全方法、设备及介质 | |
| Li et al. | A learnable group-tube transform induced tensor nuclear norm and its application for tensor completion | |
| Feng et al. | Orthogonal random projection for tensor completion | |
| Li et al. | An alternating nonmonotone projected Barzilai–Borwein algorithm of nonnegative factorization of big matrices | |
| Mirhoseini et al. | Rankmap: A platform-aware framework for distributed learning from dense datasets | |
| Carbó‐Dorca et al. | Fundamental quantum QSAR (Q2SAR) equation: extensions, nonlinear terms, and generalizations within extended Hilbert–Sobolev spaces | |
| Faltinsen et al. | Multistep methods integrating ordinary differential equations on manifolds | |
| Iglesias et al. | Liftings of Nichols algebras of diagonal type III. Cartan type G2 | |
| CN111614078B (zh) | 电力系统小干扰稳定性分析方法、装置、设备及存储介质 | |
| Zhao et al. | A distributed algorithm for dictionary learning over networks | |
| CN113489011A (zh) | 电力系统暂态稳定评估方法、装置、电子设备和存储介质 | |
| Prakash et al. | Detection of gapped phases of a one-dimensional spin chain with on-site and spatial symmetries |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |