CN113869503B - 一种基于深度矩阵分解补全的数据处理方法及存储介质 - Google Patents

一种基于深度矩阵分解补全的数据处理方法及存储介质 Download PDF

Info

Publication number
CN113869503B
CN113869503B CN202111454575.7A CN202111454575A CN113869503B CN 113869503 B CN113869503 B CN 113869503B CN 202111454575 A CN202111454575 A CN 202111454575A CN 113869503 B CN113869503 B CN 113869503B
Authority
CN
China
Prior art keywords
matrix
completion
block variable
module
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111454575.7A
Other languages
English (en)
Other versions
CN113869503A (zh
Inventor
马晓轩
李志文
刘超
张翰韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhonggong Shitong (Beijing) Technology Co.,Ltd.
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202111454575.7A priority Critical patent/CN113869503B/zh
Publication of CN113869503A publication Critical patent/CN113869503A/zh
Application granted granted Critical
Publication of CN113869503B publication Critical patent/CN113869503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度矩阵分解补全的数据处理方法及存储介质，包括：S1构建深度矩阵分解补全模型，所述模型的核心结构是恢复模块；S2在进行观测矩阵的奇异值分解前，对观测矩阵的缺失位置进行预填充；S3基于Frobenius范数构建所述恢复模块的损失函数；S4采用VOC数据集对深度矩阵分解补全模型进行训练。与传统算法相比，本发明基于深度学习与非线性的深度矩阵分解补全网络能够在更短的时间内获得更好的处理性能，端到端的深度矩阵分解补全网络是基于矩阵的全局信息对整个数据文件进行修复，不管是时间上还是修复效果上都能有明显的提升。与线性和非线性矩阵补全方法进行比较。深度矩阵分解补全网络能够使用更短的时间提供更高的矩阵补全精度。

Description

一种基于深度矩阵分解补全的数据处理方法及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及基于深度矩阵分解补全的数据处理领域。
背景技术
矩阵补全是从一个欠采样或不完整数据中恢复出一个完整矩阵，它已被广泛应用于协同过滤、图像修复、图像去噪与图像分类等研究领域中。矩阵补全方法试图从部分观测数据(或欠采样数据)中恢复出原始完整矩阵。在原始完全矩阵是低秩的假设下，求解矩阵补全的两种常用方法为基于核范数和矩阵分解的方法。
虽然矩阵补全在数据处理领域中已有广泛的应用前景，但同时也存在挑战。传统的矩阵补全方法一般都是基于浅层的线性模型，并假设得到的不完全矩阵是来自于低秩矩阵。当原始矩阵很大但获得的观测数据很少时，便容易导致过拟合，性能也随之显著下降。近期，研究人员尝试将深度学习与非线性技术应用到矩阵补全中，但由于矩阵尺寸的限制，大部分的基于深度学习的矩阵补全算法都是将矩阵的每一行（或每一列）作为网络的输入，通过优化训练对其进行恢复，但并没有考虑到矩阵数据的整体结构关系，丢失了矩阵的全局结构信息。尤其将其应用于图像修复时，由于图像具有很强的结构性，如果在对图像修复时抛弃其整体结构性而仅仅对其每一列（每一行）信息进行独立修复并不能得到理想的结果。
发明内容
为了解决现有技术中存在的上述问题，本发明提供：
一种基于深度矩阵分解补全的数据处理方法，包括以下步骤：
S1 构建深度矩阵分解补全网络模型，模型的核心结构是恢复模块；
S2 在进行观测矩阵的奇异值分解前，对观测矩阵的缺失位置进行预填充；
S3 基于Frobenius范数构建恢复模块的损失函数；
S4 采用VOC数据集对深度矩阵分解补全模型进行训练；
其中，恢复模块包括块变量U更新模块、块变量V更新模块和块变量X更新模块，采用深度学习算法，将变量映射到固定深度的神经网络来实现恢复模块的变量更新。
作为一个实施例，S1构建深度矩阵分解补全网络模型具体包括以下步骤：
S1.1 构建使用低秩矩阵分解的图像矩阵补全模型；
S1.2 使用矩阵分解代替传统的核范数最小化；
S1.3 基于交替方向乘子法，每次迭代求解时只优化块变量U, 块变量V,拉格朗日乘子S和块变量X中一个变量，同时将其他的变量固定在它们的最新值，以此获得迭代模型，并将该模型映射到神经网络中进行求解。
作为一个实施例，S1.1构建使用低秩矩阵分解的图像矩阵补全模型包括：
使用低秩矩阵分解的图像矩阵补全模型的通用优化目标用下列公式表示：
Figure 274914DEST_PATH_IMAGE001
（1）
其中，
Figure 644584DEST_PATH_IMAGE002
是观测矩阵；
Figure 830846DEST_PATH_IMAGE003
是想从欠采样矩阵Y中恢复出来的矩阵，
Figure 757214DEST_PATH_IMAGE004
为正则项系数；
Figure 961799DEST_PATH_IMAGE005
是矩阵X的核范数；
Figure 315420DEST_PATH_IMAGE006
表示Y的观测项的重构误差，其中
Figure 988978DEST_PATH_IMAGE007
表示哈达玛积（Hadamard product），
Figure 719037DEST_PATH_IMAGE008
，若Y在(i,j)位置处缺失数据，则
Figure 840445DEST_PATH_IMAGE009
值为0，否则为1。
作为一个实施例，使用矩阵分解代替传统的核范数最小化的模型用下列公式表示：
Figure 240334DEST_PATH_IMAGE010
（2）
其中，
Figure 525822DEST_PATH_IMAGE011
，
Figure 918626DEST_PATH_IMAGE012
；
对应于公式(2)的增广拉格朗日函数为：
Figure 707590DEST_PATH_IMAGE013
(3)
其中，
Figure 340697DEST_PATH_IMAGE014
是惩罚参数，
Figure 175798DEST_PATH_IMAGE015
是与约束
Figure 716500DEST_PATH_IMAGE016
相对应的拉格朗日乘子。
作为一个实施例，S1.3具体包括以下步骤：
S1.3.1 构建块变量U更新模块和块变量V更新模块；
S1.3.2 构建块变量X更新模块。
作为一个实施例，S1.3.1 构建块变量U更新模块和块变量V更新模块具体包括：
块变量U更新模块和块变量V更新模块的更新公式如下：
Figure 15763DEST_PATH_IMAGE017
其中，
Figure 882088DEST_PATH_IMAGE018
表示卷积神经网络。
作为一个实施例，S1.3.2 构建块变量X更新模块具体包括：
通过块变量U更新模块和块变量V更新模块得到
Figure 17535DEST_PATH_IMAGE019
和
Figure 548879DEST_PATH_IMAGE020
后，拉格朗日乘数
Figure 578015DEST_PATH_IMAGE021
可以通过如下公式更新：
Figure 756186DEST_PATH_IMAGE022
然后，将它们输入到块变量X更新模块，通过以下公式得到
Figure 972404DEST_PATH_IMAGE023
：
Figure 510702DEST_PATH_IMAGE024
最后，块变量X更新模块中的自动编码器的输出
Figure 394344DEST_PATH_IMAGE023
与原始欠采样矩阵进行加权平均运算，如下公式所示：
Figure 743417DEST_PATH_IMAGE025
其中，
Figure 633881DEST_PATH_IMAGE026
为初始欠采样矩阵，
Figure 585657DEST_PATH_IMAGE027
为正则项系数；当图像中某点的像素值缺失，便将网络输出
Figure 464751DEST_PATH_IMAGE023
的对应位置的值直接赋给
Figure 109359DEST_PATH_IMAGE028
；若该点未被破坏，则将网络的输出与图像对应位置的像素值通过加权平均获得最终该位置的重建后的像素值；
Figure 424803DEST_PATH_IMAGE028
是该恢复模块获得的最终结果。
作为一个实施例，S2对观测矩阵的缺失位置进行预填充具体包括：
通过神经网络算法实现预填充，和/或，通过改进的最近邻均值填充算法实现预填充。
作为一个实施例，深度矩阵分解补全网络模型包括恢复模块，恢复模块的损失函数用下列公式表示：
Figure 180269DEST_PATH_IMAGE029
其中，
Figure 648291DEST_PATH_IMAGE030
为修复模块的网络参数，B为输入网络的样本个数，
Figure 463800DEST_PATH_IMAGE031
和
Figure 532119DEST_PATH_IMAGE032
是正则项系数；
Figure 763380DEST_PATH_IMAGE033
表示第b个样本对应的恢复模块的输出
Figure 476121DEST_PATH_IMAGE034
，
Figure 321586DEST_PATH_IMAGE035
为第b个样本对应的自动编码器的输入
Figure 486989DEST_PATH_IMAGE036
；
Figure 459624DEST_PATH_IMAGE037
和
Figure 213822DEST_PATH_IMAGE038
为第b个样本输出的
Figure 982187DEST_PATH_IMAGE039
和
Figure 572569DEST_PATH_IMAGE040
，
Figure 394900DEST_PATH_IMAGE041
为第b个样本对应的完整图像。
本发明还提供一种存储介质，其存储有计算机程序；当计算机程序被计算机设备中的处理器执行时，计算机设备执行如上述任一项所述的方法。
本发明结合深度学习与传统矩阵补全算法提出了用于数据处理的深度矩阵分解补全网络模型。将传统矩阵补全算法模型中的变量迭代更新映射到固定深度的神经网络中，通过端到端的可训练方式学习观测到的矩阵数据之间的潜在关系，从而形成高性能且易于部署的非线性矩阵补全解决方案。与传统算法相比，基于深度学习与非线性的深度矩阵分解补全网络能够在更短的时间内获得更好的恢复性能，而比起目前流行的基于深度学习的矩阵补全算法，端到端的深度矩阵分解补全网络是基于数据矩阵的全局信息对整个数据文件进行修复，不管是时间上还是修复效果上都能有明显的提升。在数据处理任务中，将深度矩阵分解补全网络与最先进的线性和非线性矩阵补全方法进行了比较。实验结果表明，深度矩阵分解补全网络能够使用更短的时间提供比现有方法更高的矩阵补全精度。
附图说明
为了更清楚地说明发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-1 本发明的网络架构图
图1-2 本发明恢复模块的结构示意图
图1-3 本发明块变量U更新模块和块变量V更新模块的模型示意图
图2 本发明的方法流程图
图3 本发明改进的最近邻均值填充算法示意图
图4 本发明的不同填充算法在训练期间的损失收敛情况和测试数据的重构结果图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
为解决现有技术存在的问题，本实施例提供一种基于深度矩阵分解补全的数据处理方法，其流程图如图2所示，主要包括以下步骤：
S1 构建深度矩阵分解补全（深度矩阵分解补全网络）模型，模型的核心结构是恢复模块。
具体的，S1构建深度矩阵分解补全（深度矩阵分解补全网络）模型包括以下步骤：
S1.1 构建使用低秩矩阵分解的图像矩阵补全模型。
具体的，其通用优化目标用下列公式表示：
Figure 816654DEST_PATH_IMAGE042
(1)
其中，
Figure 66239DEST_PATH_IMAGE043
是观测矩阵，其缺失信息被预定义常数代替。
Figure 81599DEST_PATH_IMAGE044
是想从欠采样矩阵Y中恢复出来的矩阵，
Figure 97835DEST_PATH_IMAGE045
为正则项系数。
Figure 515041DEST_PATH_IMAGE005
是矩阵X的核范数，用于限制X的秩。
Figure 873210DEST_PATH_IMAGE046
表示Y的观测项的重构误差，其中
Figure 421871DEST_PATH_IMAGE007
表示哈达玛积（Hadamardproduct），
Figure 540000DEST_PATH_IMAGE047
，若Y在(i,j)位置处缺失数据，则
Figure 936346DEST_PATH_IMAGE048
值为0，否则为1。
S1.2 使用矩阵分解代替传统的核范数最小化。
具体的，其模型具体可描述为：
Figure 465417DEST_PATH_IMAGE049
(2)
其中，
Figure 580003DEST_PATH_IMAGE050
，
Figure 236244DEST_PATH_IMAGE051
。
对应于(2)的增广拉格朗日函数为：
Figure 752676DEST_PATH_IMAGE052
(3)
其中，
Figure 514964DEST_PATH_IMAGE014
是惩罚参数，
Figure 992213DEST_PATH_IMAGE053
是与约束
Figure 576778DEST_PATH_IMAGE054
相对应的拉格朗日乘子。本发明通过使用矩阵分解代替传统的核范数最小化，可以避免频繁使用奇异值分解。
S1.3 基于交替方向乘子法，每次迭代求解时只优化块变量U, 块变量V,拉格朗日乘子S和块变量X中一个变量，同时将其他的变量固定在它们的最新值，以此获得迭代模型，并将该模型映射到神经网络中进行求解。
具体的，本发明遵循如下框架：
Figure 806771DEST_PATH_IMAGE055
(4)
其中，
Figure 818590DEST_PATH_IMAGE056
是步长参数。
由于直接用传统算法求解会有很多局限性，本发明提出的深度矩阵分解补全网络算法采用深度学习的方法来解决上述优化问题。深度矩阵分解补全网络的具体思想是通过将变量映射到固定深度的神经网络来更新变量。同时，由于深度学习和神经网络的优越性，本发明期望变量只需更新一次就能得到满意的结果。
在图1-1所示的基础上构建了一个网络结构，深度矩阵分解补全网络的核心结构是恢复模块，它包含三个更新模块，如图1-2所示。完整的恢复模块包括用于更新矩阵U和V的块变量U更新模块和块变量V更新模块，以及用于恢复欠采样图像的块变量X更新模块。
具体的，S1.3包括以下步骤：
S1.3.1 构建块变量U更新模块和块变量V更新模块。
如图1-3所示，当欠采样图像被输入到恢复模块时，将首先被输入到块变量U更新模块，然后被输入到块变量V更新模块。块变量U和V的第一次迭代的更新公式如下所示：
Figure 517555DEST_PATH_IMAGE057
(5)
如(5)所示，U的更新公式中涉及变量
Figure 905811DEST_PATH_IMAGE058
和
Figure 255890DEST_PATH_IMAGE059
，因此本发明选择将它们添加到块变量U更新模块的输入中。此外，为了学习最大卷积特征，还添加了
Figure 438610DEST_PATH_IMAGE060
作为块变量U更新模块的输入。另外，(5)中的辅助矩阵变量
Figure 687188DEST_PATH_IMAGE061
通常被初始化为零矩阵，因此在块变量U更新模块和块变量V更新模块中可以省略它。因此在(5)的基础上，对于块变量U更新模块，本发明将变量
Figure 738190DEST_PATH_IMAGE062
、
Figure 818141DEST_PATH_IMAGE063
和
Figure 312708DEST_PATH_IMAGE060
在通道维度上进行拼接作为输入，并使用固定深度的卷积神经网络来映射变量的更新。
对于V矩阵的更新，本发明也采取了类似的更新步骤，此时我们得到更新后的
Figure 110900DEST_PATH_IMAGE019
，然后在通道维度上将
Figure 700013DEST_PATH_IMAGE064
、
Figure 634471DEST_PATH_IMAGE019
和
Figure 299938DEST_PATH_IMAGE063
连接起来作为输入，得到
Figure 585426DEST_PATH_IMAGE065
。因此，U和V矩阵的更新公式如下：
Figure 978230DEST_PATH_IMAGE066
（6）
其中，
Figure 32774DEST_PATH_IMAGE018
表示卷积神经网络。
此外，U和V的初始化将影响恢复结果，为了获得更好的初始化值，需要首先对欠采样图像进行奇异值分解(SVD)，记为：
Figure 665881DEST_PATH_IMAGE067
（7）
其中，
Figure 297719DEST_PATH_IMAGE068
是对角线矩阵，
Figure 369580DEST_PATH_IMAGE069
。对角线上为
Figure 419576DEST_PATH_IMAGE070
，其他地方都为零。
Figure 20321DEST_PATH_IMAGE071
是矩阵
Figure 487860DEST_PATH_IMAGE072
的奇异值。
Figure 97833DEST_PATH_IMAGE073
和
Figure 48340DEST_PATH_IMAGE074
分别为左奇异向量和右奇异向量。则通过如下所示的初始化操作可以获得
Figure 960933DEST_PATH_IMAGE075
和
Figure 426418DEST_PATH_IMAGE076
。
Figure 840082DEST_PATH_IMAGE077
（8）
其中
Figure 582779DEST_PATH_IMAGE078
为U的前r列，
Figure 728589DEST_PATH_IMAGE079
为V的前r列，
Figure 432103DEST_PATH_IMAGE080
为
Figure 508512DEST_PATH_IMAGE081
的前r行和前r列，其中m=n。
为了保持最大信息量，网络中采用密集卷积结构，并加入残差结构来使得在较深网络中任然训练稳定。网络中采用步长为1并且进行padding的卷积运算使其卷积前后尺寸不变，由于Mish函数在曲线几乎所有点上的平滑度，能够允许更好的信息流入神经网络，本文选择其作为激活函数，同时卷积之间加入了批归一化操作（BN）来加快收敛速度。
S1.3.2 构建块变量X更新模块。
通过U、块变量V更新模块得到
Figure 184344DEST_PATH_IMAGE019
和
Figure 468433DEST_PATH_IMAGE020
后，拉格朗日乘数
Figure 659243DEST_PATH_IMAGE021
可以通过如下公式更新：
Figure 290075DEST_PATH_IMAGE082
（9）
然后，将它们输入到块变量X更新模块，通过以下公式得到
Figure 69681DEST_PATH_IMAGE023
：
Figure 619611DEST_PATH_IMAGE083
（10）
为了提高重建性能，我们将
Figure 438663DEST_PATH_IMAGE023
输入到由卷积层构成的自动编码器中。如图1-3所示，网络包含四个卷积运算，前两个卷积是正常卷积，后两个卷积是反卷积。除最后一层的激活函数使用TANH外，其余层均包含卷积运算后的批归一化运算和MISH激活函数。在实验中，发明人发现如果简单地将预测值填充到图像的缺失像素中，而不修改观测像素值，则输出图像不平滑，网络训练更加困难。因此，块变量X更新模块中的自动编码器的输出
Figure 732241DEST_PATH_IMAGE023
与原始欠采样矩阵进行加权平均运算，如下所示：
Figure 366353DEST_PATH_IMAGE084
（11）
其中，
Figure 228130DEST_PATH_IMAGE026
为初始欠采样矩阵，
Figure 659112DEST_PATH_IMAGE027
为正则项系数。当图像中某点的像素值缺失，便将网络输出
Figure 615435DEST_PATH_IMAGE023
的对应位置的值直接赋给
Figure 182683DEST_PATH_IMAGE028
。若该点未被破坏，则将网络的输出与图像对应位置的像素值通过加权平均获得最终该位置的重建后的像素值。
Figure 215361DEST_PATH_IMAGE028
是该恢复模块获得的最终结果。
S2在进行观测矩阵的奇异值分解前，对观测矩阵的缺失位置进行预填充。
具体的，本发明提供两种预填充算法--深度矩阵分解补全网络-1算法和深度矩阵分解补全网络-2算法的网络架构图如图1-1所示。
深度矩阵分解补全网络-1算法，通过神经网络实现预填充，具体包括：
首先用预定义常数（如255）替代观测矩阵的缺失值获得
Figure 133638DEST_PATH_IMAGE085
。接着对
Figure 690390DEST_PATH_IMAGE085
进行奇异值分解操作得到
Figure 253090DEST_PATH_IMAGE060
和
Figure 581303DEST_PATH_IMAGE063
并将其输入到修复模块中进行初步修复获得
Figure 845931DEST_PATH_IMAGE086
，将修复模块的输出矩阵
Figure 550582DEST_PATH_IMAGE086
与
Figure 702209DEST_PATH_IMAGE085
进行如下所示的填充操作得到
Figure 201323DEST_PATH_IMAGE087
：
Figure 953247DEST_PATH_IMAGE088
（12）
公式（12）便是通过神经网络初步推测图像矩阵缺失的值。将预测值填充到观测矩阵的缺失位置，然后将填充后得到的X作为第二个修复模块的输入再次进行修复。由于第二个修复模块中的
Figure 602535DEST_PATH_IMAGE060
和
Figure 264460DEST_PATH_IMAGE063
是通过新的
Figure 59110DEST_PATH_IMAGE085
进行奇异值分解得到的，能够很大程度消除使用随机常数填充带来的负面影响，所以通过第二个修复模块能够获得更好的修复结果。
深度矩阵分解补全网络-2算法，基于最近邻均值填充（Nearest Neighbor MeanFilling，NNMF）算法实现填充，具体包括：
具体的，本发明基于改进的最近邻均值填充算法，通过动态规划可以有效地计算所有缺失数据位置处的填充值。如图3所示，首先按顺时针方向填充边缘缺失像素，然后在四个方向上生成四个矩阵，最后将生成的四个矩阵加和求均值即可得到填充后的矩阵。使用NNMF算法对观测矩阵进行预填充操作得到的矩阵作为恢复模块的输入。
本发明提出的NNMF计算方法不同于传统最近邻均值填充需遍历每一个缺失位置然后依次寻找缺失位置的上下左右四个值的计算方式，可以有效减少计算时间。
在训练过程中，只需对卷积网络U、V和自动编码器中的参数进行优化。
S3 基于Frobenius范数构建恢复模块的损失函数。
具体的，本发明使用Frobenius范数来限制网络中的变量，由此可得出一个恢复模块的损失函数：
Figure 908117DEST_PATH_IMAGE089
（13）
其中，
Figure 361095DEST_PATH_IMAGE030
为修复模块的网络参数，B为输入网络的样本个数，
Figure 736582DEST_PATH_IMAGE031
和
Figure 577499DEST_PATH_IMAGE032
是正则项系数。
Figure 54747DEST_PATH_IMAGE033
表示第b个样本对应的恢复模块的输出
Figure 639313DEST_PATH_IMAGE034
，
Figure 931622DEST_PATH_IMAGE035
为第b个样本对应的自动编码器的输入
Figure 818807DEST_PATH_IMAGE036
。
Figure 642407DEST_PATH_IMAGE037
和
Figure 889717DEST_PATH_IMAGE038
为第b个样本输出的
Figure 115162DEST_PATH_IMAGE039
和
Figure 173248DEST_PATH_IMAGE040
，
Figure 749723DEST_PATH_IMAGE041
为第b个样本对应的完整图像。
本发明除了在损失函数中加入了修复模块最终输出的X来对其每个模块的输出都加以限制，还对模块中的中间变量进行限制，基于迭代模型搭建的可解释性网络中的每个变量都是具有实际意义的，相比于一般的卷积神经网络只能通过约束网络最后的输出来对整个网络权值进行全局优化，本发明的训练更加稳定且高效。
S4 采用VOC数据集对深度矩阵分解补全模型进行训练。
基于VOC数据集的多样性，为了适应更加复杂的图片的恢复，本发明选择该数据集作为训练样本。首先将图像转换成尺寸为256×256的灰度图，然后将图像中部分随机像素值用255代替。训练中超参数的设置如下，初始化U、V矩阵时设置的奇异值个数为前50个奇异值。训练网络时选择Adam作为优化器，逐步训练每个迭代模型时学习率设为
Figure 800724DEST_PATH_IMAGE090
，趋于稳定后学习率降为
Figure 880676DEST_PATH_IMAGE091
，全局微调时学习率设为
Figure 171980DEST_PATH_IMAGE092
。块变量X更新模块中
Figure 94805DEST_PATH_IMAGE093
设置为
Figure 559285DEST_PATH_IMAGE090
，
Figure 634688DEST_PATH_IMAGE094
设置为10。损失函数正则项系数
Figure 424790DEST_PATH_IMAGE031
和
Figure 303753DEST_PATH_IMAGE032
分别设置为0.1和0.01。块变量X更新模块中的自动编码器总共包含三个隐藏层，尺寸分别为
Figure 837502DEST_PATH_IMAGE095
、
Figure 767412DEST_PATH_IMAGE096
和
Figure 462836DEST_PATH_IMAGE097
。
为了使其能够对缺失图像更有针对性的进行恢复，本发明为深度矩阵分解补全网络-1和深度矩阵分解补全网络-2网络各训练了两个模型。第一个模型使用的数据集为含有30%到50%缺失率的图像，所以该模型主要用于对缺失率为50%及以下的图像进行恢复。第二个模型使用的数据集为含有50%到70%缺失率的图像，这个模型则用于对缺失率达到50%至70%的图像进行恢复。其中训练深度矩阵分解补全网络-1时以一个修复模块作为训练单元采用逐步训练的策略进行训练，即先训练第一个修复模块，训练完成后冻结第一个修复模块的权重，接着训练新增的第二个修复模块，第二个修复模块训练完成后解冻第一个修复模块的权重进行全局微调。图4所示为两个模型训练期间损失收敛情况与测试数据的重建效果。
相比于CelebFaces Attributes DataSet(CelebA)数据集，在实现复杂图像的恢复时，本发明采用的VOC数据集训练的网络的丢失和重建性能更优，更具有针对性。
本发明结合深度学习与传统矩阵补全算法提出了用于数据处理的深度矩阵分解补全网络。将传统矩阵补全算法模型中的变量迭代更新映射到固定深度的神经网络中，通过端到端的可训练方式学习观测到的矩阵数据之间的潜在关系，从而形成高性能且易于部署的非线性矩阵补全解决方案。与传统算法相比，基于深度学习与非线性的深度矩阵分解补全网络能够在更短的时间内获得更好的恢复性能，而比起目前流行的基于深度学习的矩阵补全算法，端到端的深度矩阵分解补全网络是基于数据矩阵的全局信息对整个数据文件进行修复，不管是时间上还是修复效果上都能有明显的提升。在数据处理任务中，将深度矩阵分解补全网络与最先进的线性和非线性矩阵补全方法进行了比较。实验结果表明，深度矩阵分解补全网络能够使用更短的时间提供比现有方法更高的矩阵补全精度。
实施例二
本实施例提供一种存储介质，其存储有计算机程序；当所述计算机程序被计算机设备中的处理器执行时，计算机设备执行如上述任一项所述的方法。
本发明结合深度学习与传统矩阵补全算法提出了用于数据处理的深度矩阵分解补全网络（深度矩阵分解补全网络）。将传统矩阵补全算法模型中的变量迭代更新映射到固定深度的神经网络中，通过端到端的可训练方式学习观测到的矩阵数据之间的潜在关系，从而形成高性能且易于部署的非线性矩阵补全解决方案。与传统算法相比，基于深度学习与非线性的深度矩阵分解补全网络能够在更短的时间内获得更好的恢复性能，而比起目前流行的基于深度学习的矩阵补全算法，端到端的深度矩阵分解补全网络是基于数据矩阵的全局信息对整个数据文件进行修复，不管是时间上还是修复效果上都能有明显的提升。在数据处理任务中，将深度矩阵分解补全网络与最先进的线性和非线性矩阵补全方法进行了比较。实验结果表明，深度矩阵分解补全网络能够使用更短的时间提供比现有方法更高的矩阵补全精度。
为了说明的目的，前述描述使用具体命名以提供对所述实施方案的透彻理解。然而，对于本领域的技术人员而言将显而易见的是，不需要具体细节即可实践所述实施方案。因此，出于例示和描述的目的，呈现了对本文所述的具体实施方案的前述描述。这些描述并非旨在是穷举性的或将实施方案限制到所公开的精确形式。对于本领域的普通技术人员而言将显而易见的是，鉴于上面的教导内容，许多修改和变型是可行的。另外，当在本文中用于指部件的位置时，上文和下文的术语或它们的同义词不一定指相对于外部参照的绝对位置，而是指部件的参考附图的相对位置。
此外，前述附图和描述包括许多概念和特征，其可以多种方式组合以实现多种有益效果和优点。因此，可组合来自各种不同附图的特征，部件，元件和/或概念，以产生未必在本说明书中示出或描述的实施方案或实施方式。此外，在任何特定实施方案和/或实施方式中，不一定需要具体附图或说明中所示的所有特征，部件，元件和/或概念。应当理解，此类实施方案和/或实施方式落入本说明书的范围。

Claims (8)

1.一种基于深度矩阵分解补全的数据处理方法，其特征在于，包括以下步骤：
S1 构建深度矩阵分解补全模型，所述深度矩阵分解补全模型的核心结构是恢复模块；
S2 在进行观测矩阵的奇异值分解前，对观测矩阵的缺失位置进行预填充；
S3基于Frobenius范数构建所述恢复模块的损失函数；
S4采用VOC数据集对深度矩阵分解补全模型进行训练；
其中，所述S1构建深度矩阵分解补全模型具体包括以下步骤：
S1.1 构建使用低秩矩阵分解的图像矩阵补全模型；
S1.2 使用矩阵分解代替传统的核范数最小化；
所述使用矩阵分解代替传统的核范数最小化的模型用下列公式表示：
Figure 977920DEST_PATH_IMAGE001
（2）
其中，
Figure 50918DEST_PATH_IMAGE002
，
Figure 346770DEST_PATH_IMAGE003
；
对应于公式(2)的增广拉格朗日函数为：
Figure 505219DEST_PATH_IMAGE004
(3)
其中，
Figure 279140DEST_PATH_IMAGE005
是惩罚参数，
Figure 743662DEST_PATH_IMAGE006
是与约束
Figure 944836DEST_PATH_IMAGE007
相对应的拉格朗日乘子；
S1.3 基于交替方向乘子法，每次迭代求解时只优化块变量U,块变量V,拉格朗日乘子S和块变量X中一个变量，同时将其他的变量固定在它们的最新值，以此获得迭代模型，并将该模型映射到神经网络中进行求解；
所述恢复模块包括块变量U更新模块、块变量V更新模块和块变量X更新模块，采用深度学习算法，将变量映射到固定深度的神经网络来实现所述恢复模块的变量更新。
2.一种如权利要求1所述的基于深度矩阵分解补全的数据处理方法，其特征在于，所述S1.1构建使用低秩矩阵分解的图像矩阵补全模型包括：
所述使用低秩矩阵分解的图像矩阵补全模型的通用优化目标用下列公式表示：
Figure 856161DEST_PATH_IMAGE008
（1）
其中，
Figure 433773DEST_PATH_IMAGE009
是观测矩阵；
Figure 481363DEST_PATH_IMAGE010
是想从观测矩阵Y中恢复出来的矩阵，
Figure 119018DEST_PATH_IMAGE011
为正则项系数；
Figure 252059DEST_PATH_IMAGE012
是矩阵X的核范数；
Figure 633362DEST_PATH_IMAGE013
表示Y的观测项的重构误差，其中
Figure 801038DEST_PATH_IMAGE014
表示哈达玛积（Hadamard product），
Figure 609594DEST_PATH_IMAGE015
，若Y在(i,j)位置处缺失数据，则
Figure 964352DEST_PATH_IMAGE016
值为0，否则为1。
3.一种如权利要求1所述的基于深度矩阵分解补全的数据处理方法，其特征在于，S1.3具体包括以下步骤：
S1.3.1 构建块变量U更新模块和块变量V更新模块；
S1.3.2构建块变量X更新模块。
4.一种如权利要求3所述的基于深度矩阵分解补全的数据处理方法，其特征在于，所述S1.3.1 构建块变量U更新模块和块变量V更新模块具体包括：
所述块变量U更新模块和块变量V更新模块的更新公式如下：
Figure 149345DEST_PATH_IMAGE017
其中，
Figure 905949DEST_PATH_IMAGE018
表示卷积神经网络。
5.一种如权利要求3所述的基于深度矩阵分解补全的数据处理方法，其特征在于，所述S1.3.2构建块变量X更新模块具体包括：
通过所述块变量U更新模块和所述块变量V更新模块得到
Figure 619827DEST_PATH_IMAGE019
和
Figure 987180DEST_PATH_IMAGE020
后，拉格朗日乘数
Figure 444706DEST_PATH_IMAGE021
可以通过如下公式更新：
Figure 321395DEST_PATH_IMAGE022
然后，将它们输入到块变量X更新模块，通过以下公式得到
Figure 737333DEST_PATH_IMAGE023
：
Figure 332263DEST_PATH_IMAGE024
最后，块变量X更新模块中的自动编码器的输出
Figure 327900DEST_PATH_IMAGE023
与原始欠采样矩阵进行加权平均运算，如下公式所示：
Figure 324675DEST_PATH_IMAGE025
其中，
Figure 645935DEST_PATH_IMAGE026
为初始欠采样矩阵，
Figure 462581DEST_PATH_IMAGE027
为正则项系数；当图像中某点的像素值缺失，便将网络输出
Figure 793069DEST_PATH_IMAGE023
的对应位置的值直接赋给
Figure 378771DEST_PATH_IMAGE028
；若该点未被破坏，则将网络的输出与图像对应位置的像素值通过加权平均获得最终该位置的重建后的像素值；
Figure 870932DEST_PATH_IMAGE028
是该恢复模块获得的最终结果。
6.一种如权利要求1所述的基于深度矩阵分解补全的数据处理方法，其特征在于，所述S2对观测矩阵的缺失位置进行预填充具体包括：
通过神经网络算法实现预填充，和/或，
通过改进的最近邻均值填充算法实现预填充。
7.一种如权利要求1所述的基于深度矩阵分解补全的数据处理方法，其特征在于，
所述恢复模块的损失函数用下列公式表示：
Figure 440454DEST_PATH_IMAGE029
其中，
Figure 49333DEST_PATH_IMAGE030
为修复模块的网络参数，B为输入网络的样本个数，
Figure 755120DEST_PATH_IMAGE031
和
Figure 418183DEST_PATH_IMAGE032
是正则项系数；
Figure 475001DEST_PATH_IMAGE033
表示第b个样本对应的恢复模块的输出
Figure 944028DEST_PATH_IMAGE034
，
Figure 504322DEST_PATH_IMAGE035
为第b个样本对应的自动编码器的输入
Figure 338286DEST_PATH_IMAGE036
；
Figure 882400DEST_PATH_IMAGE037
和
Figure 827222DEST_PATH_IMAGE038
为第b个样本输出的
Figure 507602DEST_PATH_IMAGE039
和
Figure 246888DEST_PATH_IMAGE040
，
Figure 12719DEST_PATH_IMAGE041
为第b个样本对应的完整图像。
8.一种存储介质，其特征在于，其存储有计算机程序；当所述计算机程序被计算机设备中的处理器执行时，计算机设备执行如权利要求1-7任一项所述的方法。
CN202111454575.7A 2021-12-02 2021-12-02 一种基于深度矩阵分解补全的数据处理方法及存储介质 Active CN113869503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111454575.7A CN113869503B (zh) 2021-12-02 2021-12-02 一种基于深度矩阵分解补全的数据处理方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111454575.7A CN113869503B (zh) 2021-12-02 2021-12-02 一种基于深度矩阵分解补全的数据处理方法及存储介质

Publications (2)

Publication Number Publication Date
CN113869503A CN113869503A (zh) 2021-12-31
CN113869503B true CN113869503B (zh) 2022-03-01

Family

ID=78985447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111454575.7A Active CN113869503B (zh) 2021-12-02 2021-12-02 一种基于深度矩阵分解补全的数据处理方法及存储介质

Country Status (1)

Country Link
CN (1) CN113869503B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817668B (zh) * 2022-04-21 2022-10-25 中国人民解放军32802部队 用于电磁大数据的自动化标注与目标关联方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318227A1 (en) * 2018-04-13 2019-10-17 Fabula Al Limited Recommendation system and method for estimating the elements of a multi-dimensional tensor on geometric domains from partial observations
KR102215702B1 (ko) * 2018-06-04 2021-02-16 한국과학기술원 뉴럴 네트워크를 이용한 자기공명영상 처리 방법 및 그 장치
CN109671030B (zh) * 2018-12-10 2021-04-20 西安交通大学 一种基于自适应秩估计黎曼流形优化的图像补全方法
CN110473151B (zh) * 2019-07-04 2022-05-03 北京航空航天大学 基于分区卷积和关联损失的双阶段图像补全方法及系统
CN111506832B (zh) * 2020-04-20 2023-07-28 郑州信息科技职业学院 一种基于块矩阵补全的异构对象补全方法

Also Published As

Publication number Publication date
CN113869503A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN111666836B (zh) M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111369487B (zh) 一种高光谱和多光谱图像融合方法、系统及介质
CN108734661B (zh) 基于图像纹理信息构建损失函数的高分辨率图像预测方法
CN109087273B (zh) 基于增强的神经网络的图像复原方法、存储介质及系统
CN110175951B (zh) 基于时域一致性约束的视频风格迁移方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN110648292A (zh) 一种基于深度卷积网络的高噪声图像去噪方法
CN112150354B (zh) 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN113870124B (zh) 基于弱监督的双网络互激励学习阴影去除方法
CN112132760B (zh) 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法
Liu et al. Deep adaptive inference networks for single image super-resolution
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN112184547B (zh) 红外图像的超分辨率方法及计算机可读存储介质
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN116402679B (zh) 一种轻量级红外超分辨率自适应重建方法
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
Xu et al. Deep sparse representation based image restoration with denoising prior
CN113869503B (zh) 一种基于深度矩阵分解补全的数据处理方法及存储介质
Jia et al. Dual non-autonomous deep convolutional neural network for image denoising
CN114359039A (zh) 基于知识蒸馏的图像超分方法
Li et al. Flexicurve: Flexible piecewise curves estimation for photo retouching
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN111914904B (zh) 一种融合DarkNet与CapsuleNet模型的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230726

Address after: Room 313-3648, Floor 3, Shanshui Building, No. 3, Gulou East Street, Miyun District, Beijing

Patentee after: Zhonggong Shitong (Beijing) Technology Co.,Ltd.

Address before: Beijing University of architecture, No. 1 zhanzhanguan Road, Xicheng District, Beijing 100066

Patentee before: Beijing University of Civil Engineering and Architecture