CN108765517B - 一种基于凸优化的多张量视觉数据填充方法 - Google Patents
一种基于凸优化的多张量视觉数据填充方法 Download PDFInfo
- Publication number
- CN108765517B CN108765517B CN201810349051.3A CN201810349051A CN108765517B CN 108765517 B CN108765517 B CN 108765517B CN 201810349051 A CN201810349051 A CN 201810349051A CN 108765517 B CN108765517 B CN 108765517B
- Authority
- CN
- China
- Prior art keywords
- tensor
- new
- optimization
- visual data
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于凸优化的多张量视觉数据填充方法,包括以下步骤:从不同设备对同一事物同时采集的K个有缺失的数据集,将其用K个张量X1,X2,…,XK表示;初始化优化变量,并设置最大迭代次数和终止阈值ε;判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续下一步,否则输出;对多张量X1,X2,…,XK采用整合拉普拉斯图和全变差的凸优化方法估算缺失值并利用交替方向乘子法优化算法框架对目标函数进行优化求解,重构新模型X1_new,X2_new,…XK_new;判断重构的K个张量X1_new,X2_new,…XK_new是否满足条件||Xk‑Xk_new||F<ε*||Xk||F,ε>0,如果满足判断条件,则令Xk=Xk_new输出;否则迭代次数加1返回步骤三。该方法从拉普拉斯图的角度来发现多张量数据间的共有关系,结合全变差保留视觉数据的分段平滑属性,提出凸优化的多张量填充的定义和公式。
Description
技术领域
本发明属于数据计算方法,具体是涉及一种基于凸优化的多张量视觉数据填充方法。
背景技术
在我们生活中,高维数据无处不在,例如:彩色图像,视频,医疗图像等。我们在采集这些高维数据的过程中,可能由于设备损坏,不当措施等导致采集到的数据部分缺失。我们称利用已知元素来估计缺失元素的任务为填充任务。矩阵填充任务虽然在处理矩阵数据上取得了有效的成果,但由于处理这些高维数据时会丢失数据的空间结构,故表现不佳。
近年来,单张量填充任务已有大量的研究,但在数据缺失率很大和处理多张量数据填充任务时,表现不佳。在多张量填充任务中,多个数据集使用不同设备同时来自于相同的物体,例如:四个相机设备同时对一个运动物体拍摄。现有的多张量填充模型大多数假设多个数据集之间存在共享因子。之后,Li等人在《Low-Rank Tensor Completion withTotal Variation for Visual Data Inpainting》提出多张量共享邻接图CAG的填充模型。但是以上方法都是非凸的模型,不能达到全局最优解。
发明内容
本发明的目的是为了克服现有技术中的不足,提供一种基于凸优化的多张量视觉数据填充方法,该方法整合拉普拉斯图和全变差到多张量填充,定义了凸优化的多张量填充模型的公式,由于拉普拉斯图能够发掘多个数据集之间的关系,在多视角任务中发挥了重要作用;从拉普拉斯图的角度来发现多张量数据间的共有关系,并结合全变差来保留视觉数据的分段平滑属性,提出了凸优化的多张量填充的定义和公式。
本发明的目的是通过以下技术方案实现的:
一种基于凸优化的多张量视觉数据填充方法,包括以下步骤:
步骤二,初始化优化变量,并设置最大迭代次数和终止阈值ε;
步骤三,判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续进行下一步,否则输出;
进一步的,步骤一中K个不完全张量通过公式(1)获得在共享模式上初始构建的拉普拉斯图L,其中邻接矩阵W采用向量的相似性度量矩阵进行计算;
进一步的,步骤四中整合拉普拉斯图和全变差的凸优化方法通过公式(2)获得目标函数;
其中,引入的优化变量:均为第k个张量的n阶展开对应的优化变量,Fk(n)来代替全变差范数来代替待恢复数据(第k个待恢复张量第n阶展开矩阵);是第k个优化张量在共同模式t(k)下的展开矩阵,即当且仅当n=t(k),是的转置;L代表拉普拉斯图;Rk(n)(i,i)=1,Rk(n)(i,i+1)=-1,Rk(n)矩阵(第k个张量Rk第n阶展开矩阵)的其他元素为0;Ω为与一样大小的索引集,用于存放缺失元素索引,若第k个张量中元素缺失,Ω相应位置为0,否则为1;将观测数据中未缺失的元素(Ω相应位置为1的元素)赋值给待恢复变量βk,n,αk,n均是第k个待恢复张量第n阶展开矩阵的大于0的调谐参数;是第k个观测数据。
其中I是元素都为1的矩阵;
其中,shrinkage操作是收缩阈值操作算子;
其中,foldt(k),foldn操作算子分别是对第t(k)阶和第n阶展开矩阵的反操作,即将展开矩阵合成对应的张量形式;Nk为每个张量的阶数;取第k个观测张量中索引集Ω为1的元素;根据该次迭代后的K个新张量估算模型进行步骤二的拉普拉斯图的重构操作,更新公式中L变量。
与现有技术相比,本发明的技术方案所带来的有益效果是:
本发明通过多张量在共享模式上享有共有的拉普拉斯图来挖掘它们之间的关系,同时考虑了视觉数据由于物体边缘的存在具有分段平滑属性,借用全变差进行保留该属性,进一步对重构的多张量进行了平滑,这两者的整合使得优化问题变为凸优化,计算简单,更加高效。
附图说明
图1是本发明流程示意图。
图2-1至图2-3是利用本发明进行多视角图像填充的结果示意图;其中图2-1、图2-2和图2-3的缺失率分别为0.3、0.5和0.7。
具体实施方式
下面结合附图对本发明作进一步的描述。
下面结合附图对本发明作进一步的描述。
如图1所述,本发明提供一种基于凸优化的多张量视觉数据填充方法,包括如下步骤:
步骤二102,初始化优化变量,并设置最大迭代次数和终止阈值ε。步骤一中K个不完全张量通过公式(1)获得在共享模式上初始构建的拉普拉斯图L,其中邻接矩阵W我们采用向量的相似性度量矩阵进行计算;
步骤三103,判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续进行下一步,否则输出;
其中,为了求解方便,引入多个优化变量:都为第k个张量的n阶展开对应的优化变量,Fk(n)来代替全变差范数来代替待恢复数据(第k个待恢复张量第n阶展开矩阵);是第k个优化张量在共同模式t(k)下的展开矩阵,即当且仅当n=t(k),是的转置;L代表拉普拉斯图;Rk(n)(i,i)=1,Rk(n)(i,i+1)=-1,Rk(n)矩阵(第k个张量Rk第n阶展开矩阵)的其他元素为0。Ω为与一样大小的索引集,用于存放缺失元素索引,若第k个张量中元素缺失,Ω相应位置为0,否则为1;将观测数据中未缺失的元素(Ω相应位置为1的元素)赋值给待恢复变量βk,n,αk,n都是第k个待恢复张量第n阶展开矩阵的大于0的调谐参数;是第k个观测数据。可以看到这是一个凸优化问题,可达到全局最优解。
其中I是元素都为1的矩阵。
其中,shrinkag操作是收缩阈值操作算子。具体可参考文献《Low-Rank TensorCompletion with Total Variation for Visual Data Inpainting》
其中,foldt(k),foldn操作算子分别是对第t(k)阶和第n阶展开矩阵的反操作,即将展开矩阵合成对应的张量形式;Nk为每个张量的阶数;取第k个观测张量中索引集Ω为1的元素;根据该次迭代后的K个新张量估算模型进行步骤二的拉普拉斯图的重构操作,更新公式中L变量。
实验例1:
通过将本发明方法在实际多视角图像数据集INRIA Xmas Motion AcquisitionSequences(IXMAS)上的运行,显示其有效性。其中数据集来源于:
http://4drepository.inrialpes.fr/public/viewgroup/6
对比算法包括:MTCSS、LRTC-MCCA。
缺失率为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9;运行的结果如图2-1至图2-3所示。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案,上述的具体实施方式仅仅是示意性的,并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下,本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换,这些均属于本发明的保护范围之内。
Claims (3)
1.一种基于凸优化的多张量视觉数据填充方法,其特征在于,包括以下步骤:
步骤二,初始化优化变量,并设置最大迭代次数和终止阈值ε;
步骤三,判断循环迭代次数是否小于最大迭代次数,如果满足条件,继续进行下一步,否则输出;
步骤四,对多张量视觉数据采用整合拉普拉斯图构建缺失视觉数据像素之间的相关关系,并采用全变差对多张量视觉数据进行图像边缘的平滑处理,二者结合作为凸优化方法来估算多张量视觉数据的缺失值,并利用交替方向乘子法优化算法框架对目标函数进行优化求解,重构新模型
3.根据权利要求1所述的一种基于凸优化的多张量视觉数据填充方法,其特征在于,步骤四中整合拉普拉斯图和全变差的凸优化方法通过公式(2)获得目标函数;
其中,引入的优化变量:Fk(n),均为第k个张量的n阶展开对应的优化变量,Fk(n)来代替全变差范数来代替待恢复数据即第k个待恢复张量第n阶展开矩阵;是第k个优化张量在共同模式t(k)下的展开矩阵,即当且仅当n=t(k),是的转置;L代表拉普拉斯图;Rk(n)(i,i)=1,Rk(n)(i,i+1)=-1,Rk(n)矩阵的其他元素为0,Rk(n)矩阵表示第k个张量Rk第n阶展开矩阵;Ω为与一样大小的索引集,用于存放缺失元素索引,若第k个张量中元素缺失,Ω相应位置为0,否则为1;将观测数据中未缺失的元素赋值给待恢复变量未缺失的元素即为Ω相应位置为1的元素;βk,n,αk,n均是第k个待恢复张量第n阶展开矩阵的大于0的调谐参数;是第k个观测数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810349051.3A CN108765517B (zh) | 2018-04-18 | 2018-04-18 | 一种基于凸优化的多张量视觉数据填充方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810349051.3A CN108765517B (zh) | 2018-04-18 | 2018-04-18 | 一种基于凸优化的多张量视觉数据填充方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108765517A CN108765517A (zh) | 2018-11-06 |
CN108765517B true CN108765517B (zh) | 2022-09-02 |
Family
ID=64011121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810349051.3A Expired - Fee Related CN108765517B (zh) | 2018-04-18 | 2018-04-18 | 一种基于凸优化的多张量视觉数据填充方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108765517B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298798B (zh) * | 2019-06-20 | 2021-02-19 | 浙江工业大学 | 一种基于低秩张量补全与离散全变分的图像修复方法 |
CN112116532B (zh) * | 2020-08-04 | 2022-07-12 | 西安交通大学 | 一种基于张量块循环展开的彩色图像补全方法 |
CN113177608B (zh) * | 2021-05-21 | 2023-09-05 | 河南大学 | 一种针对不完整数据的近邻模型特征选择方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2869260A1 (en) * | 2013-10-29 | 2015-05-06 | Thomson Licensing | Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth |
CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
CN107220211A (zh) * | 2016-12-14 | 2017-09-29 | 北京理工大学 | 一种融合张量填充和张量恢复的数据重建方法 |
CN107609580A (zh) * | 2017-08-29 | 2018-01-19 | 天津大学 | 一种直推式的低秩张量判别性分析方法 |
-
2018
- 2018-04-18 CN CN201810349051.3A patent/CN108765517B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2869260A1 (en) * | 2013-10-29 | 2015-05-06 | Thomson Licensing | Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth |
CN107220211A (zh) * | 2016-12-14 | 2017-09-29 | 北京理工大学 | 一种融合张量填充和张量恢复的数据重建方法 |
CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
CN107609580A (zh) * | 2017-08-29 | 2018-01-19 | 天津大学 | 一种直推式的低秩张量判别性分析方法 |
Non-Patent Citations (2)
Title |
---|
Generalized Tensor Total Variation minimization for visual data recovery;Xiaojie Guo,et al;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151015;正文第3603-3611页 * |
基于张量表达的视觉跟踪算法研究;黄梁华;《中国优秀硕士学位论文全文数据库》;20161115;I138-241 * |
Also Published As
Publication number | Publication date |
---|---|
CN108765517A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
Simon et al. | Rethinking the CSC model for natural images | |
Darbon et al. | Fast nonlocal filtering applied to electron cryomicroscopy | |
CN108765517B (zh) | 一种基于凸优化的多张量视觉数据填充方法 | |
CN109241491A (zh) | 基于联合低秩和稀疏表示的张量结构性缺失填充方法 | |
CN105631807B (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
CN109360157B (zh) | 基于tv和小波正则化的空间变化模糊图像复原方法 | |
CN108765330A (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
CN109461122A (zh) | 一种基于多视点图像的压缩感知图像重建方法 | |
CN111340697A (zh) | 一种基于聚类回归的图像超分辨方法 | |
CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
Yang et al. | Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors | |
CN114170080A (zh) | 基于非凸低秩张量近似的图像超分辨率重建系统 | |
CN108876750B (zh) | 一种基于非局部相似性低秩矩阵的图像去除泊松噪声的方法 | |
CN110223243A (zh) | 基于张量的非局部自相似和低秩正则的张量修复方法 | |
Umer et al. | Deep iterative residual convolutional network for single image super-resolution | |
CN111626948B (zh) | 一种基于图像补的低光子泊松图像复原方法 | |
CN111028168A (zh) | 一种含噪声模糊的高能闪光图像去模糊方法 | |
CN116309077A (zh) | 基于空域可变模糊核估计的图像盲超分辨率重建方法 | |
Yao et al. | MTKDSR: Multi-teacher knowledge distillation for super resolution image reconstruction | |
CN111462014B (zh) | 一种基于深度学习和模型驱动的单图去雨方法 | |
CN114627010A (zh) | 一种基于染色密度图的染色空间迁移方法 | |
Nayak et al. | Spatial super resolution based image reconstruction using HIBP | |
CN111397733A (zh) | 一种单/多帧快照式光谱成像方法、系统及介质 | |
CN115131210B (zh) | 基于精准核估计的交替优化图像盲超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220902 |