CN110688605A - 一种基于柯西分布张量分解的数据重建方法 - Google Patents
一种基于柯西分布张量分解的数据重建方法 Download PDFInfo
- Publication number
- CN110688605A CN110688605A CN201910432452.XA CN201910432452A CN110688605A CN 110688605 A CN110688605 A CN 110688605A CN 201910432452 A CN201910432452 A CN 201910432452A CN 110688605 A CN110688605 A CN 110688605A
- Authority
- CN
- China
- Prior art keywords
- tensor
- data
- optimization function
- noise
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000013256 coordination polymer Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 9
- 238000004088 simulation Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 29
- 238000011084 recovery Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002939 conjugate gradient method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 125000002091 cationic group Chemical group 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Quality & Reliability (AREA)
- Pure & Applied Mathematics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于柯西(Cauthy)分布张量分解的数据重建方法,包括:利用Cauthy分布建立受噪声污染的待重建数据的噪声张量模型;基于所述张量模型建立低秩张量的第一优化函数,所述低秩张量在所述噪声张量模型中表示真实数据;通过张量分解将所述第一优化函数优化为第二优化函数;求解所述第二优化函数,得出所述低秩张量。该算法采用Cauthy分布模拟数据中的实际噪声,与普通方法相比,更为鲁棒,且能在污染数据及丢失数据同时存在的情况下计算张量分解,进而对不可靠高维数据进行修补。本发明可广泛被应用图像重建、交通数据重建以及视频前景提取等。
Description
技术领域
本发明涉及数据处理领域,具体地涉及一种基于柯西(Cauthy)分布张量分解的数据重建方法。
背景技术
大规模数据的分析与处理在当今的社会生活与科学研究中占据着越来越重要的地位。大数据在提供更加丰富的信息的同时,也大大增加了学习和研究数据的成本。更具挑战性的问题是,这些大规模数据中往往含有空缺元素、大的误差、损毁等,这为分析和处理这些大规模数据进一步带来了困难。这种现象在很多实际应用中十分常见。医用数据,调查表中的数据都呈现这种现象,特别是工业界方面的数据,缺失现象和数据污染现象更为严重。
现实世界中的数据往往表现出较强的多模式特性,这就使得基于向量形式和矩阵形式的“平面处理方法”难以解决很多现实世界中的数据恢复和填充问题,处理高维数据的数据缺失和数据污染问题,现有技术中主要的方法是基于张量填充和恢复的方法。
张量填充求解方法主要分为两种:基于张量分解的优化模型以及基于张量迹范数的凸优化模型。张量分解模型主要是基于张量的CP分解和Tucker分解的方法,其往往通过最小化观测到的元素与张量分解所得因子重建后所形成张量对应元素之间的F范数求解,而F范数在鲁棒性方面较差,这使得当数据中存在大的误差、损毁时,该类方法往往会失效。另外一种方法是基于刘霁等人提出的张量迹范数进行求解(Liu J,Musialski P,Wonka P,et al.Tensor completion for estimating missing values in visual data[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2013,35(1):208-220.),刘霁等人第一次提出了张量迹范概念,并将张量填充方法转化为凸优化问题。
张量恢复的方法大多也是在基于迹范数的优化问题基础上,将矩阵分解恢复方法RPCA向张量框架延伸,通过定义张量1范数来表征数据中的稀疏噪声,进行求解。
现实世界中的数据除了数据缺失的问题,还往往受到多种形式的数据污染,大致上,数据的污染形式可分为4种形式:1.密集小噪声,2.密集大噪声,3.稀疏小噪声,4.稀疏大噪声。基于F范数(对应于高斯分布估计)的方法往往一般只能解决小噪声,在大噪声情况下会失效,基于1范数(对应于拉普拉斯分布估计)的方法往往在稀疏噪声情况下效果比较好,目前在压缩感知和2维主成分分析领域的研究成果表明,采用柯西分布表征噪声的方法相较于传统基于F范数和1范数,在处理稀疏大噪声和密集小噪声同时存在的情况下恢复效果更佳。
发明内容
针对上述问题,本发明提出一种基于柯西(Cauthy)分布张量分解的数据重建方法,用以解决高维数据在复杂噪声环境下的填充和恢复问题。
本发明提供了一种基于柯西Cauthy分布张量分解的数据重建方法,包括:利用Cauthy分布建立受噪声污染的待重建数据的噪声张量模型;基于所述噪声张量模型建立低秩张量的第一优化函数,所述低秩张量在所述噪声张量模型中表示真实数据;通过张量分解将所述第一优化函数优化为第二优化函数;以及求解所述第二优化函数,得出所述低秩张量。
优选地,利用Cauthy分布建立受噪声污染的待重建数据的噪声张量模型的步骤包括:假设所述待重建数据中的高维数据受到的噪声服从于柯西分布,假设位置参数为0,建立噪声张量模型如下:
优选地,基于所述张量模型建立低秩张量的第一优化函数的步骤包括:
s:t:rank(Li)<ri
优选地,通过张量分解将所述第一优化函数优化为第二优化函数的步骤包括:利用CP分解将所述第一优化函数优化为第二优化函数;或利用Tucker分解将所述第一优化函数优化为第二优化函数。
优选地,利用Tucker分解将所述第一优化函数优化为第二优化函数的步骤包括:假设所述低秩张量服从Tucker分解形式其中,为核张量,A1,A2,......,An是因子矩阵,将所述第一优化函数优化为第二优化函数如下:
优选地,求解所述第二优化函数,得出所述低秩张量的步骤包括:首先对求梯度,再分别对A1,A2,......,An求梯度,再利用非线性共轭梯度法方法对所述第二优化函数求解,当算法收敛后得到以及填充了丢失数据和恢复噪声后的低秩张量
有益效果:
本发明公开的基于柯西(Cauthy)分布张量分解的数据重建方法与传统张量恢复算法相比,有着三个显著优势,第一,可以在大规模丢失数据和复杂噪声同时存在的情况下仍然工作,第二,基于柯西分布的方法可以有效处理稀疏噪声与密集噪声同时存在的情况,第三,相较于基于迹范数和1范数最小化的算法,该算法基于张量分解,能更好地表征数据的内部潜在结构。本发明的基于柯西(Cauthy)分布张量分解的数据重建方法,首次将柯西分布引入到多维张量分析的领域之中,并基于Cauthy分布推导出应用于数据重建的张量分解算法,该算法可以解决大幅度稀疏噪声和密集噪声同时存在的情况下张量分解的问题,并且可以同时解决丢失数据重建和受污染数据恢复等问题。
附图说明
图1(a)是根据本发明实施例的噪声图像;
图1(b)是根据本发明实施例的受到50%幅值为(-50,50)的噪声的污染图像;
图1(c)是根据本发明实施例的CTD所恢复的图像;
图1(d)是根据本发明实施例的RSTD所恢复的图像;
图2是根据本发明实施例的CT图像的恢复结果,从左至右,依次为原图像,受污染图像,CTD恢复图像,RSTD恢复图像;
图3(b)是根据本发明实施例的利用CTD算法对图3(a)进行恢复获得的图像;
图4是根据本发明实施例的前景提取的实验结果,由上至下依次为:原视频,CTD前景提取结果(模式秩(2,2,2,2)),CTD前景提取结果(模式秩(3,3,3,3)),RSTD前景提取结果。
图5是根据本发明实施例的基于柯西张量分解的数据重建方法的流程图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
基于Cauthy分布张量分解的数据重建方法具体包括如下步骤:1)利用Cauthy分布建立待重建数据的受污染噪声模型;2)在噪声模型基础上建立基于Tucker分解的张量分解优化模型。
具体实施过程如下:首先,我们假设待重建数据中高维数据受到的噪声服从于柯西分布,假设位置参数为0,我们可得下式:
s:t:rank(Li)<ri
应当理解,将低秩张量的第一优化函数优化为其第二优化函数的处理实际上是通过对低秩张量进行张量分解得到的,除了Tucker分解之外,还可以采用任何适合张量分解的技术,比如CP(Canonical Polyadic)分解等技术。
求得梯度后,我们再利用非线性共轭梯度法等方法求解,待算法收敛后即可得到
本算法的伪代码如下:
图5是根据本发明实施例的基于柯西张量分解的数据重建方法的流程图。
通过上面的阐述,可以总结出根据本发明实施例的基于柯西张量分解的数据重建方法的流程,如图5所示:
首先,利用柯西分布建立受噪声污染的待重建数据的噪声张量模型。
其次,基于所述张量模型建立低秩张量的第一优化函数,所述低秩张量在所述噪声张量模型中表示真实数据;
再次,通过张量分解将所述第一优化函数优化为第二优化函数;以及
最后,求解所述第二优化函数,得出所述低秩张量。
上述四个步骤中的变化和/或替换如上文所示,在此不再赘述。
下面,结合具体应用实例,来介绍本发明的特点和技术效果。
(一)图像填充和恢复
现实世界中的图像经常同时受到密集小规模噪声以及稀疏冲击噪声的影响,丢失数据现象也往往同时存在,本发明公开的算法CTD可以同时处理丢失数据和这一复杂情况下的噪声,还原图像。发明人将本算法对图像与CT图像上的恢复与文献(Li,Y.,Yan,J.,Zhou,Y.,&Yang,J.(2010).Optimum subspace learning and error correctionfor tensors.In Computer Vision–ECCV 2010(pp.790-803).Springer BerlinHeidelberg.)公开的算法RSTD进行了对比。对于普通图像,其本身RGB三个通道就天然构成了一个三维张量,对于本发明公开的算法CTD,各模式秩分别设为[25,25,2],RSTD算法设置参照上述文献进行,对于脑部CT图像,我们将180张图像合并到一起,构建为四维张量,CTD的各模式秩为[18,20,20,2]。张量恢复误差(RSE)与算法RSTD的对比结果如表1,2所示,恢复效果如图1和图2所示。其中,图1a表示噪声图像,图1b表示受到50%幅值为(-50,50)的噪声的污染图像,图1c表示CTD所恢复的图像,图1d表示RSTD所恢复的图像,显然CTD图像恢复了更多的图像原有信息。
表二:CT图像张量恢复结果
噪声比例 | 噪声幅值 | RSE(CTD) | RSE(RSTD) |
0.5 | (-10,10) | 0.0036 | 0.0207 |
0.9 | (-10,10) | 0.0050 | 0.0210 |
0.1 | (-50,50) | 0.0154 | 0.0474 |
0.3 | (-50,50) | 0.0185 | 0.1205 |
0.5 | (-50,50) | 0.1705 | 0.1983 |
由实验结果明显可知,CTD能更为准确地恢复图像之中的噪声。CTD与传统方法相比的一大优势在于其能在大规模丢失数据和复杂噪声同时存在的情况下仍然可以工作,如图3所示,当图像丢失了80%的数据,且观测数据受到百分之三十幅值为(-50,50)的噪声污染时,本发明公开的算法仍然能够较为准确地恢复出图像的主要信息,这说明本发明公开的方法能够在极端情况下仍然能够工作。
本发明提出的基于柯西分布的张量分解算法不仅可以应用于图像重建中,还可以应用于视频的前景提取以及交通数据的恢复中。
(二)图像前景提取
对于CTD的前景提取,我们首先假设视频数据受到噪声污染,利用CTD对视频进行恢复得到算法输出低秩张量,即可看作视频的背景,原张量即为所提取的前景,在背景为动态的视频上与RSTD的比较结果如图4所示,显然本发明提出的算法CTD前景提取效果更好,值得注意的是将秩设为较高的[3,3,3,3]效果比将秩设为[2,2,2,2]效果更佳,其原因在于本视频背景为动态的湖面,较为复杂,各模式仅使用两个主成分远远不足以描述视频的背景。
(三)交通数据恢复
在交通数据处理上,我们参照文献将交通数据构建为张量形式(Tan,H.,Feng,G.,Feng,J.,Wang,W.,Zhang,Y.J.,&Li,F.(2013).A tensor-based method for missingtraffic data completion.Transportation Research Part C:Emerging Technologies,28,15-27.)。同样是数据受到大规模污染情况下,将基于本发明的CTD算法对数据的恢复与RSTD进行比较实验,实验效果如图5所示。显然在大规模噪声同时存在的情况下,基于Cauthy分布的CTD算法有着比RSTD更佳的恢复效果。
本领域的普通技术人员可以理解,上述应用实例仅是为了加深理解给出的具体示例,并非对本发明应用领域和具体实施方式的限定。
Claims (7)
1.一种基于柯西分布张量分解的数据重建方法,其特征在于,包括如下步骤:
(1)、利用柯西分布建立受噪声污染的待重建数据的噪声张量模型;
(2)、基于所述噪声张量模型建立低秩张量的第一优化函数,所述低秩张量在所述噪声张量模型中表示真实数据;
(3)、通过张量分解将所述第一优化函数优化为第二优化函数;
(4)、求解所述第二优化函数,得出所述低秩张量。
4.根据权利要求1所述的基于柯西分布张量分解的数据重建方法,其特征在于,通过张量分解将所述第一优化函数优化为第二优化函数的步骤为括:
利用CP分解将所述第一优化函数优化为第二优化函数;或利用Tucker分解将所述第一优化函数优化为第二优化函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910432452.XA CN110688605A (zh) | 2019-05-23 | 2019-05-23 | 一种基于柯西分布张量分解的数据重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910432452.XA CN110688605A (zh) | 2019-05-23 | 2019-05-23 | 一种基于柯西分布张量分解的数据重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110688605A true CN110688605A (zh) | 2020-01-14 |
Family
ID=69108092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910432452.XA Pending CN110688605A (zh) | 2019-05-23 | 2019-05-23 | 一种基于柯西分布张量分解的数据重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110688605A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310117A (zh) * | 2020-01-19 | 2020-06-19 | 东南大学 | 一种基于张量火车分解模型的交通大数据填充方法 |
CN111640298A (zh) * | 2020-05-11 | 2020-09-08 | 同济大学 | 交通数据填充方法、系统、存储介质及终端 |
CN113064126A (zh) * | 2021-03-30 | 2021-07-02 | 南京信息工程大学 | 冲击噪声下基于张量分解和K-means聚类的MIMO雷达阵列诊断方法 |
CN115956944A (zh) * | 2021-10-09 | 2023-04-14 | 复旦大学 | 一种基于Cauchy-RPCA的随机空间下采样超声微血流成像方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220211A (zh) * | 2016-12-14 | 2017-09-29 | 北京理工大学 | 一种融合张量填充和张量恢复的数据重建方法 |
CN109596543A (zh) * | 2018-11-25 | 2019-04-09 | 西安建筑科技大学 | 粒子群优化多核支持向量回归的光谱反射率重建方法 |
-
2019
- 2019-05-23 CN CN201910432452.XA patent/CN110688605A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107220211A (zh) * | 2016-12-14 | 2017-09-29 | 北京理工大学 | 一种融合张量填充和张量恢复的数据重建方法 |
CN109596543A (zh) * | 2018-11-25 | 2019-04-09 | 西安建筑科技大学 | 粒子群优化多核支持向量回归的光谱反射率重建方法 |
Non-Patent Citations (2)
Title |
---|
伍元凯: "基于动态张量填充的短时交通流预测研究", 《中国优秀博硕士学位论文全文数据库(硕士),工程科技Ⅱ辑》 * |
梅金金: "基于正则化方法的图像复原与融合研究", 《中国优秀博硕士学位论文全文数据库(博士),信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310117A (zh) * | 2020-01-19 | 2020-06-19 | 东南大学 | 一种基于张量火车分解模型的交通大数据填充方法 |
CN111640298A (zh) * | 2020-05-11 | 2020-09-08 | 同济大学 | 交通数据填充方法、系统、存储介质及终端 |
CN113064126A (zh) * | 2021-03-30 | 2021-07-02 | 南京信息工程大学 | 冲击噪声下基于张量分解和K-means聚类的MIMO雷达阵列诊断方法 |
CN115956944A (zh) * | 2021-10-09 | 2023-04-14 | 复旦大学 | 一种基于Cauchy-RPCA的随机空间下采样超声微血流成像方法 |
CN115956944B (zh) * | 2021-10-09 | 2024-06-28 | 复旦大学 | 一种基于Cauchy-RPCA的随机空间下采样超声微血流成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110688605A (zh) | 一种基于柯西分布张量分解的数据重建方法 | |
CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
Tang et al. | Single image dehazing via lightweight multi-scale networks | |
CN102208100B (zh) | 基于Split Bregman 迭代的全变差正则化图像盲复原方法 | |
CN107507277B (zh) | 三维点云重构方法和装置、服务器及可读存储介质 | |
CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
Wang et al. | Lightweight single image super-resolution convolution neural network in portable device. | |
CN103426190B (zh) | 图像重构的方法及系统 | |
CN102096915B (zh) | 一种基于精准图像拼接的摄像机镜头去污方法 | |
CN110519595A (zh) | 一种基于频域量化损失估计的jpeg压缩图像复原方法 | |
CN104574331A (zh) | 一种数据处理方法、装置、计算机存储介质及用户终端 | |
Hang et al. | Attention cube network for image restoration | |
CN113192113A (zh) | 双目视觉特征点匹配方法、系统、介质及电子设备 | |
Xia et al. | Meta-learning-based degradation representation for blind super-resolution | |
Shen et al. | RSHAN: Image super-resolution network based on residual separation hybrid attention module | |
CN107742278A (zh) | 结合l0范数和空间尺度信息的运动模糊图像盲复原方法 | |
Zhang et al. | Sparse reconstruction method based on starlet transform for high noise astronomical image denoising | |
CN114022381B (zh) | 一种双目图像自修复网络模型的训练方法 | |
Wang et al. | Image inpainting based on structural tensor edge intensity model | |
CN114219706A (zh) | 基于网格分区特征点约减的图像快速拼接方法 | |
Nie et al. | Image restoration from patch-based compressed sensing measurement | |
CN105938615A (zh) | 基于特征导向gmm和边缘图像的图像配准方法及系统 | |
Ma et al. | Hybrid attention transformer with re-parameterized large kernel convolution for image super-resolution | |
CN106530259B (zh) | 一种基于多尺度散焦信息的全聚焦图像重建方法 | |
Wei et al. | Image registration algorithm based on super pixel segmentation and SURF feature points |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200114 |