CN111028164A - 基于非局部统计本征的单像素成像重建方法及装置 - Google Patents

基于非局部统计本征的单像素成像重建方法及装置 Download PDF

Info

Publication number
CN111028164A
CN111028164A CN201911190665.2A CN201911190665A CN111028164A CN 111028164 A CN111028164 A CN 111028164A CN 201911190665 A CN201911190665 A CN 201911190665A CN 111028164 A CN111028164 A CN 111028164A
Authority
CN
China
Prior art keywords
image
blocks
optimization
reconstructed
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911190665.2A
Other languages
English (en)
Inventor
边丽蘅
常旭阳
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911190665.2A priority Critical patent/CN111028164A/zh
Publication of CN111028164A publication Critical patent/CN111028164A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于非局部统计本征的单像素成像重建方法及装置，其中，方法包括：对场景图像进行初始化重建，得到重建图像；从重建图像中选取样例子图像块；对重建图像进行分块，并在全局范围内匹配与样例图像块结构满足预设条件的子图像块，构成图像块集合；对图像块集合进行低秩优化，得到低秩优化后的图像子块集合；使用压缩感知方法和图像子块集合对重建图像进行优化更新；重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。该方法充分利用了图像的非局部自相似性和整幅图像的冗余属性，可有效提高单像素成像重建的精度；并具有压缩感知理论的支撑，实现方案简单且有效，能够较好的实现单像素成像重建。

Description

基于非局部统计本征的单像素成像重建方法及装置
技术领域
本发明涉及计算摄像学技术领域，特别涉及一种基于非局部统计本征的单像素成像重建方法及装置。
背景技术
随着如今人们对于信息需求量的增加，图像的信息量也越来越大，这给图像信号的传输、储存带来了极大的挑战。传统的成像系统使用二维阵列探测器，每个空间位置都对应各自的图像传感单元，数据采集量大。在图像压缩的过程中，许多传感单元的采样数据最后被抛弃，造成了大量采样资源的浪费，上述问题亟待解决。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的：
近年来，Donoho和Candes等人提出的压缩感知理论将采样与压缩同步进行。压缩感知理论通过挖掘信号信息的冗余性，在采样过程中，不是获取图像的全部像素采样值，而是获取一个随机的部分采样像素，然后从这些随机的部分采样像素重建原始图像。将压缩感知理论用于成像系统可以显著减少传感器数量，提高传感器的利用率。目前，压缩感知理论最重要的研究成果之一就是单像素成像系统。
单像素成像系统中使用数字微镜阵列(DMD)取代了传统相机的CCD和CMOS图像传感器。DMD是由一系列可驱动的微小镜面组成。通过计算机编程可以控制每个微镜的打开或者关闭。微镜打开则入射到微镜的光线会由透镜聚焦到单个光敏二极管上，微镜关闭则无法反射入射的光线。聚焦到光敏二极管的光线会改变光敏二极管两端的电压值，再经过一系列处理后转换成图像的测量值。它蕴含图像的信息，等价于图像的像素值。重复m次这样的测量，就能得到m个像素的采样点。由于该系统直接获取的是m次随机线性测量值，而不是获取原始信号的n个像素值(m<n)，为单像素相机拍摄高质量图像提供了可能。
从上述的单像素成像系统的测量值重建恢复原始图像的方法也是目前研究的重点。常用的重建方法总体分为三大类：基于线性相关的重建、基于压缩感知的重建、以及基于深度学习的重建。本发明实施例提出的方法利用图像在不同区域的结构自相似性，通过非局部低秩正则化的方法来充分挖掘图像结构的冗余信息，从而实现单像素成像的高质量重建。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于非局部统计本征的单像素成像重建方法，该方法充分利用图像的自相似性并通过非局部低秩正则化的方法来充分开发图像结构的稀疏性，从而实现单像素成像的重建。
本发明的另一个目的在于提出一种基于非局部统计本征的单像素成像重建装置。
为达到上述目的，本发明一方面实施例提出了一种基于非局部统计本征的单像素成像重建方法，包括以下步骤：对场景图像进行初始化重建，得到重建图像；从所述重建图像中选取样例子图像块；对所述重建图像进行分块，并在全局范围内匹配与所述样例图像块结构满足预设条件的子图像块，构成图像块集合；对所述图像块集合进行低秩优化，得到低秩优化后的图像子块集合；使用压缩感知方法和所述图像子块集合对所述重建图像进行优化更新；重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。
本发明实施例的基于非局部统计本征的单像素成像重建方法，实现了在单像素成像系统中从采集到的一维测量值高质量地重建场景二维图像，充分利用了图像的非局部自相似性和整幅图像的冗余属性，可有效提高单像素成像重建的精度；具有压缩感知理论的支撑，实现方案简单且有效，能够较好的实现单像素成像重建。
另外，根据本发明上述实施例的基于非局部统计本征的单像素成像重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述对场景图像进行初始化重建，得到重建图像，进一步包括：通过光调制矩阵A和测量向量b对所述场景图像x进行初始化重建，在其满足单像素成像模型Ax＝b时，得到重建图像。
进一步地，在本发明的一个实施例中，所述对所述重建图像进行分块，并在全局范围内匹配与所述样例图像块结构满足预设条件的子图像块，构成图像块集合，进一步包括：将所述重建图像分块成多个n×n的子图像块，其中，n为正整数；计算每个子图像块与所述样例图像块的相似度，并选取相似度大于等于预设阈值的图像块构成所述图像块集合。
进一步地，在本发明的一个实施例中，在对所述图像块集合进行低秩优化时，使用非凸的log-det重加权函数作为替代函数。
进一步地，在本发明的一个实施例中，优化目标变为：
Figure BDA0002293486730000021
其中，L是关于Li,ε的函数，Li为相似矩阵项，U为对
Figure BDA0002293486730000022
进行特征值分解得到的正交矩阵，Σ是特征值分解得到的对角矩阵，其对角元素是矩阵
Figure BDA0002293486730000023
的特征值；ε是一个足够小的常数。
进一步地，在本发明的一个实施例中，低秩优化函数为：
Figure BDA0002293486730000031
其中，η和λ为参数。
进一步地，在本发明的一个实施例中，在使用所述压缩感知方法和所述图像子块集合对所述重建图像进行优化更新时，使用交替方向乘子法求解多变量优化问题，公式为：
Figure BDA0002293486730000032
其中，z是辅助变量，μ是拉格朗日乘数，β是一个正数，b为测量向量，A为光调制矩阵，Xi为数据矩阵。
为达到上述目的，本发明另一方面实施例提出了一种基于非局部统计本征的单像素成像重建装置，包括：初始化模块，用于对场景图像进行初始化重建，得到重建图像；选取模块，用于从所述重建图像中选取样例子图像块；分块模块，用于对所述重建图像进行分块，并在全局范围内匹配与所述样例图像块结构满足预设条件的子图像块，构成图像块集合；低秩优化模块，用于对所述图像块集合进行低秩优化，得到低秩优化后的图像子块集合；优化更新模块，用于使用压缩感知方法和所述图像子块集合对所述重建图像进行优化更新；迭代更新模块，用于重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。
本发明实施例的基于非局部统计本征的单像素成像重建装置，实现了在单像素成像系统中从采集到的一维测量值高质量地重建场景二维图像，充分利用了图像的非局部自相似性和整幅图像的冗余属性，可有效提高单像素成像重建的精度；具有压缩感知理论的支撑，实现方案简单且有效，能够较好的实现单像素成像重建。
另外，根据本发明上述实施例的基于非局部统计本征的单像素成像重建装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述初始化模块进一步用于通过光调制矩阵A 和测量向量b对所述场景图像x进行初始化重建，在其满足单像素成像模型Ax＝b时，得到重建图像。
进一步地，在本发明的一个实施例中，所述分块模块进一步用于将所述重建图像分块成多个n×n的子图像块，其中，n为正整数；计算每个子图像块与所述样例图像块的相似度，并选取相似度大于等于预设阈值的图像块构成所述图像块集合。
进一步地，在本发明的一个实施例中，在对所述图像块集合进行低秩优化时，使用非凸的log-det重加权函数作为替代函数。
进一步地，在本发明的一个实施例中，优化目标变为：
Figure BDA0002293486730000041
其中，L是关于Li,ε的函数，Li为相似矩阵项，U为对
Figure BDA0002293486730000042
进行特征值分解得到的正交矩阵，Σ是特征值分解得到的对角矩阵，其对角元素是矩阵
Figure BDA0002293486730000043
的特征值；ε是一个足够小的常数。
进一步地，在本发明的一个实施例中，低秩优化函数为：
Figure BDA0002293486730000044
其中，η和λ为参数。
进一步地，在本发明的一个实施例中，在使用所述压缩感知方法和所述图像子块集合对所述重建图像进行优化更新时，使用交替方向乘子法求解多变量优化问题，公式为：
Figure BDA0002293486730000045
其中，z是辅助变量，μ是拉格朗日乘数，β是一个正数，b为测量向量，A为光调制矩阵，Xi为数据矩阵。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于非局部统计本征的单像素成像重建方法的流程图；
图2为根据本发明实施例的非局部统计本征的单像素成像重建方法核心步骤流程图；
图3为根据本发明实施例的相似块匹配示意图；
图4为根据本发明实施例的相似块集合低秩优化流程图；
图5为根据本发明实施例的利用低秩优化后的子块重建图像流程图；
图6为根据本发明实施例的基于非局部统计本征的单像素成像重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在单像素成像系统中，成像目标经光路系统最终形成光敏二极管两端的电压值，再经过处理后转换成成像目标的测量值；重复m次这样的测量，得到m个像素的采样点。本发明实施例的目的在于利用这m个像素采样点恢复重建原始的图像。在这个过程中，利用了图像的非局部自相似性和整幅图像的冗余属性，并通过低秩正则化的方法来充分开发图像结构的稀疏性从而实现高质量的单像素成像重建。
下面参照附图描述根据本发明实施例提出的基于非局部统计本征的单像素成像重建方法及装置，首先将参照附图描述根据本发明实施例提出的基于非局部统计本征的单像素成像重建方法。
图1是本发明一个实施例的基于非局部统计本征的单像素成像重建方法的流程图。
如图1所示，该基于非局部统计本征的单像素成像重建方法，充分利用整幅图像的非局部冗余信息提升单像素成像重建质量，其中，方法包括以下步骤：
在步骤S101中，对场景图像进行初始化重建，得到重建图像。
可以理解的是，本发明实施例获取初始迭代的重建图像，具体地：通过单像素成像系统中的光调制矩阵
Figure BDA0002293486730000051
与测量向量
Figure BDA0002293486730000052
对场景图像
Figure BDA0002293486730000053
进行初始化重建，使其满足单像素成像模型Ax＝b,得到一幅用于初始迭代的重建图像x0。
具体而言，本发明实施例先使用一般的重建方法对一维场景的测量值进行重建，获取一幅用于初始迭代的重建图像x0，具体如下：
在仿真实验中，使用原始待恢复场景图像矩阵x和伪随机矩阵的点积作为测量向量b。每一次测量，取原始图像和伪随机矩阵点积的求和值，重复m次测量即得到m 个求和测量值。形成测量向量b
Figure BDA0002293486730000054
对于获得的m次一维场景测量值，使用一般的重建方法对其进行初步的重建，获取迭代的初始值x0。其中，常用的重建方法包括但不局限于线性方法、压缩感知方法和深度学习方法。
在步骤S102中，从重建图像中选取样例子图像块。
可以理解的是，从初始迭代图像中选取n×n大小的样例图像块。
在步骤S103中，对重建图像进行分块，并在全局范围内匹配与样例图像块结构满足预设条件的子图像块，构成图像块集合。
可以理解的是，对重建图像进行非局部自相似分块，并在全局范围内匹配与样例图像块结构相似的子图像块构成集合，具体地：先选取样例图像块xi；之后将初始迭代的图像x0分块成若干个n×n的子图像块，计算每个子图像块与样例图像块的相似度，并选取相似度较高的图像块构成相似块位置集合Gi，其中，计算每个子图像块与样例图像块的相似度，其相似度指标包括但不限于欧式距离和结构相似度指标。
具体而言，非局部图像自相似分块，先从初始迭代图像x0中选取大小为n×n的样例图像块xi，样例子图像块的大小在一定程度上会影响算法的性能。因此，选择合理的样例图像块大小使得算法的运算时间和效果均衡。之后，以相同的大小将初始迭代图像x0分解为若干个n×n的子图像块。计算子图像块与样例图像块的相似度Sij，并设定图像块相似度阈值T。当某个子图像块xj与样例图像块xi之间的相似度大于阈值T，即满足关系：Sij≥T时，则称该子图像块xj为样例图像块的相似块。找出x0中所有的相似块，构成位置集合Gi。考虑到噪声的影响，因此，本发明实施例将样例子图像块的相似块位置集合Gi分解为 Gi＝Li+Wi，其中，Li为相似矩阵项，为下一步低秩优化的矩阵；Wi为噪声项。
在步骤S104中，对图像块集合进行低秩优化，得到低秩优化后的图像子块集合。
可以理解的是，对相似块集合进行低秩优化，以实现秩优化函数的替代，具体地：引入最小化相似矩阵项Li作为目标函数，以达到重建图像的目的。但求解矩阵的秩最小化是 NP-hard问题，经典的处理是经过凸松弛把它转换成核范数最小化问题。本发明实施例并非使用凸的核范数来替代，而是使用非凸的log-det重加权作为替代函数。
具体而言，相似块集合低秩优化，引入最小化相似矩阵项Li的秩作为目标函数。由于直接对秩函数优化是NP-hard问题，因此本发明使用了非凸的log-det重加权函数作为替代优化目标，利用奇异值阈值迭代方法求解低秩优化问题。在优化迭代的过程中对矩阵进行奇异值分解，引入权重项生成新的矩阵，从而实现更高效快速的低秩优化与恢复图像。
在步骤S105中，使用压缩感知方法和图像子块集合对重建图像进行优化更新。
可以理解的是，低秩优化后的场景图像恢复重建，本发明实施例使用压缩感知的方法和低秩优化后的图像子块集合对重建图像进行优化更新，以实现奇异值阈值迭代的低秩优化求解，具体地：引入升序排列的权重构成非凸的函数，在优化迭代的过程中对矩阵进行奇异值分解，引入权重项生成新的矩阵，从而实现更高效快速的低秩优化，并提高图像重建的质量和精度。
在步骤S106中，重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。
可以理解的是，本发明实施例迭代进行上述步骤，选取图像不同区域作为样例图像块进行更新优化，直至收敛。最终实现高质量的单像素成像重建。
具体而言，本发明实施例基于交替方向乘子法的整幅图像重建，具体地：以优化后的图像子块集合为基础，结合压缩感知方法对重建图像进行优化更新。在迭代更新的过程中，由于目标函数存在多个变量，因此使用交替方向乘子法将目标函数分解成多个子问题，分别固定其他变量，每次迭代更新一个变量，直至收敛。重复上述步骤，选取图像不同区域作为样例图像块进行更新优化，直到算法收敛，最终解决单像素成像系统Ax＝b线性问题。用一维测量值实现高质量的二维场景重建图像x。
参考图2到图5，下面将通过硬件模拟与算法相结合来具体说明本发明实施例的技术方法，但本发明并不局限于以下实施例，具体如下：
仿真模拟单像素成像系统时可以取原始待恢复图像和伪随机矩阵点积的求和值作为单次测量值，重复m次测量即得到m个求和测量值，形成测量向量b
Figure BDA0002293486730000071
之后，在已知测量向量b和光调制矩阵A
Figure BDA0002293486730000072
情况下，使用一般的重建方法解决单像素成像系统Ax＝b问题，获取用于迭代的初始图像x0
Figure BDA0002293486730000073
并设置各项参数。一般的重建方法包括但不限于线性方法、压缩感知方法和深度学习方法。
对得到的初始图像x0进行相似块匹配。如图3所示，图像相似块匹配的前提是图像具有较大的自相似性。这样的前提意味着对于任意位置为i，大小为n×n的样例图像块，能够在初始迭代图像x0中找到足够数量的相似图像块。具体的匹配方法如下：在初始迭代图像x0中选定大小为n×n的样例图像块xi，并将x0分解成若干个相同大小的子图像块。利用欧氏距离或结构相似度等指标计算子图像块与样例图像块的相似度Sij，设定图像块相似度阈值T。当满足关系：Sij≥T时，则称子图像块xj为样例图像块的相似块。找出x0中所有的相似块，构成位置集合Gi。分解位置集合Gi为Gi＝Li+Wi。其中，Li为相似矩阵项(假设大小为p×q)；Wi为噪声项。
在匹配完成之后，可以获得样例图像块xi的数据矩阵Xi＝[xi0，xi1,…,xil]，其中Xi的每列表示样例图像块xi的一个相似块(包括xi本身，即xi0)。由于重建目标图像本身具有一定的相似结构，因此在这个过程中所形成的数据矩阵Xi具有一定的低秩特性。这也是图像分块与匹配的目的，即充分开发图像的稀疏与低秩特性。
对Gi中的相似矩阵项Li低秩优化。如图4所示，在完成上一步相似块匹配后对Gi的相似矩阵项Li进行低秩优化。目标函数为最小化矩阵Li的秩，即
Figure BDA0002293486730000074
这个优化是一个NP-hard问题，无法求解。本发明使用了非凸的log-det重加权函数L作为替代函数。即优化目标变为最小化函数L (L是关于Li,ε的函数)：
Figure BDA0002293486730000075
其中Σ是对角矩阵，其对角元素是矩阵
Figure BDA0002293486730000076
的特征值；ε是一个足够小的常数。
经过上述替代并引入适当参数η和λ，得到低秩优化函数：
Figure BDA0002293486730000077
由于L函数的形式近似于奇异值的对数之和，因此，上式可以改写为：
Figure BDA0002293486730000078
Figure BDA0002293486730000081
其中n0＝min{p,q}，σj(Li)表示Li的第j奇异值。之后使用奇异值阈值迭代的方法对该函数进行求解，迭代公式如下：
Figure BDA0002293486730000082
其中
Figure BDA0002293486730000083
为权重项。选取足够大的迭代次数以保证低秩优化的效果。
使用压缩感知的方法和低秩优化后的图像子块集合对重建图像进行更新，如图5所示，对相似图像块集合低秩优化后，通过求解以下最小化问题来重建整个图像：
Figure BDA0002293486730000084
Figure BDA0002293486730000085
可以使用交替方向乘子法求解多变量优化问题，其形式如下式：
Figure BDA0002293486730000086
其中，z是辅助变量；μ是拉格朗日乘数；β是一个正数。求解该式包括了以下迭代：
Figure BDA0002293486730000087
Figure BDA0002293486730000088
μ(l+1)＝μ(l)+β(l)(x(l+1)-z(l+1))
β(l+1)＝ρβ(l)
求解时，分别固定其他变量，更新其中一个变量。
更新出的x为一次改进解。利用改进的解去更新低秩优化的相似块矩阵Li，再用新的Li去恢复图像以获得下一次的改进解。迭代重复上述的过程，获取单像素成像系统的线性方程Ax＝b中的重建图像xξ。
以获得的重建图像xξ重新作为初始图像重复进行整个单像素成像重建过程，并选取图像不同区域作为样例图像块去更新优化，直至收敛。算法收敛时所获得的解x即为单像素成像系统的最终重建图。
根据本发明实施例提出的基于非局部统计本征的单像素成像重建方法，实现了在单像素成像系统中从采集到的一维测量值高质量地重建场景二维图像，充分利用了图像的非局部自相似性和整幅图像的冗余属性，可有效提高单像素成像重建的精度；具有压缩感知理论的支撑，实现方案简单且有效，能够较好的实现单像素成像重建。
其次参照附图描述根据本发明实施例提出的基于非局部统计本征的单像素成像重建装置。
图6是本发明一个实施例的基于非局部统计本征的单像素成像重建装置的结构示意图。
如图6所示，该基于非局部统计本征的单像素成像重建装置10包括：初始化模块100、选取模块200、分块模块300、低秩优化模块400、优化更新模块500和迭代更新模块600。
其中，初始化模块100用于对场景图像进行初始化重建，得到重建图像；选取模块200 用于从重建图像中选取样例子图像块；分块模块300用于对重建图像进行分块，并在全局范围内匹配与样例图像块结构满足预设条件的子图像块，构成图像块集合；低秩优化模块 400用于对图像块集合进行低秩优化，得到低秩优化后的图像子块集合；优化更新模块500 用于使用压缩感知方法和图像子块集合对重建图像进行优化更新；迭代更新模块600用于重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。本发明实施例的装置10充分利用了图像的非局部自相似性和整幅图像的冗余属性，可有效提高单像素成像重建的精度；并具有压缩感知理论的支撑，实现方案简单且有效，能够较好的实现单像素成像重建。
进一步地，在本发明的一个实施例中，在对图像块集合进行低秩优化时，使用非凸的 log-det重加权函数作为替代函数。
进一步地，在本发明的一个实施例中，优化目标变为：
Figure BDA0002293486730000091
其中，L是关于Li,ε的函数，Li为相似矩阵项，U为对
Figure BDA0002293486730000092
进行特征值分解得到的正交矩阵，Σ是特征值分解得到的对角矩阵，其对角元素是矩阵
Figure BDA0002293486730000093
的特征值；ε是一个足够小的常数。
进一步地，在本发明的一个实施例中，低秩优化函数为：
Figure BDA0002293486730000094
其中，η和λ为参数。
进一步地，在本发明的一个实施例中，在使用压缩感知方法和图像子块集合对重建图像进行优化更新时，使用交替方向乘子法求解多变量优化问题，公式为：
Figure BDA0002293486730000095
其中，z是辅助变量，μ是拉格朗日乘数，β是一个正数，b为测量向量，A为光调制矩阵，Xi为数据矩阵。
需要说明的是，前述对基于非局部统计本征的单像素成像重建方法实施例的解释说明也适用于该实施例的基于非局部统计本征的单像素成像重建装置，此处不再赘述。
根据本发明实施例提出的基于非局部统计本征的单像素成像重建装置，实现了在单像素成像系统中从采集到的一维测量值高质量地重建场景二维图像，充分利用了图像的非局部自相似性和整幅图像的冗余属性，可有效提高单像素成像重建的精度；具有压缩感知理论的支撑，实现方案简单且有效，能够较好的实现单像素成像重建。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于非局部统计本征的单像素成像重建方法，其特征在于，包括以下步骤：
对场景图像进行初始化重建，得到重建图像；
从所述重建图像中选取样例子图像块；
对所述重建图像进行分块，并在全局范围内匹配与所述样例图像块结构满足预设条件的子图像块，构成图像块集合；
对所述图像块集合进行低秩优化，得到低秩优化后的图像子块集合；
使用压缩感知方法和所述图像子块集合对所述重建图像进行优化更新；以及
重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。
2.根据权利要求1所述的方法，其特征在于，所述对场景图像进行初始化重建，得到重建图像，进一步包括：
通过光调制矩阵A和测量向量b对所述场景图像x进行初始化重建，在其满足单像素成像模型Ax＝b时，得到重建图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述重建图像进行分块，并在全局范围内匹配与所述样例图像块结构满足预设条件的子图像块，构成图像块集合，进一步包括：
将所述重建图像分块成多个n×n的子图像块，其中，n为正整数；
计算每个子图像块与所述样例图像块的相似度，并选取相似度大于等于预设阈值的图像块构成所述图像块集合。
4.根据权利要求1所述的方法，其特征在于，在对所述图像块集合进行低秩优化时，使用非凸的log-det重加权函数作为替代函数。
5.根据权利要求1所述的方法，其特征在于，在使用所述压缩感知方法和所述图像子块集合对所述重建图像进行优化更新时，使用交替方向乘子法求解多变量优化问题。
6.一种基于非局部统计本征的单像素成像重建装置，其特征在于，包括：
初始化模块，用于对场景图像进行初始化重建，得到重建图像；
选取模块，用于从所述重建图像中选取样例子图像块；
分块模块，用于对所述重建图像进行分块，并在全局范围内匹配与所述样例图像块结构满足预设条件的子图像块，构成图像块集合；
低秩优化模块，用于对所述图像块集合进行低秩优化，得到低秩优化后的图像子块集合；
优化更新模块，用于使用压缩感知方法和所述图像子块集合对所述重建图像进行优化更新；以及
迭代更新模块，用于重新选取图像不同区域作为新的样例子图像块进行更新优化，直至收敛，得到成像重建结果。
7.根据权利要求6所述的装置，其特征在于，所述初始化模块进一步用于通过光调制矩阵A和测量向量b对所述场景图像x进行初始化重建，在其满足单像素成像模型Ax＝b时，得到重建图像。
8.根据权利要求7所述的装置，其特征在于，所述分块模块进一步用于将所述重建图像分块成多个n×n的子图像块，其中，n为正整数；计算每个子图像块与所述样例图像块的相似度，并选取相似度大于等于预设阈值的图像块构成所述图像块集合。
9.根据权利要求6所述的装置，其特征在于，在对所述图像块集合进行低秩优化时，使用非凸的log-det重加权函数作为替代函数。
10.根据权利要求6所述的装置，其特征在于，在使用所述压缩感知方法和所述图像子块集合对所述重建图像进行优化更新时，使用交替方向乘子法求解多变量优化问题。
CN201911190665.2A 2019-11-28 2019-11-28 基于非局部统计本征的单像素成像重建方法及装置 Pending CN111028164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911190665.2A CN111028164A (zh) 2019-11-28 2019-11-28 基于非局部统计本征的单像素成像重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911190665.2A CN111028164A (zh) 2019-11-28 2019-11-28 基于非局部统计本征的单像素成像重建方法及装置

Publications (1)

Publication Number Publication Date
CN111028164A true CN111028164A (zh) 2020-04-17

Family

ID=70203003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911190665.2A Pending CN111028164A (zh) 2019-11-28 2019-11-28 基于非局部统计本征的单像素成像重建方法及装置

Country Status (1)

Country Link
CN (1) CN111028164A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696041A (zh) * 2020-06-04 2020-09-22 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334701A1 (en) * 2013-05-10 2014-11-13 Korea Advanced Institute Of Science And Technology Method and apparatus for convergence guaranteed image reconstruction
CN109461122A (zh) * 2018-06-27 2019-03-12 北京工业大学 一种基于多视点图像的压缩感知图像重建方法
CN110113607A (zh) * 2019-04-25 2019-08-09 长沙理工大学 一种基于局部与非局部约束的压缩感知视频重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334701A1 (en) * 2013-05-10 2014-11-13 Korea Advanced Institute Of Science And Technology Method and apparatus for convergence guaranteed image reconstruction
CN109461122A (zh) * 2018-06-27 2019-03-12 北京工业大学 一种基于多视点图像的压缩感知图像重建方法
CN110113607A (zh) * 2019-04-25 2019-08-09 长沙理工大学 一种基于局部与非局部约束的压缩感知视频重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEISHENG DONG 等: "Compressive sensing via nonlocal low-rank regularization" *
宋长明;惠庆磊;: "压缩感知中图像重构的模型综述" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696041A (zh) * 2020-06-04 2020-09-22 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备
CN111696041B (zh) * 2020-06-04 2023-06-30 北京字节跳动网络技术有限公司 图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Lohit et al. Convolutional neural networks for noniterative reconstruction of compressively sensed images
Yuan et al. Plug-and-play algorithms for large-scale snapshot compressive imaging
US20200294309A1 (en) 3D Reconstruction Method Based on Deep Learning
Tan et al. Compressive hyperspectral imaging via approximate message passing
Zhussip et al. Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior
Zhang et al. Nonlocal low-rank tensor factor analysis for image restoration
CN110650340B (zh) 一种时空复用的压缩视频成像方法
Ramirez et al. LADMM-Net: An unrolled deep network for spectral image fusion from compressive data
Bao et al. Coherence retrieval using trace regularization
Wang et al. Total variation regularized nonlocal low-rank tensor train for spectral compressive imaging
Sanghvi et al. Photon limited non-blind deblurring using algorithm unrolling
Karim et al. Spi-gan: Towards single-pixel imaging through generative adversarial network
CN111028164A (zh) 基于非局部统计本征的单像素成像重建方法及装置
Ye et al. Adverse weather removal with codebook priors
CN116579966B (zh) 一种图像重建方法、装置、电子设备及存储介质
CN112113661B (zh) 一种深度学习型快照式光谱成像装置及其探测方法
Cang et al. Research on hyperspectral image reconstruction based on GISMT compressed sensing and interspectral prediction
Marivani et al. Designing CNNs for multimodal image restoration and fusion via unfolding the method of multipliers
Estupiñán et al. Deep unrolled phase retrieval approach from coded diffraction patterns
Li et al. Phase retrieval from Fourier measurements with masks.
Ghosh et al. Use of EM algorithm for data reduction under sparsity assumption
Bacchus et al. Joint compression and demosaicking for satellite images
CN113947550A (zh) 一种基于潜在空间嵌入扩展的真实图像重建方法
Aidini et al. Hyperspectral image compression and super-resolution using tensor decomposition learning
Yang et al. Tensor Nuclear-Norm Minimization for Snapshot Compressive Imaging Cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination