CN111524066A - 一种基于滑窗式数据处理的高速压缩成像方法 - Google Patents

一种基于滑窗式数据处理的高速压缩成像方法 Download PDF

Info

Publication number
CN111524066A
CN111524066A CN202010211715.7A CN202010211715A CN111524066A CN 111524066 A CN111524066 A CN 111524066A CN 202010211715 A CN202010211715 A CN 202010211715A CN 111524066 A CN111524066 A CN 111524066A
Authority
CN
China
Prior art keywords
images
group
template
frame
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010211715.7A
Other languages
English (en)
Other versions
CN111524066B (zh
Inventor
柯钧
张临夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Publication of CN111524066A publication Critical patent/CN111524066A/zh
Application granted granted Critical
Publication of CN111524066B publication Critical patent/CN111524066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种基于滑窗式数据处理的高速压缩成像方法，属于压缩成像技术领域。本发明使用低分辨率探测器采集经模板调制后的低分辨率图像；以窗口滑动的方式对采集到的图像进行分组，获得m组待处理图像；将获得的m组待处理图像分别按照模板顺序进行组内排序，得到m组按照模板顺序进行组内排序的低分辨率图像，以便于图像重构算法按照模板顺序进行图像处理，节省模板信息占用的存储空间；分别使用压缩成像图像重构算法对各组组内重新排序后的低分辨率图像进行图像重构，即将每组低分辨率图像重构为一帧高分辨率图像，得到m帧高分辨率图像。本发明基于滑窗式数据处理实现高速压缩成像，在不改变探测器和成像质量的前提下提高输出图像的帧率。

Description

一种基于滑窗式数据处理的高速压缩成像方法
技术领域
本发明属于压缩成像技术领域，具体涉及一种采用滑窗式数据处理的高速压缩成像方法。
背景技术
压缩感知利用信号的稀疏性，以远小于奈奎斯特采样定理限制的采集，极大地减少了采集的数据量，为信号采集、信号压缩提供了新思路。
压缩感知应用到成像领域被称为压缩成像。压缩成像是指利用压缩感知理论，用低分辨率探测器(典型的如单像素探测器)和空间光调制器获取高分辨率图像。由于压缩成像可以使用低分辨率探测器获得高分辨率图像，并且需存储的数据量低，因此在某些探测器分辨率受限或数据存储空间有限的情况，如红外监控、大视场的目标探测识别、医学核磁共振成像等领域，压缩成像技术有极大的应用价值。根据压缩成像的原理，系统需要采集多帧经过编码压缩的低分辨率图像才能重构一幅高分辨率图像。这不可避免的会减低相机的时间分辨率。受到制作工艺和制造成本的限制，探测器的帧频(即时间分辨率)不会很高。在红外波段，探测器帧频受限的问题会更加严重。中波探测器帧频最大一般在每秒50～60帧，长波探测器帧频则更低。因而，当使用压缩成像理论去获取高分辨率图像时，即使只使用4帧低分辨率图像重构一帧高分辨率图像且不考虑算法的时间消耗，输出图像的帧频也只能在每秒12～15 帧，无法满足实时成像(每秒25～30帧)要求，更无法做到高速成像。在红外监控应用中，这几乎是不可接受的。因为在红外监控中，人们期望观察到目标清晰(高空间分辨率)、连续 (高时间分辨率)的动作细节，压缩成像牺牲探测器的时间分辨率换取高空间分辨率，虽然目标更清晰，但是低帧频会造成图像卡顿，目标动作细节丢失等问题。针对此问题，本发明提出基于滑窗式数据处理的高速压缩成像方法，用于解决红外压缩成像监控系统输出图像帧率低的问题。
针对压缩成像系统输出图像帧率低的问题，多数研究工作者将提升探测器的帧频或者减少重构算法的时间作为研究重点。然而受技术和制作工艺的限制，高帧频的探测器制作困难且造价高昂。重构算法方面，2007年，Lu Gan在文献Block Compressed Sensingof Natural Images中提出了分块式压缩成像，其思想是将一幅图像分成若干个小块，每个小块的数据单独处理。由于相对于全图来说，小块中的数据量更少，因此算法运行速度会显著提高。继而 Jeffrey D.Blanchard等人在文献GPU accelerated greedy algorithmsfor compressed sensing中使用GPU对重构算法进行加速，使得算法运行速度提高了70倍以上。众多学者对重构算法的研究使得重构算法的运行速度得到大幅提高。然而，如何解决图像采集过程耗时长的问题，即如何快速获得算法所需的多帧低分辨率很少有人研究。本发明拟采用滑窗式数据处理方式，提高系统成像速度。
在信号检测、目标识别和信号滤波等领域，滑窗式数据处理方法被学者提出并使用。如解梅等人提出了基于滑窗搜索的车辆兴趣目标检测方法(专利号：CN103605953A)。该方法是先设置一个窗口大小，然后让窗口在待检测图像上滑动，将窗口内的数据算法处理的数据，并通过移动窗口来在全图范围内寻找感兴趣的目标。然而，目前还没有学者将滑窗式数据处理方法应用到压缩成像领域。
发明内容
为解决压缩成像应用中，需要获得多帧低分辨率调制图才能重构出一帧高分辨率图导致的输出图像帧率低的问题，本发明公开的一种基于滑窗式数据处理的高速压缩成像方法要解决的技术问题是：基于滑窗式数据处理实现高速压缩成像，在不改变探测器和成像质量的前提下提高输出图像的帧率。
为达到上述目的，本发明采用的技术方案是。
本发明公开的一种基于滑窗式数据处理的高速压缩成像方法，使用低分辨率探测器采集经模板调制后的低分辨率图像；以窗口滑动的方式对采集到的图像进行分组，获得m组待处理图像；将获得的m组待处理图像分别按照模板顺序进行组内排序，得到m组按照模板顺序进行组内排序的低分辨率图像，以便于图像重构算法按照模板顺序进行图像处理，进而节省模板信息占用的存储空间；分别使用压缩成像图像重构算法对各组组内重新排序后的低分辨率图像进行图像重构，即将每组低分辨率图像重构为一帧高分辨率图像，得到m帧高分辨率图像。
本发明公开的一种基于滑窗式数据处理的高速压缩成像方法，包括如下步骤：
步骤一：使用低分辨率探测器采集经模板调制后的低分辨率图像。
步骤1.1：根据图像分块大小和采样率确定模板个数n，n同时也是重构一帧高分辨率图像所需的低分辨率调制图的个数，并生成调制模板；
步骤1.2：将运动目标或动态场景经光学系统成像到空间光调制器上；空间光调制器加载第1个调制模板，对目标的像进行调制；调制后的图像再次经光学系统成像到探测器上，探测器采集得到第1幅低分辨率图像；
步骤1.3：空间光调制器上依次加载剩余n-1个调制模板，并在加载完最后一帧模板后重复加载n个模板；空间光调制器每加载一个模板，探测器就采集一帧低分辨率调制图像。
步骤二：以窗口滑动的方式对采集到的图像进行分组，获得m组待处理图像。
以n帧图像的尺寸为一个选择窗口选择步骤一中采集到的图像作为一组待处理图像，并将选择窗口依次向后滑动；即从第1帧到第n帧采集图像作为第一组待处理图像，第2帧到第n+1帧为第二组待处理图像，第3帧到第n+2帧为第三组待处理图像，以此类推，直至采集的最后一帧，得到m组待处理图像。
步骤三：为便于图像重构算法按照模板顺序进行图像处理，进而节省模板信息占用的存储空间，将步骤二获得的m组待处理图像分别按照模板顺序进行组内排序，得到m组按照模板顺序进行组内排序的低分辨率图像。
在步骤二获得的m组待处理图像中，每一帧低分辨率图像都对应一个调制模板，而且调制模板是依次循环加载的，即第1帧到第n帧采集图像分别对应第1个到第n个调制模板，第n+1帧到第2n帧采集图像同样对应第1到第n个调制模板；但是由于步骤二中图像分组是滑窗式分组，每组图像对应的模板顺序并不一致；即第一组图像对应第1到第n个模板，第二组图像中前n-1帧图像对应第2到n个模板，第n帧图像对应第1个模板，第三组图像中前n-2帧图像对应第3到n个模板，最后两帧图像分别对应第1个和第二个模板，并以此类推；若不调整各组图像中组内图像的顺序，则需要分别记录各组图像的模板顺序，重复记录模板顺序不仅需要占用更大的存储空间，而且会导致图像重构过程中测量矩阵随各组图像变化，影响图像重构算法运行速度，且并行加速更困难；因此要对各组图像分别按照模板顺序进行组内排序。
对各组图像分别按照模板顺序进行组内排序实现方法为：以调制模板从1到n的顺序对各组组内低分辨率图像重新排序；第一组图像顺序不变，第二组图像将组内对应第1个模板的最后一帧移到最前端，第三组图像将组内分别对应第1、第2个模板的最后两帧移到组内最前端，以此类推，即对各组组内低分辨率图像按照调制模板从1到n的顺序对各组组内低分辨率图像重新排序，得到m组按照模板顺序进行组内排序的低分辨率图像。
步骤四：对步骤三得到的m组按照模板顺序进行组内排序的低分辨率图像，分别使用压缩成像图像重构算法对各组组内排序的低分辨率图像进行图像重构，即将每组低分辨率图像重构为一帧高分辨率图像，得到m帧高分辨率图像。
作为优选，经过步骤二的图像分组，步骤三的组内图像重新排序，各组图像均能够使用任何压缩成像重构算法进行图像重构；但是为了保证压缩成像重构算法不会成为限制最终输出高分辨率图像帧率的因素，所述压缩成像重构算法的运行速度应足够快；所述压缩成像重构算法的运行速度应足够快是指重构一帧高分辨率图像所需的时间应小于探测器采集一帧低分辨率图像所需的时间。
由于维纳算法结构简单，运行速度快，并且能够轻松地使用GPU并行计算进行加速；作为进一步优选，步骤四中使用维纳重构算法对各组组内排序的低分辨率图像进行图像重构，使用GPU加速后的维纳重构算法能够使重构一帧图像的时间限制在20ms以内，满足实时成像要求，并且比一般中长波红外探测器采集图像时间短。
有益效果：
1.本发明公开的一种基于滑窗式数据处理的高速压缩成像方法，以窗口滑动的方式对采集到的图像进行分组，获得m组待处理图像，即在采集到的低分辨率图像数量固定的情况下，通过窗口滑动的方式能够获得更多的待处理图像组，进而能够避免压缩成像系统等待多帧图像采集的过程，在不改变探测器和成像质量的前提下提高输出图像的帧率。
2.本发明公开的一种基于滑窗式数据处理的高速压缩成像方法，将压缩成像重构算法所需的多帧低分辨率调制图按模板顺序重新排序，使得所有重构图像的模板顺序保持一致，从而避免存储各组模板的顺序，减低内存占用，并且提高算法的运行速度，同时便于重构算法的并行计算加速。
附图说明
图1为本发明公开的一种基于滑窗式数据处理的高速压缩成像方法流程图及常规压缩成像方法流程图。
图2为压缩成像系统模板生成示意图，其中图2a为直接生成的4×4大小的模板图，图 2b为图2a的小模板扩展的256×256大小的模板图。
图3为常规压缩成像系统以及滑窗式压缩成像系统的选取数据示意图，其中图3a是选取数据的常规方法及其重构结果示意图，图3b是滑窗式数据选取方法及其重构结果示意图。
图4为滑窗式选取数据排序示意图，其中图4a为目标(原图)、模板、测量值(低分辨率调制图)对应关系图，图4b1为常规处理方法中的测量值排序图，图4b2为滑窗式处理方法未重新排序前测量值默认排序图，图4b3为滑窗式处理方法重新排序后的测量值排序图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于滑窗式数据处理的高速压缩成像方法，将基于滑窗式数据处理的高速压缩成像方法应用到中波红外监控压缩成像系统中。市面上常见的中波红外相机帧率大多在每秒30～60帧，使用传统的压缩成像处理方法，即使只采用4次测量重构一帧图像，也会使重构的高分辨率图像的帧率降低到探测器帧率的1/4，无法使输出图像达到实时成像的要求(如图1中常规处理方法部分所示)。而使用滑窗式数据处理方法，可以使除前3次采集图像外，相机每采集一次低分辨率图像，重构算法便可重构出一帧高分辨率图像。而且即使使用更多采集图像去重构一帧图像也不会降低重构图像的帧率(如图1中滑窗式处理方法部分所示)。此外，实施例使用GPU并行加速的维纳算法进行图像重构，使得重构一帧图像的时间降低至16ms左右，输出图像可达每秒60帧以上。因此，使用滑窗式数据处理方法，只要用于监控的红外探测器的帧频达到实时成像要求，系统输出的高分辨率图像就能满足实时成像要求。当探测器帧频更高时，基于滑窗式数据处理的压缩成像系统可以实现高速成像。
实施例实验流程图如图1所示。将使用中波红外相机拍摄的1003帧连续图像作为目标，记为x1、x2、x3、…、x1003，其分辨率为256×256；使用分块式压缩成像方法进行图像采集，调制模板为随机二值模板，采用4×4的分块大小，各块模板一致(如图2所示)，即空间上4×4 个像素经调制模板调制后累加到一个像素点上，得到分辨率为64×64的低分辨率调制图像；然后采用滑窗式数据处理方法，按照采样率为1/4框取重构高分辨率图像所需的低分辨率调制图(如图3b所示)，并按照模板顺序重新排序(如图4b3所示)；最后使用采用GPU并行加速的维纳恢复算法重构出1000帧高分辨率图像。
步骤一：使用低分辨率探测器采集经模板调制后的多帧低分辨率图像；
步骤1.1：本实施例使用的模板分块大小为4×4，采样率为1/4，计算出恢复一帧高分辨率图像所需的低分辨率图像的数量n＝4(＝4×4×1/4)，n同时也是模板个数；然后生成调制模板，方法是先生成一个4×4大小的随机二值矩阵，而后将4×4大小的随机二值矩阵在行方向上复制64次(64＝256/4)，得到4行256列的矩阵，再将此矩阵在列方向上复制64次，得到 256×256的矩阵，作为测量模板，记为M1；矩阵复制扩展方法如图2所示，其中图2a为直接生成的4×4随机二值矩阵，图2b为复制扩展后的矩阵；用同样的方法生成另外3个测量模板，M2、M3、M4；
步骤1.2：将第一帧原图与第一帧模板做点乘运算，即矩阵中对应位置相乘，得到调制图像，再将每个小块的中的4×4个像素求和(即下采样)，得到调制后的低分辨率图像，公式如下；
xtemp＝M1⊙x1 (1)
y1(i,j)＝∑p,qxtemp(p,q) (2)
其中，式1表示图像调制的过程，式2表示降采样的过程；具体来说，x1是第一帧原图；M1为第一个调制模板；⊙表示矩阵的点乘，即矩阵中对应位置相乘；xtemp为调制图像，仅作为一个中间变量；y1表示第一帧低分辨率调制图，y1(i，j)表示图像y1的第i行第j列的数值，i，j的取值范围都是1～64；同样的，xtemp(p，q)表示xtemp的第p行第q列的值，并且满足：
4×(i-1)＜p≤4×i,p∈Z+ (3)
4×(j-1)＜q≤4×j,q∈Z+ (4)
式中，Z+表示正整数集；
步骤1.3：使用步骤1.2的方法，对剩余的原图x2、x3、…、x1003进行模板调制并下采样，得到对应的低分辨率调制图y2、y3、…、y1003；其中，原图对应的模板分别是M2、M3、M4、 M1、M2、M3、M4、M1、M2、M3、M4…，即从第一帧原图的调制模板算起，依次是M1、 M2、M3、M4并不断地循环重复，直至最后一帧原图；模板、原图与测量值的对应关系如图4a所示。
步骤二：以窗口滑动的方式对采集到的图像进行分组，获得1000组待处理图像；
如图3所示，重构算法需要4帧低分辨率调制图像(即测量图像)为输入才能重构出一帧高分辨率图像；常规的数理方法是不重叠的每四帧图像作为一组去重构一帧高分辨率图像，如图3a所示，这样会严重降低输出图像的帧率；滑窗式处理方法如图3b所示，以4帧图像的尺寸为一个选择窗口选择步骤一中采集到的图像作为一组待处理图像，并将选择窗口依次向后滑动；如从第1帧到第4帧采集图像作为第一组待处理图像，第2帧到第5帧为第二组待处理图像，第3帧到第5帧为第三组待处理图像，以此类推，直至采集的最后一帧，共得到1000组待处理图像；与常规的处理方法相比，采用滑窗式处理方法可以在原本的两组待处理图像间增加三组图像，从而使最终输出图像的帧频提高到原来的4倍。
步骤三：为便于图像重构算法按照模板顺序进行图像处理，进而节省模板信息占用的存储空间，将步骤二获得的1000组待处理图像分别按照模板顺序进行组内排序，得到1000组按照模板顺序进行组内排序的低分辨率图像；
由步骤一可知，每一帧低分辨率图像都对应一个调制模板，而且调制模板是依次循环加载的，即第1帧到第4帧采集图像分别对应第1个到第4个调制模板，第5帧到第8帧采集图像同样对应第1到第4个调制模板，以此类推；常规处理方式的是不重复的每四帧图像作为一组，刚好和模板对应，如图4b1所示；但是对于滑窗式分组来说，每组图像对应的模板顺序并不一致；如第一组4帧图像对应第1到第4个模板，第二组4帧图像中前3帧图像对应第2到4个模板，第4帧图像对应第1个模板，第三组图像中前2帧图像对应第3、4个模板，最后两帧图像分别对应第1个和第2个模板，并以此类推，如图4b2所示；若不调整各组图像中图像的顺序，则需要分别记录各组图像的模板顺序，这样做不仅需要占用更大的存储空间，而且会导致图像重构过程中测量矩阵随各组图像变化，影响算法运行速度，且并行加速更困难；因此要对各组图像重新排序；
以调制模板从1到4的顺序对各组组内低分辨率图像重新排序；如，第一组图像顺序不变，第二组图像将组内最后一帧(对应第1个模板)移到最前端，第三组图像将组内最后两帧(分别对应第1和第2个模板)移到组内最前端，以此类推，得到1000组按照模板顺序进行组内排序的低分辨率图像，如图4b3所示。
步骤四：对步骤三得到的1000组按照模板顺序进行组内排序的低分辨率图像，分别使用压缩成像图像重构算法对各组组内排序的低分辨率图像进行图像重构，即将每组低分辨率图像重构为一帧高分辨率图像，得到1000帧高分辨率图像。
经过步骤二的图像分组，步骤三的组内图像重新排序，每组图像均可使用任何压缩成像恢复算法进行图像重构；但是为了保证恢复算法不会成为限制最终输出高分辨率图像帧率的因素，重构算法的运行速度应足够快；本实施例使用维纳恢复算法；维纳算法是一种常用的图像恢复算法，它具有结构简单，运行速度快等特点，图像重构前需要根据大量的预测图像的计算图像的自相关矩阵，并根据调制模板信息计算得到维纳算子；而实际图像的恢复过程仅仅是一步矩阵相乘运算，因此算法运行速度很快；同时，矩阵乘法非常适合使用GPU并行计算进行加速，经过加速后的算法运行速度可提高十几倍；本实施例使用GPU并行加速后的维纳算法计算1000帧重构图像，只需16.048秒，即单帧图像的重构时间仅为16ms，在不考虑其他时间消耗的情况下，可以使得重构图像的帧频达到每秒62.5帧，可满足大多应用环境下对时间分辨率(帧频)的要求。
最终重构图像的质量与原图或目标在采集4帧低分辨率图时的变化幅度有关，目标变化幅度越小，图像重构质量越好；目标几乎不发生变化时，维纳算法重构图像的峰值信噪比在 28dB左右；但是无论是常规处理方法还是滑窗式处理方法，都会遇到目标移动造成的重构质量下降的问题；即滑窗式处理方法只能提高最终恢复高分辨率图像的帧率，无法提高恢复图像的质量。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于滑窗式数据处理的高速压缩成像方法，其特征在于：包括如下步骤，
步骤一：使用低分辨率探测器采集经模板调制后的低分辨率图像；
步骤二：以窗口滑动的方式对采集到的图像进行分组，获得m组待处理图像；
步骤三：为便于图像重构算法按照模板顺序进行图像处理，进而节省模板信息占用的存储空间，将步骤二获得的m组待处理图像分别按照模板顺序进行组内排序，得到m组按照模板顺序进行组内排序的低分辨率图像；
步骤四：对步骤三得到的m组按照模板顺序进行组内排序的低分辨率图像，分别使用压缩成像图像重构算法对各组组内排序的低分辨率图像进行图像重构，即将每组低分辨率图像重构为一帧高分辨率图像，得到m帧高分辨率图像。
2.如权利要求1所述的一种基于滑窗式数据处理的高速压缩成像方法，其特征在于：步骤一实现方法为，
步骤1.1：根据图像分块大小和采样率确定模板个数n，n同时也是重构一帧高分辨率图像所需的低分辨率调制图的个数，并生成调制模板；
步骤1.2：将运动目标或动态场景经光学系统成像到空间光调制器上；空间光调制器加载第1个调制模板，对目标的像进行调制；调制后的图像再次经光学系统成像到探测器上，探测器采集得到第1幅低分辨率图像；
步骤1.3：空间光调制器上依次加载剩余n-1个调制模板，并在加载完最后一帧模板后重复加载n个模板；空间光调制器每加载一个模板，探测器就采集一帧低分辨率调制图像。
3.如权利要求2所述的一种基于滑窗式数据处理的高速压缩成像方法，其特征在于：步骤二实现方法为，
以n帧图像的尺寸为一个选择窗口选择步骤一中采集到的图像作为一组待处理图像，并将选择窗口依次向后滑动；即从第1帧到第n帧采集图像作为第一组待处理图像，第2帧到第n+1帧为第二组待处理图像，第3帧到第n+2帧为第三组待处理图像，以此类推，直至采集的最后一帧，得到m组待处理图像。
4.如权利要求3所述的一种基于滑窗式数据处理的高速压缩成像方法，其特征在于：步骤三具体实现方法，
在步骤二获得的m组待处理图像中，每一帧低分辨率图像都对应一个调制模板，而且调制模板是依次循环加载的，即第1帧到第n帧采集图像分别对应第1个到第n个调制模板，第n+1帧到第2n帧采集图像同样对应第1到第n个调制模板；但是由于步骤二中图像分组是滑窗式分组，每组图像对应的模板顺序并不一致；即第一组图像对应第1到第n个模板，第二组图像中前n-1帧图像对应第2到n个模板，第n帧图像对应第1个模板，第三组图像中前n-2帧图像对应第3到n个模板，最后两帧图像分别对应第1个和第二个模板，并以此类推；若不调整各组图像中组内图像的顺序，则需要分别记录各组图像的模板顺序，重复记录模板顺序不仅需要占用更大的存储空间，而且会导致图像重构过程中测量矩阵随各组图像变化，影响图像重构算法运行速度，且并行加速更困难；因此要对各组图像分别按照模板顺序进行组内排序；
对各组图像分别按照模板顺序进行组内排序实现方法为：以调制模板从1到n的顺序对各组组内低分辨率图像重新排序；第一组图像顺序不变，第二组图像将组内对应第1个模板的最后一帧移到最前端，第三组图像将组内分别对应第1、第2个模板的最后两帧移到组内最前端，以此类推，即对各组组内低分辨率图像按照调制模板从1到n的顺序对各组组内低分辨率图像重新排序，得到m组按照模板顺序进行组内排序的低分辨率图像。
5.如权利要求4所述的一种基于滑窗式数据处理的高速压缩成像方法，其特征在于：步骤四具体实现方法为，
经过步骤二的图像分组，步骤三的组内图像重新排序，各组图像均能够使用任何压缩成像重构算法进行图像重构；但是为了保证压缩成像重构算法不会成为限制最终输出高分辨率图像帧率的因素，所述压缩成像重构算法的运行速度应足够快；所述压缩成像重构算法的运行速度应足够快是指重构一帧高分辨率图像所需的时间应小于探测器采集一帧低分辨率图像所需的时间。
6.如权利要求5所述的一种基于滑窗式数据处理的高速压缩成像方法，其特征在于：步骤四中使用维纳重构算法对各组组内排序的低分辨率图像进行图像重构，使用GPU加速后的维纳重构算法能够使重构一帧图像的时间限制在20ms以内，满足实时成像要求，并且比一般中长波红外探测器采集图像时间短。
CN202010211715.7A 2020-01-13 2020-03-24 一种基于滑窗式数据处理的高速压缩成像方法 Active CN111524066B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010029592 2020-01-13
CN2020100295925 2020-01-13

Publications (2)

Publication Number Publication Date
CN111524066A true CN111524066A (zh) 2020-08-11
CN111524066B CN111524066B (zh) 2022-12-23

Family

ID=71900966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211715.7A Active CN111524066B (zh) 2020-01-13 2020-03-24 一种基于滑窗式数据处理的高速压缩成像方法

Country Status (1)

Country Link
CN (1) CN111524066B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365014A (zh) * 2021-05-11 2021-09-07 中国科学院国家空间科学中心 一种并行压缩感知gpu加速实时成像系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190362B1 (en) * 1998-01-20 2007-03-13 Nicholas Baker System and method for organizing data for a 3-dimensional graphics pipeline
CN103593675A (zh) * 2013-11-25 2014-02-19 中国人民解放军国防科学技术大学 一种基于对数极坐标变换的静脉匹配方法
CN103605953A (zh) * 2013-10-31 2014-02-26 电子科技大学 基于滑窗搜索的车辆兴趣目标检测方法
CN103761755A (zh) * 2014-01-22 2014-04-30 西安电子科技大学 基于进化多目标优化的非凸压缩感知图像重构方法
CN105744562A (zh) * 2016-03-25 2016-07-06 中国地质大学（武汉） 基于符号聚合近似的无线传感网数据压缩与重构方法及系统
CN109102461A (zh) * 2018-06-15 2018-12-28 深圳大学 低采样分块压缩感知的图像重构方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190362B1 (en) * 1998-01-20 2007-03-13 Nicholas Baker System and method for organizing data for a 3-dimensional graphics pipeline
CN103605953A (zh) * 2013-10-31 2014-02-26 电子科技大学 基于滑窗搜索的车辆兴趣目标检测方法
CN103593675A (zh) * 2013-11-25 2014-02-19 中国人民解放军国防科学技术大学 一种基于对数极坐标变换的静脉匹配方法
CN103761755A (zh) * 2014-01-22 2014-04-30 西安电子科技大学 基于进化多目标优化的非凸压缩感知图像重构方法
CN105744562A (zh) * 2016-03-25 2016-07-06 中国地质大学（武汉） 基于符号聚合近似的无线传感网数据压缩与重构方法及系统
CN109102461A (zh) * 2018-06-15 2018-12-28 深圳大学 低采样分块压缩感知的图像重构方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAN L: "Block Compressed Sensing of Natural Images", 《INTERNATIONAL CONFERENCE ON DIGITAL SIGNAL PROCESSING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365014A (zh) * 2021-05-11 2021-09-07 中国科学院国家空间科学中心 一种并行压缩感知gpu加速实时成像系统与方法

Also Published As

Publication number Publication date
CN111524066B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN111461983B (zh) 一种基于不同频度信息的图像超分辨率重建模型及方法
CN112884851B (zh) 基于展开迭代优化算法的深度压缩感知网络的构建方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN112037131A (zh) 一种基于生成对抗网络的单图像超分辨率重建方法
CN111311704B (zh) 图像重建方法、装置、计算机设备和存储介质
CN102186025B (zh) 基于压缩感知的cmos成像测量值获取系统及其方法
CN110545379B (zh) 一种采用dmd的并行时空域联合压缩成像方法及装置
CN102231204A (zh) 一种序列图像自适应正则超分辨率重建方法
WO2023045251A1 (zh) 计算鬼成像采样过程中的噪声消除方法、系统及相关组件
CN111524066B (zh) 一种基于滑窗式数据处理的高速压缩成像方法
CN112712467A (zh) 基于计算机视觉与色彩滤波阵列的图像处理方法
CN111598962A (zh) 基于矩阵草图分析的单像素成像方法和装置
US8634671B2 (en) Methods and apparatus to perform multi-focal plane image acquisition and compression
CN105678822A (zh) 一种基于Split Bregman迭代的三正则磁共振图像重构方法
CN112837220B (zh) 一种提高红外图像分辨率的方法及其用途
CN111488839B (zh) 一种目标检测方法和目标检测系统
CN110163821B (zh) 一种基于非负约束的奇异值分解压缩鬼成像方法及系统
CN112150360A (zh) 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN116708807A (zh) 监控视频的压缩重建方法、压缩重建装置
CN114820283B (zh) 一种单像素光谱成像测量基自适应优化排序方法及系统
Bakhtiarnia et al. Analysis of the effect of low-overhead lossy image compression on the performance of visual crowd counting for smart city applications
CN101986690A (zh) 图像传感器的图像数据处理方法及装置
CN114693547A (zh) 基于图像超分辨的射频图像增强方法及射频图像识别方法
CN114565511A (zh) 基于全局单应性估计的轻量级图像配准方法、系统及装置
Liu et al. Compressed sensing image reconstruction based on convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant