CN113365014A - 一种并行压缩感知gpu加速实时成像系统与方法 - Google Patents

一种并行压缩感知gpu加速实时成像系统与方法 Download PDF

Info

Publication number
CN113365014A
CN113365014A CN202110512028.3A CN202110512028A CN113365014A CN 113365014 A CN113365014 A CN 113365014A CN 202110512028 A CN202110512028 A CN 202110512028A CN 113365014 A CN113365014 A CN 113365014A
Authority
CN
China
Prior art keywords
parallel
resolution image
measurement
gpu
compressed sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110512028.3A
Other languages
English (en)
Other versions
CN113365014B (zh
Inventor
李虎
刘雪峰
姚旭日
翟光杰
岳钦崟
窦申成
刘璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Space Science Center of CAS
Original Assignee
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Space Science Center of CAS filed Critical National Space Science Center of CAS
Priority to CN202110512028.3A priority Critical patent/CN113365014B/zh
Publication of CN113365014A publication Critical patent/CN113365014A/zh
Application granted granted Critical
Publication of CN113365014B publication Critical patent/CN113365014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种并行压缩感知GPU加速实时成像系统与方法,所述系统包括并行流水线式处理的光学单元(I)、电学单元(II)和后端数据流水线处理单元(III);其中,所述光学单元(I),用于收集光信号,得到目标图像信号,经分段和调制后发送至电学单元(II);所述电学单元(II),用于进行并行互补压缩感知成像,完成并行互补测量,将低分辨率图像数据发送至后端数据流水线处理单元(III);所述后端数据流水线处理单元(III),用于采用GPU加速压缩感知高速重建算法实现高分辨图像重建与实时显示。本发明采用光学单元、电学单元和GPU加速重建部件并行流水线方案,实现压缩感知实时采集低分辨图像、实时重建与显示高分辨图像。

Description

一种并行压缩感知GPU加速实时成像系统与方法
技术领域
本发明涉及成像技术领域,特别涉及一种并行压缩感知GPU加速实时成像系统与方法,有别于传统直接测量的计算成像体制的成像方法。
背景技术
光信号的成像探测是人类感知周围环境和认识世界的重要手段,毫不夸张的说,没有成像技术的诞生和发展,就没有现代光电探测技术。数字化和智能物联网时代(AIoT)驱动着对探测器时间分辨率和空间分辨率的要求越来越高,探测数据规模激增,成像方式和光电探测技术在各方面性能不断改进和提高,成像体制也经历着巨大的飞跃,迅速推进着人类感知世界的进程。
一方面,在应用场景需求端,探测场景像素规模的增大,时间分辨率和空间分辨率的更高需求从未停止。另一方面,非可见光波段的较高分辨率探测器成本仍然较高,随着分辨率的提高可见光探测器成本越来越高。现有分辨率探测器无法以“所见即所得”的直接测量方式实现对海量像素规模的场景实时成像,而现有技术指标设备以传统方式要进一步达到更高的时间分辨率和控件分辨率则难上加难。如何应对成像像素规模、时间分辨率、空间分辨率要求的数据率、实时显示要求与传输带宽、探测器成本、存储资源之间的矛盾,成为成像系统技术研究的重要方向和难点。压缩感知成像以减少采样量、降低探测器分辨率要求为动机,将新的信号处理体制压缩感知理论创造性地应用于成像领域。其中,单像素相机是压缩感知成像最具代表性的新成像体制,它采用没有空间分辨率的点探测器通过调制采样的间接测量方式,将压缩与采样一并进行,以远低于奈奎斯特-香农采样定律要求的采样数进行信号测量,随后通过后端数据处理的重建算法会付出具有空间分辨率的成像目标,实现了以无空间分辨率的点探测器进行探测低成本探测器、低传输带宽,又能保证维持空间分辨率图像获取的最终成像目标。
但是,探测分辨率需求的进一步提高,光学采集前端也受到了现有空间光学调制前端调制频率的限制,同时基于压缩感知成像理论的压缩感知成像模型也面临着大规模场景下测量矩阵构造难度和重建算法的复杂度迅速提高,传统串行单像素相机架构也不能满足需求,亟待新的提高性能策略的引入。
发明内容
本发明的目的是在于克服传统成像体制使用常规探测器和传输带宽在高分辨快速采集与实时显示方面的不足,采用分而治之处理和并行化系统思想对单像素相机进行扩展,从而提供一种并行压缩感知GPU加速实时成像系统与方法。
为了实现上述目的,本发明的实施例1提出了一种并行压缩感知GPU加速实时成像系统,所述系统包括并行流水线式处理的光学单元、电学单元和后端数据流水线处理单元;其中,
所述光学单元,用于收集光信号,得到目标图像信号,经分段和调制后发送至电学单元;
所述电学单元,用于进行并行互补压缩感知成像,完成并行互补测量,将低分辨率图像数据发送至后端数据流水线处理单元;
所述后端数据流水线处理单元,用于采用GPU加速压缩感知高速重建算法实现高分辨图像重建与实时显示。
作为上述系统的一种改进,所述光学单元包括:视场光阑和成像物镜镜头(1)、空间光调制器和会聚收光部件;其中,
所述视场光阑和成像物镜镜头,用于收集目标透射、反射或辐射出的光信号,并成像到空间光调制器上;
所述空间光调制器,用于对目标图像信号进行分段并行随机调制,将不同位置的光反射到所述会聚收光部件;
所述会聚收光部件,用于将会聚收集到的光传输到电学单元。
作为上述系统的一种改进,所述电学单元包括:光电阵列探测器、随机数发生器、信号同步控制模块、数据采集缓存;
所述光电阵列探测器,用于并行地探测到分段光信号,转化为电信号输出至数据采集缓存部件;
所述数据采集缓存部件,用于即时、持续地将低分辨图像传输至后端数据流水线处理单元;
所述随机数发生器,用于控制空间光调制器对光信号进行分段并行随机调制;还用于生成二值光信号随机分布的散斑;
所述信号同步控制模块,用于通过信号同步控制光电阵列探测器、随机数发生器和数据采集缓存。
作为上述系统的一种改进,所述后端数据流水线处理单元包括:数据共享服务部件、高分辨图像重建与显示部件以及通用计算GPU加速压缩感知高速重建部件;其中,
所述数据共享服务部件,用于接收并存储低分辨图像数据;
高分辨图像重建与显示部件,用于持续不断地处理数据共享服务部件的低分辨率图像数据,通过函数调用通用计算GPU加速压缩感知高速重建部件以快速重建出高分辨图像并实时显示;
所述通用计算GPU加速压缩感知高速重建部件,用于利用低分辨图像、分块随机矩阵和稀疏基,采用GPU加速压缩感知高速重建算法实现高分辨图像重建。
作为上述系统的一种改进,所述空间光调制器采用数字微镜器件;所述会聚收光部件包括会聚透镜和光阑;其中,所述会聚透镜,用于将空间光调制器反射到光电阵列探测器;所述光阑,用于消除杂散光。
本发明的实施例2提出了一种并行压缩感知GPU加速实时成像方法,基于上述系统系统实现,所述方法包括:
视场光阑和成像物镜镜头收集目标透射、反射或辐射出的光信号,成像到空间光调制器,空间光调制器在随机数发生器的控制下对目标图像信号进行分段并行随机调制,将不同位置的光反射到会聚收光部件,会聚收光部件将会聚收集到的光传输到光电阵列探测器;
信号同步控制模块通过信号同步控制光电阵列探测器、随机数发生器和数据采集缓存,进行光学并行互补压缩感知成像,完成并行互补测量,将低分辨率图像数据记录到数据采集缓存;
数据采集缓存即时、持续地将低分辨率图像数据传输至数据共享服务部件,高分辨图像重建与显示部件持续不断地处理数据共享服务部件的低分辨率图像数据,调用通用计算GPU加速压缩感知高速重建部件快速重建出高分辨图像并实时显示。
作为上述方法的一种改进,所述光学并行互补压缩感知成像,完成并行互补测量,具体包括:
将空间光调制器上N×N有效成像区域分成若干块,每个块的大小为C×C,并行成像到光电阵列探测器的N/C×N/C像素上,则光电阵列探测器上获取的对应第i个观察向量列Y(i)满足下式:
Y(i)=Φ(i)(x(i))+E(i)
其中,X(i)为以列优先方式表示空间光调制器中的第i分块,Φ(i)为第i分块子场景图像的投影算子;
Figure BDA0003060654340000041
为由在空间光调制器上形成的目标场景组成块中的其中一块,并且设
Figure BDA0003060654340000042
为分别显示在空间光调制器上的互补测量二值模式,
Figure BDA0003060654340000043
为光电阵列探测器采集到的互补压缩测量,
Figure BDA0003060654340000044
是互补压缩测量差分矢量,则在光电阵列探测器上获得的每个测量值如下所示:
Figure BDA0003060654340000045
Figure BDA0003060654340000046
其中,e1和e2表示互补压缩测量采集到的两次随机噪声;
由下式得到互补矩阵的一次测量给出Δy为:
Figure BDA0003060654340000047
其中,
Figure BDA0003060654340000048
表示元素乘积。
作为上述方法的一种改进,所述高分辨图像重建与显示部件持续不断地处理数据共享服务部件的低分辨率图像数据;具体包括:
高分辨图像重建与显示部件将数据共享服务部件的测量数据中的并行块按列优先顺序排列,每个块中的互补测量向量由分布在每个低分辨率图像相应位置的特定块的测量值组成,在子测量矩阵中,每个块的互补测量向量与每个掩模向量同步,重构每个原始图像块的压缩块观测值向量。
作为上述方法的一种改进,所述快速重建出高分辨图像并实时显示,具体包括:
根据设定的压缩率、重建子块大小和测量次数,生成全采样测量矩阵,从中抽取生成亚采样测量矩阵,并转换为CUDA稀疏矩阵格式;
将多帧低分辨图像合并为一帧;通过差分计算得到互补测量值,将每一帧进行分块,并对每块按列向量重置;
根据CUDA稀疏矩阵格式和GPU核函数定义重建每块图像,并将多块拼接成一帧或多帧高分辨率图像并实时显示。
与现有技术相比,本发明的优势在于:
1、本发明采用并行压缩感知理论,并行压缩感知采用算法分制思想(Divide andConquer)将完整信号的压缩感知测量与重建问题分解为多个独立的子信号压缩测量与重建问题,最后将重建得到的多个原始子信号合并得到原始信号,以此来降低测量矩阵构建复杂度、测量矩阵内存空间要求和重建算法复杂度,提高系统并行性;
2、本发明采用低分辨图像重建高分辨图像,解决现阶段高分辨率中红外探测器、单光子探测器、太赫兹探测器缺乏的问题;
3、本发明采用二值随机调制,充分发挥空间光调制器的翻转频率,结合压缩感知理论的亚采样优势和并行压缩感知并行采样优势,提高采样速度;
4、本发明采用GPU加速压缩感知重建算法,结合合并块重建策略和帧拼接策略,提高重建速度;
5、本发明采用光学单元、电学单元和GPU加速重建部件并行流水线方案,实现压缩感知实时采集、实时重建与显示。
附图说明
图1是本发明实施例1的并行压缩感知GPU加速成像系统的结构示意图;
图2(a)是本发明实施例2的子测量信号和相应子测量矩阵进行合并的过程示意图;
图2(b)是图2(a)对应子测量矩阵构建过程;
图3是本发明实施例2的GPU加速并行重建过程示意图;
图4是GPU重建算法与本发明的方法的处理时间对比图。
附图标记
Ⅰ、光学单元 Ⅱ、电学单元
Ⅲ、后端数据流水线处理单元
1、视场光阑和成像物镜镜头 2、空间光调制器
3、会聚收光部件 4、光电阵列探测器
5、随机数发生器 6、信号同步控制模块
7、数据采集缓存 8、数据共享服务部件
9、高分辨图像重建与显示部件
10、通用计算GPU加速压缩感知高速重建部件
具体实施方式
本发明提供了一种并行压缩感知GPU加速实时成像系统与方法,
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示,本发明的实施例1提供了一种并行压缩感知GPU加速实时成像系统。
本发明的采用通用计算GPU重建算法加速的分块并行压缩感知成像系统利用了压缩感知(Compressed Sensing,CS)原理,所述的压缩感知原理是由Donoho、Tao和Candès等人提出的全新信号处理体制,以亚采样的测量数量并通过信号随机调制的采样方式实现信号的压缩式地采样,在接收端通过数学算法完美恢复出原始信号。并行压缩感知采用算法分制思想(Divide and Conquer)将完整信号的压缩感知测量与重建问题分解为多个独立的子信号压缩测量与重建问题,最后将重建得到的多个原始子信号合并得到原始信号,以此来降低测量矩阵构建复杂度、测量矩阵内存空间要求和重建算法复杂度,提高系统并行性。
完整的压缩感知测量数学模型可表示为
Figure BDA0003060654340000061
并行压缩感知将进行信号向量
Figure BDA0003060654340000062
分块。
Figure BDA0003060654340000063
其中,xi表示信号
Figure BDA0003060654340000064
的第i个元素,(·)T是转置运算符。将该信号分为互不重叠的M段,即
Figure BDA0003060654340000065
其中,x[j]表示信号
Figure BDA0003060654340000066
的第j个长度为lj的分段,则有
Figure BDA0003060654340000067
并行待测信号测量矩阵以对角矩阵形式表达:
Figure BDA0003060654340000068
测量过程以矩阵形式表达为:
Figure BDA0003060654340000069
并行压缩感知成像过程可模型化为使用对角化测量矩阵的光信号并行测量和并行重建。其中,在并行压缩采样过程中,本发明采用互补压缩测量方法;在并行重建过程中,本发明将若干个子测量信号和相应子测量矩阵进行合并后重建采用GPU加速算法进行重建。并行测量、GPU加速并行重建和显示组成流水线。
参考图1,本发明提供了一种并行压缩感知GPU加速实时成像系统与方法,包括光学单元I、电学单元II、后端数据流水线处理单元III;其中,光学单元I至少包括视场光阑和成像物镜镜头1、空间光调制器2、会聚收光部件3;电学单元II至少包括光电阵列探测器4、随机数发生器5、信号同步控制模块6、数据采集缓存部件7;后端数据流水线处理单元III包括数据共享服务部件8、高分辨图像重建与显示部件9、通用计算GPU加速压缩感知高速重建部件10;
在光学单元Ⅰ中,目标透射、反射或辐射出的光信号由所述视场光阑和成像物镜镜头1收集,成像到所述空间光调制器2上;所述空间光调制器2对目标图像信号进行分段并行随机调制,将不同位置的光反射到所述会聚收光部件3;所述会聚收集到的光传输到所述所述电学单元Ⅱ的光电阵列探测器4;
在电学单元Ⅱ中,所述低分辨率光电阵列探测器4并行地探测到所述会聚收光部件3收集的分段光信号,转化为电信号输出,记录低分辨图像到所述数据采集缓存部件7;所述随机数发生器5控制所述空间光调制器2对光信号进行分段并行随机调制;所述信号同步模块6对相机调制和采集记录进行控制协调,包括对光学单元和电学单元各部件的工作控制和同步脉冲出发信号,确保空间光调制器2和随机数发生器5之间的同步,控制协调着相机的所述光电阵列探测器4数据记录采集和所述随机数发生器5的随机数生成节拍;所述数据采集缓存部件7即时、持续地将输出的低分辨图像提供给所述后端数据流水线处理单元Ⅲ的数据共享服务部件8;
在后端数据流水线处理单元Ⅲ中,所述高分辨图像重建与显示部件9持续不断地处理所述数据共享服务部件8的低分辨率图像数据,调用所述通用计算GPU加速压缩感知高速重建部件10快速重建出高分辨图像;所述通用计算GPU加速压缩感知高速重建部件10利用低分辨图像、分块随机矩阵、稀疏基采用GPU加速压缩感知高速重建算法实现高分辨图像重建;其中,所述数据采集缓存部件7、所述数据共享服务部件8、所述高分辨图像重建与显示部件9组成调制采集、压缩传输、高速重建的并行处理流水线。
以上是对本发明的总体结构描述,下面对各部件具体实现进一步描述。
所述视场光阑和成像物镜镜头1收集目标透射、反射或辐射出的光信号;
所述空间光调制器2含有许多独立单元,它们他们在空间上排列成一维或二维阵列,每个单元都可以独立地接收光学信号或电学信号的控制,并按此信号改变自身的光学性质,从而对照明在其上的光波进行调制。这类器件可在随时间变化的电驱动信号或其他信号的控制下,改变空间上光分布的振幅或强度、相位、偏振态以及波长,或者把非相干光转化成相干光。由于它的这种性质,可作为实时光学信息处理、光计算和光学神经网络等系统中构造单元或关键的器件,可以分为透射式和反射式,其种类有许多种,主要有数字微镜器件(Digital Micro-mirror Device,DMD)、液晶光阀实现。在本实施例中,所述空间光调制器为数字微镜器件,其他实施例中,也可以是其它类型的空间光调制器。
本实施例中所采用的DMD是包含有大量安装在铰链上的微镜的阵列(主流的DMD由1024×768的阵列构成),每一镜片的尺寸为13.68μm×13.68μm,并可对每个像素上的光实现独立控制。通过对每一个镜片下的存储单元以二进制信号进行电子化寻址,便可让每个镜片在静电作用下向两侧翻转(本实施例中为+12°和-12°),把这两种状态记为1和0,分别对应“开”和“关”,当镜片不工作时,它们处于0°的“停泊”状态。
所述会聚收光部件3包括会聚透镜和光阑。会聚透镜将空间光调制器2反射到光电阵列探测器;光阑用于消除杂散光。
所述光电阵列探测器4采用低成本的常规阵列探测器,可根据波段响应范围调整,包括可见光波段和非可见光波段。本实施例中,光电阵列探测器采用工业相机CCD。本发明采用低分辨图像重建高分辨图像,解决现阶段高分辨率中红外探测器、单光子探测器、太赫兹探测器缺乏的问题。
所述随机数发生器5用于生成二值光信号随机分布的散斑。
所述信号同步控制模块6确保空间光调制器2和随机数发生器5之间的同步,控制协调着相机的所述光电阵列探测器4数据记录采集和所述随机数发生器5的随机数生成节拍。
所述数据共享服务部件8作为中的“产品”缓冲区同步量使得所述数据采集缓存部件7、高分辨图像重建与显示部件9异步运行形成“生产者-消费者”模式的并行流水线。
所述高分辨图像重建与显示部件9通过函数调用所述通用计算GPU加速压缩感知高速重建部件10进行重建,且重建模块和显示模块以异步并行化方式执行。
所述通用计算GPU加速压缩感知高速重建部件10所采用通用计算GPGPU下列任意形式:桌面显卡GPU、服务器GPU、数据中心GPU、移动设备搭载的GPU。所述通用计算GPU加速压缩感知高速重建部件10所使用的压缩感知算法采用TV算法、最小二乘法、匹配跟踪算法MP、正交匹配跟踪算法OMP、基跟踪算法BP、TwIST算法;稀疏基采用离散余弦变换基、小波基、傅里叶变换基、梯度基、gabor变换基中的任意一种;无需使用稀疏基时,直接对原始信号进行重建。
实施例2
本发明的实施例2提供了一种并行压缩感知GPU加速实时成像方法,基于实施例1的系统进行,具体步骤如下:
步骤1)光信号获取的步骤:
目标透射、反射或辐射出的光信号由所述视场光阑和成像物镜镜头1收集,成像到所述空间光调制器2上;所述空间光调制器2对目标图像信号进行分段并行随机调制,将不同位置的光反射到所述会聚收光部件3;所述会聚收集到的光传输到所述所述电学单元Ⅱ的光电阵列探测器4;
步骤2)光学并行互补压缩感知成像的步骤
所述随机数发生器5控制所述空间光调制器2对光信号进行分段并行随机调制;所述信号同步模块6对相机调制和采集记录进行控制协调,包括对光学单元和电学单元各部件的工作控制和同步脉冲出发信号,确保空间光调制器2和随机数发生器5之间的同步,控制协调着相机的所述光电阵列探测器4数据记录采集和所述随机数发生器5的随机数生成节拍。具体并行方式如下。
空间光调制器2上N×N有效成像区域被分成若干块(每个块的大小为C×C),并行地成像到二维光电阵列探测器4的N/C×N/C像素上。光电阵列探测器4中的每个探测器相当于SPC(Single Pixel Camera)系统中的一个光电二极管,这样该模型表示为
Y(i)=Φ(i)(X(i))+E(i) (5)
其中X(i)以列优先方式表示空间光调制器2中的第i分块,Y(i)表示在光电阵列探测器4上获取的对应第i个观察向量列,Φ(i)是空间光调制器2第i分块子场景图像的投影算子。
Figure BDA0003060654340000091
是由在空间光调制器2上形成的目标场景组成块中的其中一块,并且设
Figure BDA0003060654340000092
是分别显示在空间光调制器2上的互补测量二值模式。
Figure BDA0003060654340000093
为光电阵列探测器4采集到的互补压缩测量,
Figure BDA0003060654340000094
是互补压缩测量差分矢量。在光电阵列探测器4上获得的每个测量值如下所示:
Figure BDA0003060654340000095
Figure BDA0003060654340000096
最后,互补矩阵的一次测量给出为
Figure BDA0003060654340000101
式中
Figure BDA0003060654340000102
表示元素乘积。
在信号同步控制模块6通过信号同步控制光电探测阵列探测4、随机数发生器5和数据采集缓存部件7,参照上述步骤完成并行互补测量,并将互补测量向量和测量值记录到数据采集缓存部件7。
步骤3)子测量信号和相应子测量矩阵进行合并
图2为该过程的示意图,图2(a)描绘了4×4(4×4像素作为一个元素块)和2×2(8×8像素作为一个组合块)的多个块的压缩比的测量矩阵构造情况;图2(b)为对应子测量矩阵构建过程。
将空间光调制器2有效成像区域分为若干个大小相同的元素块B×B((C×C)为基本元素块,元素块的整数倍组成),每个元素块相当于一个光电阵列探测4的并行SPC重建块。其次,生成空间光调制器2上的每个光电阵列探测4并行SPC编码块掩模(C×C),并进行互补正负测量以提高CS成像质量。与测量矩阵相对应的单位测量向量
Figure BDA0003060654340000103
以逐块和逐列的方式依次并行取自多个SPC块。最后,掩模向量化后合并到整个测量矩阵中。
在设计好的测量矩阵中,所有分块的观测值向量与每个掩模向量同步。首先,将观测结果中的并行块按列优先顺序排列。其次,每个块的观测值的列向量来自与测量序列对应的块的线性组合。即每个低分辨率图像由所有元素块的投影结果组成,而每个块中的观测向量由分布在每个低分辨率图像相应位置的特定块的观测值组成。Blocki是用于重构第i个原始图像块的第i个压缩块观测值向量,Mj表示第j个编码模式对应的第j个测量值。Blockiand Mj准确指示出第i个压缩分块和第j个测量观测值的对应关系,其中
Figure BDA0003060654340000104
每一次行向量调制采样得到一张低分辨图像。
步骤4)GPU加速并行重建过程
图3为该过程的示意图,采用空间光调制器2。假设空间光调制器2有效成像区域有N×N个微镜的分辨率,并且对应的光电阵列探测器4有效成像区域具有
Figure BDA0003060654340000105
个像素,使得每个像素对应空间光调制器2上C×C个微镜区域大小,则每个区域图像将从m(m≤C×C)次测量值中恢复。1)在GPU上准备分块测量矩阵。生成尺寸为
Figure BDA0003060654340000111
的全采样分块投影矩阵和尺寸为
Figure BDA0003060654340000112
的欠采样分块测量矩阵,并将其转换为CUDA稀疏矩阵格式。2)在GPU上准备分块观测值向量组。为了获得更高的重建效率,需要将相应的低分辨率观测值加载到主机中,并将多帧合并为一帧记为N×N,下一步是将观测值与正负互补测量图像进行差分,将每一帧分为
Figure BDA0003060654340000113
块,并按列将每一帧置为列向量,大小为
Figure BDA0003060654340000114
3)用GPU加速模块重建每个块,并将所有重建的高分辨率块拼接成一个或多个高分辨率的完整图像帧。
步骤5)低分辨图像采集、高分辨重建与显示的流水线过程
在后端数据流水线处理单元Ⅲ中,所述高分辨图像重建与显示部件9持续不断地处理所述数据共享服务部件8的低分辨率图像数据,调用所述通用计算GPU加速压缩感知高速重建部件10快速重建出高分辨图像;所述通用计算GPU加速压缩感知高速重建部件10利用低分辨图像、分块随机矩阵、稀疏基采用GPU加速压缩感知高速重建算法实现高分辨图像重建;其中,所述数据采集缓存部件7、所述数据共享服务部件8、所述高分辨图像重建与显示部件9组成调制采集、压缩传输、高速重建的并行处理流水线。
图4所示为采用本发明的方法与现有技术对于图像处理的时间对比图。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种并行压缩感知GPU加速实时成像系统,其特征在于,所述系统包括并行流水线式处理的光学单元(I)、电学单元(II)和后端数据流水线处理单元(III);其中,
所述光学单元(I),用于收集光信号,得到目标图像信号,经分段和调制后发送至电学单元(II);
所述电学单元(II),用于进行并行互补压缩感知成像,完成并行互补测量,将低分辨率图像数据发送至后端数据流水线处理单元(III);
所述后端数据流水线处理单元(III),用于采用GPU加速压缩感知高速重建算法实现高分辨图像重建与实时显示。
2.根据权利要求1所述的并行压缩感知GPU加速实时成像系统,其特征在于,所述光学单元(I)包括:视场光阑和成像物镜镜头(1)、空间光调制器(2)和会聚收光部件(3);其中,
所述视场光阑和成像物镜镜头(1),用于收集目标透射、反射或辐射出的光信号,并成像到空间光调制器(2)上;
所述空间光调制器(2),用于对目标图像信号进行分段并行随机调制,将不同位置的光反射到所述会聚收光部件(3);
所述会聚收光部件(3),用于将会聚收集到的光传输到电学单元(II)。
3.根据权利要求2所述的并行压缩感知GPU加速实时成像系统,其特征在于,所述电学单元(II)包括:光电阵列探测器(4)、随机数发生器(5)、信号同步控制模块(6)、数据采集缓存(7);
所述光电阵列探测器(4),用于并行地探测到分段光信号,转化为电信号输出至数据采集缓存部件(7);
所述数据采集缓存部件(7),用于即时、持续地将低分辨图像传输至后端数据流水线处理单元(III);
所述随机数发生器(5),用于控制空间光调制器(2)对光信号进行分段并行随机调制;还用于生成二值光信号随机分布的散斑;
所述信号同步控制模块(6),用于通过信号同步控制光电阵列探测器(4)、随机数发生器(5)和数据采集缓存(7)。
4.根据权利要求3所述的并行压缩感知GPU加速实时成像系统,其特征在于,所述后端数据流水线处理单元(III)包括:数据共享服务部件(8)、高分辨图像重建与显示部件(9)以及通用计算GPU加速压缩感知高速重建部件(10);其中,
所述数据共享服务部件(8),用于接收并存储低分辨图像数据;
高分辨图像重建与显示部件(9),用于持续不断地处理数据共享服务部件(8)的低分辨率图像数据,通过函数调用通用计算GPU加速压缩感知高速重建部件(10)以快速重建出高分辨图像并实时显示;
所述通用计算GPU加速压缩感知高速重建部件(10),用于利用低分辨图像、分块随机矩阵和稀疏基,采用GPU加速压缩感知高速重建算法实现高分辨图像重建。
5.根据权利要求4所述的并行压缩感知GPU加速实时成像系统,其特征在于,所述空间光调制器(2)采用数字微镜器件;所述会聚收光部件(3)包括会聚透镜和光阑;其中,所述会聚透镜,用于将空间光调制器(2)反射到光电阵列探测器(4);所述光阑,用于消除杂散光。
6.一种并行压缩感知GPU加速实时成像方法,基于权利要求5所述的系统实现,所述方法包括:
视场光阑和成像物镜镜头(1)收集目标透射、反射或辐射出的光信号,成像到空间光调制器(2),空间光调制器(2)在随机数发生器(5)的控制下对目标图像信号进行分段并行随机调制,将不同位置的光反射到会聚收光部件(3),会聚收光部件(3)将会聚收集到的光传输到光电阵列探测器(4);
信号同步控制模块(6)通过信号同步控制光电阵列探测器(4)、随机数发生器(5)和数据采集缓存(7),进行光学并行互补压缩感知成像,完成并行互补测量,将低分辨率图像数据记录到数据采集缓存(7);
数据采集缓存(7)即时、持续地将低分辨率图像数据传输至数据共享服务部件(8),高分辨图像重建与显示部件(9)持续不断地处理数据共享服务部件(8)的低分辨率图像数据,调用通用计算GPU加速压缩感知高速重建部件(10)快速重建出高分辨图像并实时显示。
7.根据权利要求6所述的并行压缩感知GPU加速实时成像方法,其特征在于,所述光学并行互补压缩感知成像,完成并行互补测量,具体包括:
将空间光调制器(2)上N×N有效成像区域分成若干块,每个块的大小为C×C,并行成像到光电阵列探测器(4)的N/C×N/C像素上,则光电阵列探测器(4)上获取的对应第i个观察向量列Y(i)满足下式:
Y(i)=Φ(i)(X(i))+E(i)
其中,X(i)为以列优先方式表示空间光调制器(2)中的第i分块,Φ(i)为第i分块子场景图像的投影算子;
Figure FDA0003060654330000031
为由在空间光调制器(2)上形成的目标场景组成块中的其中一块,并且设
Figure FDA0003060654330000032
为分别显示在空间光调制器(2)上的互补测量二值模式,
Figure FDA0003060654330000033
为光电阵列探测器(4)采集到的互补压缩测量,
Figure FDA0003060654330000034
Figure FDA0003060654330000035
是互补压缩测量差分矢量,则在光电阵列探测器(4)上获得的每个测量值如下所示:
Figure FDA0003060654330000036
Figure FDA0003060654330000037
其中,e1和e2表示互补压缩测量采集到的两次随机噪声;
由下式得到互补矩阵的一次测量给出Δy为:
Figure FDA0003060654330000038
其中,
Figure FDA0003060654330000039
表示元素乘积。
8.根据权利要求6所述的并行压缩感知GPU加速实时成像方法,其特征在于,所述高分辨图像重建与显示部件(9)持续不断地处理数据共享服务部件(8)的低分辨率图像数据;具体包括:
高分辨图像重建与显示部件(9)将数据共享服务部件(8)的测量数据中的并行块按列优先顺序排列,每个块中的互补测量向量由分布在每个低分辨率图像相应位置的特定块的测量值组成,在子测量矩阵中,每个块的互补测量向量与每个掩模向量同步,重构每个原始图像块的压缩块观测值向量。
9.根据权利要求8所述的并行压缩感知GPU加速实时成像方法,其特征在于,所述快速重建出高分辨图像并实时显示,具体包括:
根据设定的压缩率、重建子块大小和测量次数,生成全采样测量矩阵,从中抽取生成亚采样测量矩阵,并转换为CUDA稀疏矩阵格式;
将多帧低分辨图像合并为一帧;通过差分计算得到互补测量值,将每一帧进行分块,并对每块按列向量重置;
根据CUDA稀疏矩阵格式和GPU核函数定义重建每块图像,并将多块拼接成一帧或多帧高分辨率图像并实时显示。
CN202110512028.3A 2021-05-11 2021-05-11 一种并行压缩感知gpu加速实时成像系统与方法 Active CN113365014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110512028.3A CN113365014B (zh) 2021-05-11 2021-05-11 一种并行压缩感知gpu加速实时成像系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110512028.3A CN113365014B (zh) 2021-05-11 2021-05-11 一种并行压缩感知gpu加速实时成像系统与方法

Publications (2)

Publication Number Publication Date
CN113365014A true CN113365014A (zh) 2021-09-07
CN113365014B CN113365014B (zh) 2022-04-26

Family

ID=77526119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110512028.3A Active CN113365014B (zh) 2021-05-11 2021-05-11 一种并行压缩感知gpu加速实时成像系统与方法

Country Status (1)

Country Link
CN (1) CN113365014B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554574A (zh) * 2021-09-23 2021-10-26 苏州浪潮智能科技有限公司 一种压缩感知图像恢复方法、装置、设备及介质
CN113992840A (zh) * 2021-09-15 2022-01-28 中国航天科工集团第二研究院 一种基于压缩感知的大视场高分辨成像方法及装置
CN114630128A (zh) * 2022-05-17 2022-06-14 苇创微电子(上海)有限公司 一种基于行数据分块重排的图像压缩、解压缩方法及系统
CN115439566A (zh) * 2022-08-23 2022-12-06 中国电子科技南湖研究院 一种基于存算一体架构的压缩感知系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038786A1 (en) * 2010-08-11 2012-02-16 Kelly Kevin F Decreasing Image Acquisition Time for Compressive Imaging Devices
CN105182359A (zh) * 2015-07-31 2015-12-23 武汉大学 一种星载Lidar 超混沌压缩感知高空间分辨率成像方法
CN105488767A (zh) * 2015-11-30 2016-04-13 盐城工学院 一种基于最小二乘优化的压缩感知图像快速重建方法
US20180260649A1 (en) * 2017-03-08 2018-09-13 Raytheon Company Multi-channel compressive sensing-based object recognition
CN108537804A (zh) * 2018-04-04 2018-09-14 中国科学院长春光学精密机械与物理研究所 一种并行压缩感知成像系统的感兴趣目标提取方法
CN108844899A (zh) * 2018-04-04 2018-11-20 中国科学院长春光学精密机械与物理研究所 一种并行压缩感知成像系统
US20190150742A1 (en) * 2015-08-31 2019-05-23 The Board Of Trustees Of The Leland Stanford Junior University Compressed Sensing High Resolution Functional Magnetic Resonance Imaging
US20200234406A1 (en) * 2019-01-18 2020-07-23 Arizona Board Of Regents On Behalf Of Arizona State University Lapran: a scalable laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction
CN111524066A (zh) * 2020-01-13 2020-08-11 北京理工大学 一种基于滑窗式数据处理的高速压缩成像方法
CN111640063A (zh) * 2020-05-20 2020-09-08 中国科学院国家空间科学中心 基于空间频域多尺度调制与重建的压缩成像系统及方法
CN111833265A (zh) * 2020-06-15 2020-10-27 北京邮电大学 一种基于组稀疏循环调制的鬼成像图像恢复方案

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038786A1 (en) * 2010-08-11 2012-02-16 Kelly Kevin F Decreasing Image Acquisition Time for Compressive Imaging Devices
CN105182359A (zh) * 2015-07-31 2015-12-23 武汉大学 一种星载Lidar 超混沌压缩感知高空间分辨率成像方法
US20190150742A1 (en) * 2015-08-31 2019-05-23 The Board Of Trustees Of The Leland Stanford Junior University Compressed Sensing High Resolution Functional Magnetic Resonance Imaging
CN105488767A (zh) * 2015-11-30 2016-04-13 盐城工学院 一种基于最小二乘优化的压缩感知图像快速重建方法
US20180260649A1 (en) * 2017-03-08 2018-09-13 Raytheon Company Multi-channel compressive sensing-based object recognition
CN108537804A (zh) * 2018-04-04 2018-09-14 中国科学院长春光学精密机械与物理研究所 一种并行压缩感知成像系统的感兴趣目标提取方法
CN108844899A (zh) * 2018-04-04 2018-11-20 中国科学院长春光学精密机械与物理研究所 一种并行压缩感知成像系统
US20200234406A1 (en) * 2019-01-18 2020-07-23 Arizona Board Of Regents On Behalf Of Arizona State University Lapran: a scalable laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction
CN111524066A (zh) * 2020-01-13 2020-08-11 北京理工大学 一种基于滑窗式数据处理的高速压缩成像方法
CN111640063A (zh) * 2020-05-20 2020-09-08 中国科学院国家空间科学中心 基于空间频域多尺度调制与重建的压缩成像系统及方法
CN111833265A (zh) * 2020-06-15 2020-10-27 北京邮电大学 一种基于组稀疏循环调制的鬼成像图像恢复方案

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
XUE-FENG LIU ET AL: "Complementary compressive imaging for the telescopic system", 《SCIENTIFIC REPORTS》 *
XUE-FENG LIU ET AL: "Three-dimensional single-pixel compressive reflectivity imaging based on complementary modulation", 《APPLIED OPTICS》 *
何文杰: "压缩感知重构算法的并行化及GPU加速", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
王兴达: "基于压缩感知理论的单光子成像软件系统的设计与实现", 《中国优秀硕士学位论文全文数据库 (基础科学辑)》 *
王陈业: "基于分块观测的图像ROI增强压缩感知网络", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
董蕾: "基于GPU的图像压缩感知算法并行化研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992840A (zh) * 2021-09-15 2022-01-28 中国航天科工集团第二研究院 一种基于压缩感知的大视场高分辨成像方法及装置
CN113992840B (zh) * 2021-09-15 2023-06-23 中国航天科工集团第二研究院 一种基于压缩感知的大视场高分辨成像方法及装置
CN113554574A (zh) * 2021-09-23 2021-10-26 苏州浪潮智能科技有限公司 一种压缩感知图像恢复方法、装置、设备及介质
CN114630128A (zh) * 2022-05-17 2022-06-14 苇创微电子(上海)有限公司 一种基于行数据分块重排的图像压缩、解压缩方法及系统
CN114630128B (zh) * 2022-05-17 2022-07-22 苇创微电子(上海)有限公司 一种基于行数据分块重排的图像压缩、解压缩方法及系统
CN115439566A (zh) * 2022-08-23 2022-12-06 中国电子科技南湖研究院 一种基于存算一体架构的压缩感知系统及方法

Also Published As

Publication number Publication date
CN113365014B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN113365014B (zh) 一种并行压缩感知gpu加速实时成像系统与方法
CN110646810B (zh) 一种散斑优化压缩感知鬼成像方法及系统
Kujawinska et al. Multiwavefront digital holographic television
CN108844464B (zh) 基于纠缠双光子信号的压缩感知成像装置和方法
CN104793343A (zh) 三通道单渥拉斯顿棱镜偏振成像装置及偏振信息探测方法
CN109828285B (zh) 一种双波段时域压缩感知高速成像方法及装置
CN110545379B (zh) 一种采用dmd的并行时空域联合压缩成像方法及装置
CN110650340B (zh) 一种时空复用的压缩视频成像方法
CN103913229B (zh) 编码模板多目标主动成像光谱系统及方法
CN105589210A (zh) 一种基于光瞳调制的数字化合成孔径成像方法
CN111833265A (zh) 一种基于组稀疏循环调制的鬼成像图像恢复方案
CN116245726A (zh) 基于深度学习框架的压缩感知偏振超分辨成像方法
CN111856478B (zh) 一种免成像的运动物体探测与三维追踪装置及方法
CN114264370B (zh) 一种压缩感知计算层析成像光谱仪系统和成像方法
JP2018180261A (ja) ホログラム生成装置、ホログラム生成プログラムおよびホログラフィックプロジェクションシステム
CN114279564B (zh) 一种并行压缩感知计算层析成像光谱仪及其成像光谱重建方法
CN114387164A (zh) 一种太赫兹单像素超分辨成像方法和系统
CN103986936B (zh) 一种视频压缩采集系统及其采集方法
CN116609942B (zh) 一种分孔径压缩感知偏振超分辨率成像方法
CN111698435B (zh) 空频谱多维联合调制的成像加速方法和装置
CN107580164A (zh) 一种单次测量的压缩感知超分辨率成像系统及其成像方法
CN116016893B (zh) 一种单像素三维成像系统及方法
CN204069217U (zh) 一种视频压缩采集系统
Zhao et al. Spatial-temporal compressive imaging using an unfolding network
Yuan et al. Improved resolution integral imaging using random aperture coding based on compressive sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant