CN104796674A - 基于压缩感知的彩色成像装置及方法 - Google Patents

基于压缩感知的彩色成像装置及方法 Download PDF

Info

Publication number
CN104796674A
CN104796674A CN201510186293.1A CN201510186293A CN104796674A CN 104796674 A CN104796674 A CN 104796674A CN 201510186293 A CN201510186293 A CN 201510186293A CN 104796674 A CN104796674 A CN 104796674A
Authority
CN
China
Prior art keywords
image
signal
blue
green
compressed sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510186293.1A
Other languages
English (en)
Inventor
何伟基
刘星炯
顾芷西
程亮
林杰
叶凌
方剑
陈钱
顾国华
隋修宝
钱惟贤
于雪莲
任侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201510186293.1A priority Critical patent/CN104796674A/zh
Publication of CN104796674A publication Critical patent/CN104796674A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种基于压缩感知的彩色成像装置及其方法,包括PC、DLP、目标图像、单像素光子探测器和数据采集与控制模块,PC、DLP、单像素光子探测器均与数据采集与控制模块连接,PC产生二维随机二值化强度投影图像,数据采集与控制模块控制DLP在红、绿、蓝、白结构光下依次对目标图像进行二值化强度图像的投影,最终分别得到红、绿、蓝、白结构光的数字信号传入PC,再对红、绿、蓝、白结构光下各自的信号进行压缩感知重构得到四幅单色灰度图像,将四幅单色灰度图像进行彩色融合得到最终的彩色图像。本发明不需要使用滤光片,结构简单且成本较低。可以减少采样次数,在不降低图像分辨率的情况下保证颜色的真实性。

Description

基于压缩感知的彩色成像装置及方法
技术领域
本发明属于彩色成像技术,特别是一种基于压缩感知的彩色成像装置及方法。
背景技术
DLP(digital light projector)主要利用DMD(数字微镜晶片)进行投影,它包含一个DMD和红、绿、蓝三个不同颜色的LED([1]田文超,贾建援.DMD及DLP显示技术[J].仪器仪表学报,2005(z2):358-359.)。DMD是在半导体芯片上布置一个由微镜片(精密、微型的反射镜)所组成的矩阵,每一个微镜片控制投影画面中的一个像素,微镜片的数量与投影画面的分辨率相符。这些微镜片在数字驱动信号的控制下能够迅速改变角度,一旦接收到相应信号,微镜片就会倾斜10°,从而使入射光的反射方向改变。处于投影状态的微镜片被示为“开”,并随数字信号而倾斜+10°;如果微镜片处于非投影状态,则被示为“关”,并倾斜-10°。与此同时,“开”状态下被反射出去的入射光通过投影透镜将影像投影到屏幕上;而“关”状态下反射在微镜片上的入射光被光吸收器吸收。
从本质上来说,微镜片的角度只有两种状态:“开”和“关”。微镜片在两种状态间切换的频率是可以变化的,这使得DMD反射出的光线呈现出黑(微镜片处于“关”状态)与白(微镜片处于“开”状态)之间的各种灰度。由于只需要二值化投影图像,因此需要保证微镜片切换的频率保持不变。
光源发出的光通过色轮后折射在DMD芯片上,受到反射微镜面元的调制,表面将产生空间强度涨落的光场,该强度涨落是0~1分布的二值随机涨落。DLP中的DMD拥有60hz的帧频和用于构成RGB图像的24幅位面,因此它的最大转换频率为1440hz。为了充分利用它的转换频率,可以对每帧RGB图像的24幅位面进行24种不同图像的投影。DMD芯片在接收到DLP的控制信号后将光线发射到投影屏幕上。单像素光子探测器无空间分辨能力,只记录目标图像反射的总光强,数据采集与控制模块输出DLP的控制信号,同时接收单像素光子探测器输入的光强值(电压信号)。
当利用单像素光子探测器进行采样重构成像时,主要有两种类型的重构算法可以用来处理采样得到的数据。迭代算法在每次新的测量之后都会做出精确的估计,而反演算法利用本体过程中的所有数据来找到一系列未知数中的最优解。对于这两种算法,重构最终的分辨率为N=x×y,x和y是投影时x和y方向的像素数。对于每一次迭代i,都有一幅确定的二维二值化强度投影图像Ii(x,y)投影在目标图像上。在光谱频率μ时,对应的反射光强由单像素光子探测器测量得到,输出为电压信号
S μ i = ∫ T i ′ ( x , y ) R μ ( x , y ) dxdy
其中,Rμ(x,y)是光谱频率为μ时目标图像上的反射强度函数,I′i(x,y)是经过传递后的二维二值化强度投影图像。在此由于直接在目标图像上成像,因此I′i(x,y)=Ii(x,y)。假设整个目标图像位于探测器视场内,则被测信号直接与每幅投影图像的反射光强成比例,而且可以在图像重构算法中作为有效的权衡因素。
对于迭代算法重构,光子探测器接收信号的规范化将提高整幅图像的重构效果。可以通过在每幅投影图像中维持相同的黑白比例来规范化信号,并在连续的正/负图像中采样差分信号。在这个系统中使用的迭代算法是传统鬼成像算法,定义为:
Oμ(x,y)=<(Sμ-<Sμ>)(I(x,y)-<I(X,y)>)>
其中,Oμ(x,y)是目标图像的估计,<...>表示综合平均。在此,平均差分信号趋于0,平均差分图像中的每个像素也都趋于0。对于M个采样数,上面的等式可以重新写作:
O &mu; ( x , y ) = 1 M &Sigma; i = 1 M S &mu; i I i ( x , y )
然而,为了得到较好的重构图像,迭代算法的测量次数远远高于奈奎斯特极限。
在反演算法中,将每幅二维图像转换为一维阵列Ii,然后生成一个包含所有投影图像信息的测量矩阵I,即
I=[I1I2...IM]T
同样的,单像素光子探测器的测量信号可以写作一个列向量
S &mu; = [ S &mu; 1 S &mu; 2 . . . D &mu; M ] T
因此,该问题可以写成一系列线性方程:
IOμ=Sμ
其中,Oμ是一系列未知数,一旦计算得到可以转换为Oμ(x,y),Oμ(x,y)表示在光谱频率为μ时的目标图像估计。当M≥N时,该问题可以通过最小二乘法求解。然而,随着图像分辨率的增加,I的尺寸使重建运算变得复杂,而若使用小于该分辨率尺寸的测量次数来求解将导致病态问题,从而使图像的重构质量急剧降低。
而压缩感知(Compressed Sensing,CS)是一种新型的信号采集和数据重建技术([2]Donoho D L.Compressed sensing[J].Information Theory,IEEE Transactions on,2006,52(4):1289-1306.),稀疏或可压缩的信号可由相对少量非自适应测量值重建,测量次数远低于奈奎斯特极限。不同于传统“先采样,后压缩”的策略,CS提供了一种同时进行采样和压缩的测量方法。其中压缩感知的l1范数最小化方法可以在突破传统奈奎斯特采样率的条件下,高质量的重构目标信息,而且目标越稀疏,重构所需测量次数越少。
目前,普通彩色成像一般分为两种方式,一种是在CCD光敏元件表面的像素处嵌入bayer模式的彩色滤光器,像素值用自身像素值和相邻像素值进行颜色插值算法计算各像素红、绿、蓝的灰度值。采用此种方式的彩色相机相邻像素点光电子易溢出,引起颜色失真现象,颜色饱合度偏低,并且必须采用滤光片,对光的灵敏度和灵活性不强([3]张亚,王元庆.一种有效的数字图像传感器彩色插值算法[J].计算机测量与控制,2008,16(4):530-531.)。第二种方式是利用3个CCD分别采样目标图像的红、绿、蓝情况下的灰度图,然后通过融合得到彩色图像。此种方法得到的彩色图像分辨率比较高,但是采样次数较多,所需时间较长,而且也需要用到滤光片,系统结构比较复杂。
在RGB色彩空间中,三种颜色的重要程度相同,所以需要使用相同的分辨率进行采样重构([4]黄国祥.RGB颜色空间及其应用研究[D][D].中南大学,2002.)。但是三种颜色按照相同的分辨率进行存储,数据量还是很大的。而且由于人眼对亮度和颜色的分辨能力不同,若用相同的分辨率对亮度和颜色信号进行采样重构,将会产生很大的测量冗余,在之后的信号处理过程中也将浪费很多的时间和内存。
发明内容
本发明的目的在于提出一种快速、结构简单以及在保证图像分辨率的同时提供彩色信息的基于压缩感知彩色成像装置及其方法。
实现本发明目的的技术解决方案为:一种基于压缩感知的彩色成像装置及其方法,包括PC、DLP、目标图像、单像素光子探测器和数据采集与控制模块,PC、DLP、单像素光子探测器均与数据采集与控制模块连接,PC产生二维随机二值化强度投影图像,数据采集与控制模块控制DLP在红、绿、蓝、白结构光下依次对目标图像进行二值化强度图像的投影;投影过程中,数据采集与控制模块控制DLP投影图像与PC端显示图像一致,并产生同步信号触发单像素光子探测器对投影的图像进行采样;由单像素光子探测器接收目标图像的反射光强信号,同时生成一个返回触发信号,返回触发信号和反射光强信号一起传入数据采集与控制模块;返回触发信号使PC生成新的投影图像并进行投影,而反射光强信号在数据采集与控制模块中进行模数转换,最终分别得到红、绿、蓝、白结构光的数字信号传入PC,再对红、绿、蓝、白结构光下各自的信号进行压缩感知重构得到四幅单色灰度图像,将四幅单色灰度图像进行彩色融合得到最终的彩色图像。
本发明与现有技术相比,其显著优点为:(1)利用压缩感知进行重构,减少了采样次数和重构时间,同时提高了单幅单色图像的重构质量。(2)利用单个单像素光子探测器和DLP组合的单光子相机结构,减小了系统尺寸,简化了系统结构。(3)利用白光进行高分辨率采样重构,红绿蓝三色光进行低分辨率采样重构,相比较其它彩色重构,在相同分辨率的情况下减少了采样次数。(4)将高分辨率亮度图像信息和低分辨率色度图像信息融合得到最终的图像,既保证了重构图像的分辨率,又提供了彩色信息,提高了图像的成像质量。(5)根据YUV色彩空间中亮度信号Y和色度信号U、V是分离的特性,利用人眼对亮度比对颜色更加敏感,将图像的亮度信息和颜色信息分离,并使用不同的分辨率进行存储,这样可以在对主观感觉影响很小的前提下,更加有效的存储和重构图像数据。
下面结合附图对本发明作进一步详细说明。
附图说明
图1是本发明采用的基于压缩感知的彩色成像装置的原理示意图。
图2是散斑分辨率分别为64*64和128*128的投影图像的对比图。
图3以4*4模块的方式复制填充的简化图。
图4是一帧24位RGB图像中位面间的关系图。
图5是光谱频率为μ的灰度图像压缩感知重构流程。
图6是彩色图像重构流程(此处分辨率皆为成像分辨率)。
具体实施方式
结合图1,本发明基于压缩感知的彩色成像装置,包括PC1、DLP2、目标图像3、单像素光子探测器4和数据采集与控制模块5,PC1、DLP2、单像素光子探测器4均与数据采集与控制模块5连接,PC1产生二维随机二值化强度投影图像,数据采集与控制模块5控制DLP2在红、绿、蓝、白结构光下依次对目标图像3进行二值化强度图像的投影;投影过程中,数据采集与控制模块5控制DLP2投影图像与PC1端显示图像一致,并产生同步信号触发单像素光子探测器4对投影的图像进行采样;由单像素光子探测器4接收目标图像3的反射光强信号,同时生成一个返回触发信号,返回触发信号和反射光强信号一起传入数据采集与控制模块5;返回触发信号使PC1生成新的投影图像并进行投影,而反射光强信号在数据采集与控制模块5中进行模数转换,最终分别得到红、绿、蓝、白结构光的数字信号传入PC1,再对红、绿、蓝、白结构光下各自的信号进行压缩感知重构得到四幅单色灰度图像,将四幅单色灰度图像进行彩色融合得到最终的彩色图像。
结合图1和图5,本发明基于压缩感知的彩色成像方法,包括以下步骤:
第一步,通过PC1产生空间非相关的随机二值化投影图像Ii(x,y),每个像素只有“亮”和“暗”两种状态,而且状态是由Labview程序随机产生的;
第二步,当单像素光子探测器4对目标图像3的反射光强信号进行采样时,DLP2在目标图像3上投影的图像和PC端产生的投影图像是一致的,并且每幅投影图像只投影一次。对数据采样期间通过增加同步过程来克服计算机图形管线的各种延迟,同步过程如下:
步骤1,由PC1端随机产生一幅投影图像Ii(x,y),通过DLP2进行投影得到投影图像;
步骤2,投影图像完全投影且在维持期间,由数据采集与控制模块5中的NI板卡产生一个触发信号输送给单像素光子探测器1,使其对目标图像3的反射光强信号进行采样;
步骤3,单像素光子探测器4采样结束后,生成一个返回触发信号,随同采样得到的反射光强信号一起传输回数据采集与控制模块5;
步骤4,采样得到的反射光强信号通过模数转换后得到的信号与对应的投影图像存储在PC1中,返回触发信号使PC端生成新的投影图像并进行下一轮的投影。
第三步,单像素光子探测器4采样得到的反射光强信号通过数据采集与控制模块5中的模数转换变为数字信号传入PC1,在PC端利用matlab分别对红、绿、蓝、白结构光下的信号进行单色分量图像的重构,该图像重构利用压缩感知(CS)的l1范数最小化方法,稀疏基选择1D-DCT(一维离散余弦变换),白色结构光下得到的数据利用l1范数最小化方法重构得到高成像分辨率图像O(x,y),红光、绿光、蓝光结构光下得到的数据利用l1范数最小化方法重构分别得到对应的单色低成像分辨率图像O(x,y)、O绿(x,y)、O(x,y)。具体的压缩感知(CS)的l1范数最小化方法如下:
IDCTO*μ=Sμ
式中,IDCT是将每幅二维投影强度图像Ii(x,y)转换为一维阵列Ii,然后对Ii进行一维离散余弦变换后得到的包含所有投影图像信息的测量矩阵,Sμ是光谱频率为μ时,IDCT作用在目标图像上后,反射强度由单像素光子探测器4接收到的测量输出阵列(即电压信号),O*μ是目标图像3中光谱频率为μ的集未知数的一维向量,通过最小化
1 2 | | S &mu; - I DCT O * &mu; | | 2 + &lambda;&Sigma; | O * &mu; | ,
O*μ的解由预处理共轭梯度法获得,其中λ是一个调整参数,在O*μ上运行DCT逆运算然后将其转换为二维阵列可以得到目标图像的解Oμ(x,y);在红、绿、蓝、白结构光下,目标图像3的解分别为O(x,y)、O绿(x,y)、O(x,y)、O(x,y);
第四步,在PC端由matlab对不同结构光下目标图像的解O(x,y)、O绿(x,y)、O(x,y)、O(x,y)进行彩色融合得到彩色图像。其中,彩色融合得到彩色图像的过程为:
首先,将红、绿、蓝结构光下的信号分别通过压缩感知的l1范数最小化方法重构得到单色低成像分辨率图像O(x,y)、O绿(x,y)、O(x,y),以n*n像素模块的方式进行像素的复制填充,得到三幅成像分辨率与白光重构图像相同的单色灰度图像O′(x,y)、O绿′(x,y)、O′(x,y),将这三幅单色灰度图像O′(x,y)、O绿′(x,y)、O′(x,y)进行RGB融合得到彩色图像P0,利用matlab将彩色图像P0由RGB格式转换为YUV格式,从而得到Y、U、V图像信号并提取其中的色度图像信号U、V。
其次,将白光通过压缩感知的l1范数最小化方法重构得到高成像分辨率图像O(x,y)作为亮度图像信号与色度图像信号U、V进行合成得到最终的目标彩色图像P。
下面以实施例来对本发明进行说明。
结合图1,本发明基于压缩感知的彩色成像装置,包括PC1、DLP(digital lightprojector)2、目标图像3、单像素光子探测器4、数据采集与控制模块5。数据采集与控制模块5包括数模转换器和NI的板卡。PC产生二维随机二值化强度投影图像,在PC端完全显示投影图像后,数据采集与控制模块中的NI板卡控制DLP对目标图像进行二值化强度图像的投影。投影过程中,数据采集与控制模块控制DLP投影图像与PC端显示图像一致,并产生同步信号触发单像素光子探测器对投影的图像进行采样。由单像素光子探测器接收目标图像的反射光强信号,同时生成一个返回触发信号,返回触发信号和反射光强信号一起传入数据采集与控制模块。返回触发信号通过数据采集与控制模块使PC生成新的投影图像并进行投影,而反射光强信号在数据采集与控制模块中进行模数转换。最终得到的数字信号传入PC,相同结构光下的信号经过压缩感知重构得到单色灰度图像,这样将四幅单色灰度图像进行彩色融合得到最终的彩色图像。
本实施例中,DLP包含有一个DMD和三个彩色LED(红、绿、蓝),数据采集与控制模块包含有模数转换模块和NI的板卡,板卡型号为PXI-6552。目标图像所需成像分辨率为128*128,即白光重构灰度图像成像分辨率为128*128,红绿蓝光重构单色灰度图像成像分辨率为32*32,对低分辨率图像进行复制填充模块的尺寸n*n为4*4。一帧24位RGB图像的位面关系如图4所示,像素的不同灰度值决定不同位面,不同灰度值由DMD中微镜片的开关频率决定。由于只需要二值化投影图像,因此需要保证微镜片切换频率一致。为了提高投影速率,利用24幅位面进行24幅不同二值化图像的投影。本发明基于压缩感知的彩色成像装置及其方法,它包括以下步骤:
1.通过PC1产生空间非相关的随机二值化投影图像Ii(x,y),每个像素只有“亮”和“暗”两种状态,而且状态是由Labview程序随机产生的。
2.当单像素光子探测器对目标图像的反射光强信号进行采样时,DLP在目标图像上投影的图像和PC端产生的投影图像是一致的,并且保证每幅投影图像只投影一次,这就需要在数据采样期间增加一些同步过程来克服涉及计算机图形管线的各种延迟。同步过程如下:
2.1首先由PC端随机产生一幅投影图像Ii(x,y),通过DLP2进行投影。
2.2投影图像完全投影且在维持期间,由数据采集与控制模块中的NI板卡产生一个触发信号输送给单像素光子探测器,使其对目标图像的反射光强信号进行采样。
2.3单像素光子探测器采样结束后,生成一个返回触发信号,随同采样得到的反射光强信号一起传输回数据采集与控制模块。
2.4采样得到的反射光强信号通过模数转换后得到的信号与对应的投影图像存储在PC中。返回触发信号使PC端生成新的投影图像并进行下一轮的投影。
3.单像素光子探测器3采样得到的反射光强信号通过数据采集与控制模块中的模数转换变为数字信号传入PC1,在PC端利用matlab分别对红、绿、蓝、白结构光下的信号进行单色分量图像的重构。图像重构利用压缩感知(CS)的l1范数最小化方法,稀疏基选择1D-DCT(一维离散余弦变换)。白色结构光下得到的数据利用l1范数最小化方法重构得到高成像分辨率图像O(x,y),红光、绿光、蓝光结构光下得到的数据利用l1范数最小化方法重构分别得到对应的单色低成像分辨率图像O(x,y)、O绿(x,y)、O(x,y)。其中,红绿蓝白结构光下的二值化强度投影图像的尺寸相同,即投影后覆盖的面相同。分辨率的不同只体现在二值化强度投影图像上散斑尺寸的不同,即散斑分辨率不同。由于白色结构光下二值化强度投影图像的散斑分辨率高于红绿蓝结构光下投影图像的散斑分辨率,因此白色结构光下投影图像上的散斑尺寸小于红绿蓝结构光下投影图像上的散斑尺寸,白色结构光下的投影次数多于红绿蓝结构光。散斑分辨率分别为64*64和128*128的投影图像对比图如图2所示。具体算法如下:
IDCTO*μ=Sμ
式中,IDCT是将每幅二维投影强度图像Ii(x,y)转换为一维阵列Ii,然后对Ii进行一维离散余弦变换(DCT)后得到的包含所有投影图像信息的测量矩阵。Sμ是光谱频率为μ时,IDCT作用在目标图像上后,反射强度由单像素光子探测器接收到的的测量输出阵列(电压信号)。O*μ是目标图像中光谱频率为μ的集未知数的一维向量。通过最小化
1 2 | | S &mu; - I DCT O * &mu; | | 2 + &lambda;&Sigma; | O * &mu; | ,
O*μ的解可以由预处理共轭梯度法获得。其中λ是一个调整参数,为了优化性能在此取值为0.01。在O*μ上运行DCT逆运算然后将其转换为二维阵列可以得到目标图像的解Oμ(x,y),光谱频率为μ的灰度图像压缩感知重构流程如图5所示。在红、绿、蓝、白结构光下,目标图像的解分别为O(x,y)、O绿(x,y)、O(x,y)、O(x,y)。
4.在PC端由matlab对不同结构光下目标图像的解O(x,y)、O绿(x,y)、O(x,y)、O(x,y)进行彩色融合得到彩色图像。以彩色图像Baboon为例进行仿真,重构流程如图6所示。
4.1首先将红绿蓝光通过压缩感知算法分别重构得到的分辨率为32*32的单色低成像分辨率图像O(x,y)、O绿(x,y)、O(x,y),以4*4模块的方式进行像素的复制填充,得到三幅成像分辨率为128*128的单色灰度图像O′(x,y)、O绿′(x,y)、O′(x,y)。其中,以4*4模块方式复制填充的简化图如图3所示。将这三幅单色灰度图像O′(x,y)、O绿′(x,y)、O′(x,y)进行RGB融合得到成像分辨率为128*128的彩色图像P0,利用matlab将彩色图像P0由RGB转换为YUV,从而得到Y、U、V图像信号并提取其中的色度图像信号U、V。
4.2.将白光通过压缩感知算法重构得到的128*128的高成像分辨率图像O(x,y)作为亮度图像信号与色度图像信号U、V进行合成得到最终的成像分辨率为128*128的目标彩色图像P。

Claims (4)

1.一种基于压缩感知的彩色成像装置,其特征在于包括PC(1)、DLP(2)、目标图像(3)、单像素光子探测器(4)和数据采集与控制模块(5),PC(1)、DLP(2)、单像素光子探测器(4)均与数据采集与控制模块(5)连接,PC(1)产生二维随机二值化强度投影图像,数据采集与控制模块(5)控制DLP(2)在红、绿、蓝、白结构光下依次对目标图像(3)进行二值化强度图像的投影;投影过程中,数据采集与控制模块(5)控制DLP(2)投影图像与PC(1)端显示图像一致,并产生同步信号触发单像素光子探测器(4)对投影的图像进行采样;由单像素光子探测器(4)接收目标图像(3)的反射光强信号,同时生成一个返回触发信号,返回触发信号和反射光强信号一起传入数据采集与控制模块(5);返回触发信号使PC(1)生成新的投影图像并进行投影,而反射光强信号在数据采集与控制模块(5)中进行模数转换,最终分别得到红、绿、蓝、白结构光的数字信号传入PC(1),再对红、绿、蓝、白结构光下各自的信号进行压缩感知重构得到四幅单色灰度图像,将四幅单色灰度图像进行彩色融合得到最终的彩色图像。
2.一种基于压缩感知的彩色成像方法,其特征在于包括以下步骤:
第一步,通过PC(1)产生空间非相关的随机二值化投影图像Ii(x,y),每个像素只有“亮”和“暗”两种状态,而且状态是由Labview程序随机产生的;
第二步,当单像素光子探测器(4)对目标图像(3)的反射光强信号进行采样时,DLP(2)在目标图像(3)上投影的图像和PC端产生的投影图像是一致的,并且每幅投影图像只投影一次;
第三步,单像素光子探测器(4)采样得到的反射光强信号通过数据采集与控制模块(5)中的模数转换变为数字信号传入PC(1),在PC端利用matlab分别对红、绿、蓝、白结构光下的信号进行单色分量图像的重构;该图像重构利用压缩感知的l1范数最小化方法,稀疏基选择1D-DCT,白色结构光下得到的数据利用l1范数最小化方法重构得到高成像分辨率图像O(x,y),红光、绿光、蓝光结构光下得到的数据利用l1范数最小化方法重构分别得到对应的单色低成像分辨率图像O(x,y)、O绿(x,y)、O(x,y),具体方法如下:
IDCTO* μ=Sμ
式中,IDCT是将每幅二维投影强度图像Ii(x,y)转换为一维阵列Ii,然后对Ii进行一维离散余弦变换后得到的包含所有投影图像信息的测量矩阵,Sμ是光谱频率为μ时,IDCT作用在目标图像上后,反射强度由单像素光子探测器(4)接收到的测量输出阵列,O* μ是目标图像(3)中光谱频率为μ的集未知数的一维向量,通过最小化
1 2 | | S &mu; - I DCT O * &mu; | | 2 + &lambda;&Sigma; | O * &mu; | ,
O* μ的解由预处理共轭梯度法获得,其中λ是一个调整参数,在O* μ上运行DCT逆运算然后将其转换为二维阵列得到目标图像的解Oμ(x,y);在红、绿、蓝、白结构光下,目标图像(3)的解分别为O(x,y)、O绿(x,y)、O(x,y)、O(x,y);
第四步,在PC端由matlab对不同结构光下目标图像的解O(x,y)、O绿(x,y)、O(x,y)、O(x,y)进行彩色融合得到彩色图像。
3.根据权利要求2所述的基于压缩感知的彩色成像方法,其特征在于在第二步中,对数据采样期间通过同步过程来克服计算机图形管线的各种延迟,同步过程如下:
步骤1,由PC(1)端随机产生一幅投影图像Ii(x,y),通过DLP(2)进行投影得到投影图像;
步骤2,投影图像完全投影且在维持期间,由数据采集与控制模块(5)中的NI板卡产生一个触发信号输送给单像素光子探测器(1),使其对目标图像(3)的反射光强信号进行采样;
步骤3,单像素光子探测器(4)采样结束后,生成一个返回触发信号,随同采样得到的反射光强信号一起传输回数据采集与控制模块(5);
步骤4,采样得到的反射光强信号通过模数转换后得到的信号与对应的投影图像存储在PC(1)中,返回触发信号使PC端生成新的投影图像并进行下一轮的投影。
4.根据权利要求2所述的基于压缩感知的彩色成像方法,其特征在于在第四步中,彩色融合得到彩色图像的过程为:
首先,将红、绿、蓝结构光下的信号分别通过压缩感知的l1范数最小化方法重构得到单色低成像分辨率图像O(x,y)、O绿(x,y)、O(x,y),以n*n像素模块的方式进行像素的复制填充,得到三幅成像分辨率与白光重构图像相同的单色灰度图像O′(x,y)、O绿′(x,y)、O′(x,y),将这三幅单色灰度图像O′(x,y)、O绿′(x,y)、O′(x,y)进行RGB融合得到彩色图像P0,利用matlab将彩色图像P0由RGB格式转换为YUV格式,从而得到Y、U、V图像信号并提取其中的色度图像信号U、V;
其次,将白光通过压缩感知的l1范数最小化方法重构得到高成像分辨率图像O(x,y)作为亮度图像信号与色度图像信号U、V进行合成得到最终的目标彩色图像P。
CN201510186293.1A 2015-04-17 2015-04-17 基于压缩感知的彩色成像装置及方法 Pending CN104796674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510186293.1A CN104796674A (zh) 2015-04-17 2015-04-17 基于压缩感知的彩色成像装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510186293.1A CN104796674A (zh) 2015-04-17 2015-04-17 基于压缩感知的彩色成像装置及方法

Publications (1)

Publication Number Publication Date
CN104796674A true CN104796674A (zh) 2015-07-22

Family

ID=53561153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510186293.1A Pending CN104796674A (zh) 2015-04-17 2015-04-17 基于压缩感知的彩色成像装置及方法

Country Status (1)

Country Link
CN (1) CN104796674A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915868A (zh) * 2016-04-22 2016-08-31 南京理工大学 基于扩展小波树的彩色成像系统及方法
CN105915869A (zh) * 2016-04-22 2016-08-31 南京理工大学 一种彩色自适应压缩计算鬼成像系统及方法
CN106131517A (zh) * 2016-06-24 2016-11-16 南京理工大学 一种彩色图像获取方法
CN107018429A (zh) * 2017-04-26 2017-08-04 陈翟 互联网视频数据压缩及帧画面显示方法
CN107025673A (zh) * 2017-04-11 2017-08-08 太原科技大学 虚拟结构光3d数据压缩算法的局部误差抑制方法
CN107306333A (zh) * 2016-12-07 2017-10-31 暨南大学 一种高速单像素成像方法
CN108259865A (zh) * 2018-03-09 2018-07-06 暨南大学 一种基于单像素探测器的彩色成像方法和系统
CN108881701A (zh) * 2018-09-30 2018-11-23 华勤通讯技术有限公司 拍摄方法、摄像头、终端设备及计算机可读存储介质
CN111259991A (zh) * 2020-02-28 2020-06-09 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN111835971A (zh) * 2020-07-20 2020-10-27 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112995472A (zh) * 2021-02-07 2021-06-18 河北大学 基于零光子计数的单像素成像系统和成像方法
CN113358220A (zh) * 2021-05-28 2021-09-07 清华大学 基于单像素成像的亮度测量方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265176A (zh) * 2008-12-22 2011-11-30 皇家飞利浦电子股份有限公司 具有单光子计数能力的cmos成像器
CN102353449A (zh) * 2011-06-20 2012-02-15 中国科学院空间科学与应用研究中心 一种极弱光多光谱成像方法及其系统
CN102393248A (zh) * 2011-10-26 2012-03-28 中国科学院空间科学与应用研究中心 一种时间分辨极弱光多光谱成像系统及方法
CN102510282A (zh) * 2011-10-25 2012-06-20 中国科学院空间科学与应用研究中心 一种时间分辨单光子计数二维成像系统及方法
CN102759408A (zh) * 2011-04-25 2012-10-31 中国科学院空间科学与应用研究中心 一种单光子计数成像系统及其方法
WO2013060134A1 (zh) * 2011-10-25 2013-05-02 中国科学院空间科学与应用研究中心 一种时间分辨单光子或极弱光多维成像光谱系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102265176A (zh) * 2008-12-22 2011-11-30 皇家飞利浦电子股份有限公司 具有单光子计数能力的cmos成像器
CN102759408A (zh) * 2011-04-25 2012-10-31 中国科学院空间科学与应用研究中心 一种单光子计数成像系统及其方法
CN102353449A (zh) * 2011-06-20 2012-02-15 中国科学院空间科学与应用研究中心 一种极弱光多光谱成像方法及其系统
CN102510282A (zh) * 2011-10-25 2012-06-20 中国科学院空间科学与应用研究中心 一种时间分辨单光子计数二维成像系统及方法
WO2013060134A1 (zh) * 2011-10-25 2013-05-02 中国科学院空间科学与应用研究中心 一种时间分辨单光子或极弱光多维成像光谱系统及方法
CN102393248A (zh) * 2011-10-26 2012-03-28 中国科学院空间科学与应用研究中心 一种时间分辨极弱光多光谱成像系统及方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915869A (zh) * 2016-04-22 2016-08-31 南京理工大学 一种彩色自适应压缩计算鬼成像系统及方法
CN105915868A (zh) * 2016-04-22 2016-08-31 南京理工大学 基于扩展小波树的彩色成像系统及方法
CN106131517A (zh) * 2016-06-24 2016-11-16 南京理工大学 一种彩色图像获取方法
CN107306333A (zh) * 2016-12-07 2017-10-31 暨南大学 一种高速单像素成像方法
CN107306333B (zh) * 2016-12-07 2020-06-16 暨南大学 一种高速单像素成像方法
CN107025673B (zh) * 2017-04-11 2020-02-21 太原科技大学 虚拟结构光3d数据压缩算法的局部误差抑制方法
CN107025673A (zh) * 2017-04-11 2017-08-08 太原科技大学 虚拟结构光3d数据压缩算法的局部误差抑制方法
CN107018429A (zh) * 2017-04-26 2017-08-04 陈翟 互联网视频数据压缩及帧画面显示方法
CN108259865A (zh) * 2018-03-09 2018-07-06 暨南大学 一种基于单像素探测器的彩色成像方法和系统
CN108881701A (zh) * 2018-09-30 2018-11-23 华勤通讯技术有限公司 拍摄方法、摄像头、终端设备及计算机可读存储介质
CN108881701B (zh) * 2018-09-30 2021-04-02 华勤技术股份有限公司 拍摄方法、摄像头、终端设备及计算机可读存储介质
CN111259991A (zh) * 2020-02-28 2020-06-09 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN111259991B (zh) * 2020-02-28 2022-09-20 南京理工大学 一种噪声环境下欠采样单像素成像目标识别方法
CN111835971A (zh) * 2020-07-20 2020-10-27 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112995472A (zh) * 2021-02-07 2021-06-18 河北大学 基于零光子计数的单像素成像系统和成像方法
CN112995472B (zh) * 2021-02-07 2022-11-04 河北大学 基于零光子计数的单像素成像系统和成像方法
CN113358220A (zh) * 2021-05-28 2021-09-07 清华大学 基于单像素成像的亮度测量方法及装置
CN113358220B (zh) * 2021-05-28 2024-01-23 清华大学 基于单像素成像的亮度测量方法及装置

Similar Documents

Publication Publication Date Title
CN104796674A (zh) 基于压缩感知的彩色成像装置及方法
CN102474627B (zh) 图像摄影装置和图像摄影方法
US9900562B2 (en) System and method for light-field imaging
Zhang et al. Wavelength-multiplexing ghost imaging
US7149262B1 (en) Method and apparatus for enhancing data resolution
CN108955574A (zh) 一种三维测量方法及系统
CN105894492A (zh) 渲染对象的深度图像的t-o-f深度成像装置及其方法
JP6104985B2 (ja) デジタル画像センサ、画像獲得方法及び画像再構成方法並びにその実行システム
EP3414890B1 (en) Devices and methods for high dynamic range video
KR20200003858A (ko) 픽셀 단위 이미징을 위한 방법 및 시스템
CN106993121B (zh) 一种基于压缩感知的高光谱图像采集成像系统与控制方法
JP2004228662A (ja) 撮像装置
US9325956B2 (en) Non-linear photometric projector compensation
JP2004518312A (ja) データ解像度を増す方法および装置
CN104581100A (zh) 色彩滤镜阵列和图像处理方法
CN105915869A (zh) 一种彩色自适应压缩计算鬼成像系统及方法
CN103389162A (zh) 一种利用彩色数码相机的反射物体颜色测量仪
US6417950B1 (en) Three-color imaging on each pixel for increased resolution
Liu et al. Measurement dimensions compressed spectral imaging with a single point detector
CN102801984B (zh) 彩色图像传感器及获取彩色数字图像的方法
Welsh et al. Multi-wavelength compressive computational ghost imaging
CN113447118A (zh) 一种可实现彩色成像的多光谱成像芯片及彩色成像方法
CN1288549A (zh) 用于处理图像的方法和系统
CN107071312A (zh) 基于脉冲宽度调制的压缩感知cmos图像传感器
CN113884234A (zh) 一种互补单像素质心探测系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150722

WD01 Invention patent application deemed withdrawn after publication