CN115272098A - 一种基于数字微镜高斯矩阵二值表示的单像素成像方法 - Google Patents
一种基于数字微镜高斯矩阵二值表示的单像素成像方法 Download PDFInfo
- Publication number
- CN115272098A CN115272098A CN202210720800.5A CN202210720800A CN115272098A CN 115272098 A CN115272098 A CN 115272098A CN 202210720800 A CN202210720800 A CN 202210720800A CN 115272098 A CN115272098 A CN 115272098A
- Authority
- CN
- China
- Prior art keywords
- matrix
- random
- pixel
- gaussian
- dmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 123
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000007704 transition Effects 0.000 claims abstract description 17
- 238000005070 sampling Methods 0.000 claims description 15
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012938 design process Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 230000002035 prolonged effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
一种基于数字微镜高斯矩阵二值表示的单像素成像方法,属于数字微镜器件(DMD)单像素成像领域,解决了投射灰度图像进行光强信号采集效率低下的问题,提供了一种更为便捷快速、操作简易的掩膜图案制作方法。本发明方法只需获得大小匹配的高斯矩阵各元素数值,通过算法重建生成与DMD大小匹配的二值矩阵,便可得到过渡自然、可视性强的掩膜图案,操作便捷、节省时间,提高了DMD单像素成像的投影时间;同时,经证实本发明方法适应性强、可靠性高。该方法有助于便捷地实现基于压缩传感的单像素系统成像。
Description
技术领域
本发明涉及数字微镜器件(DMD)单像素成像领域,特别涉及稀疏矩阵掩膜的一种生成方法。
技术背景
图像作为一种高效的信息载体在现代信息技术高度发达的社会中发挥着越来越重要的作用,很多具有重要价值的信息通过图像的形式被广泛记录、存储和应用。成像是获取图像的直接手段,按照不同的成像波段可以将成像方式分为可见光成像、雷达成像、红外成像以及太赫兹成像等,以上成像技术均被广泛应用于摄影、航空航天、无人驾驶等众多领域。随着信息技术的进一步发展,对于图像的空间分辨率、信噪比以及多光谱的成像性能都提出了更高的要求,与此同时对于海量的图像数据对后端信号的处理和存储也提出新的要求,因此新型成像理论技术、高效的数据采集、传输和存储方法等成为相关领域的研究热点。
在光学成像领域几何光学被广泛应用,即通过透镜汇聚场景光强信息至成像设备的传感器序列中,实现对于光强信号的采集和对于整个场景的成像。在可见光波段随着电荷耦合元件(Charge Couple Device,CCD)以及金属氧化物半导体元件(ComplementaryMetal-Oxide Semiconductor,CMOS)的不断发展,高分辨率、低功耗的可见光图像传感器阵列已经比较成熟。与此同时,由于在红外和太赫兹波段由于材料和频率的特殊性,面阵传感器存在许多问题,无法实现低成本、高分辨率成像。奈奎斯特采样定理(Nyquist SamplingTheorem)是成像技术从模拟转变为数字处理的理论基础。该定理指出任何信号进行数字化的过程采样率必须大于等于原始信号最高频率的两倍。一般情况下图像信号具有较大的带宽,而且需要在成像端高速采样。因此图像信号对于采样率要求更高,同时海量的图像数据在存储和传输方面又对传统的方法提出新的要求。
传统的图像传输过程中,采集的数据经过压缩之后,只保留下一部分有效信息,这无疑造成数据采集、资源存储和物力成本上的浪费。为了解决上述问题,研究人员将压传感相关理论应用于成像领域,单像素成像由此出现。单像素成像又名鬼成像,可以使用不具备空间分辨能力的单像素探测器获得具有空间分辨率的物体图像,通过测量反射或者投射光强计算物体图像的方式,具有比传统成像方式更强的抗噪能力,并且在特殊波段具有了更高的信噪比和更低的成本。2006年由美国RICE大学的研究人员设计出单像素相机,利用数字微镜阵列实现对于光学图像的线性采样,通过,单个探测器元件测量采样值,之后利用重构算法重构出目标图像。单像素相机将图像采集和压缩合二为一,降低了系统规模、成本、复杂度,节省了存储资源,同时能适用于传统方法无法拍摄的非可见光领域。单像素成像需要投影掩膜图案,最为常见的是应用随机高斯矩阵的掩膜图案,然而灰度模板的不断导入及更新需要耗费大量的时间,因此迫切需要一种更为便捷快速、操作简易的模板生成方法,缩短单像素系统的重建时间,提高重建效率。
发明内容
本发明的目的是克服现有方法的不足,提出了一种基于数字微镜的高斯矩阵二值表示方法,该方法便捷高效、鲁棒性强,有利于实现数字微镜成像系统精准、便捷的单像素重建过程。
本发明所采用的技术方案是:一种基于数字微镜高斯矩阵二值表示的单像素成像方法,该方法基于数字微镜成像系统实现,系统包括单像素探测器、汇聚透镜、全内反射棱镜(TIR)、数字微镜器件(DMD)、双胶合消色差透镜、被测物体、处理器,数据采集卡,其特征在于,该方法通过将8位高斯随机矩阵转换为0-1二值矩阵,生成图像掩膜投影在DMD上,捕捉微镜阵列各点光强进行单像素成像;该单像素系统具体成像流程为:待测物体通过一个凸透镜和全内反射棱镜将光强信号反射到DMD表面,DMD接收物体光强信号并进行空间光调制;经调制光强信号再次通过全反射透镜和另一个汇聚透镜,单像素探测器接收调制后光强信号;数据经过采集卡传输进入上位机,采用算法进行单像素重建;
具体设计过程如下:
步骤一:DMD分辨率为M1*N1,生成尺寸一致的初始矩阵;生成随机高斯矩阵MGauss,随机高斯矩阵服从高斯分布,高斯分布满足以下公式:
其中随机变量x服从位置参数为μ,尺度参数为σ的概率分布;生成随机高斯矩阵大小为M2*N2,与重建图像尺寸一致;对初始矩阵进行分块操作得到分块矩阵,尺寸为(M1/M2)*(N1/N2),记为S;
步骤二:对矩阵元素进行重新赋值,分块矩阵的最小分辨力为1/S,获得过渡矩阵M_Media,大小与随机高斯矩阵一致,其中各个元素数值通过下式获得:
E(I,J)=ceil(e(i,j)/(1/S))
其中E(I,J)为过渡矩阵某个随机位置元素数值大小,e(i,j)为随机高斯矩阵对应过渡矩阵位置元素数值大小,ceil()为特定函数,返回大于或等于指定表达式的最小整数,计算获得过渡矩阵元素数值;
步骤三:对每一个分块矩阵进行0-1随机赋值,其中每个分块矩阵中0-1个数与M_Media中元素位置匹配,M_Media对应元素数值大小为分块矩阵中置1数量,置1位置随机生成,得到二值表示的伪随机矩阵M_Pseudo,矩阵大小为M1*N1;
步骤四:重复步骤一到步骤三,生成α*M2*N2个伪随机矩阵掩膜图案并进行顺序编号,α为采样率;
步骤五:按顺序投影上述矩阵序列掩膜图案,利用探测器捕捉光强信号,采样过程满足压缩感知原理如下式所示:
y=φx
其中y为测量值,φ为测量矩阵,x为原始信号;向DMD芯片加载掩膜图案序列,微镜阵列共翻转α*M2*N2次,单像素探测器捕捉待测物体光强信号,生成测量值矩阵,尺寸为(α*M2*N2)*1;
步骤六:采用正交匹配跟踪的方法(OMP)进行单像素重建,OMP关键步骤原理如下式所示:
本发明的有益效果是:
本发明方法经证实适应性强、可靠性高,用二值图像表示灰度图像,降低图像大小,减小图像序列所需要的存储空间,提高单像素重建效率和图像质量。
附图说明
图1为实施例提及的数字微镜成像系统光路结构示意图。
图2为实施例提及的高斯矩阵二值表示的单像素成像方法流程图。
图3为实施例提及矩阵部分数值显示,其中(a)为随机高斯矩阵部分数值显示,(b)为过渡矩阵部分数值显示。
图4为实施例仿真随机高斯矩阵二值表示中部分分块矩阵表示,其中value代表该分块矩阵对应随机高斯矩阵元素数值大小,num代表分块矩阵对应过渡矩阵元素数值大小。
图5为实施例随机高斯矩阵对应掩膜图案示意图。
图6为实施例二值伪随机高斯矩阵对应掩膜图案示意图。
图7为实施例单像素重建图像结果示意图,其中(a)为基于随机高斯矩阵单像素重建图像,(b)为基于二值伪随机矩阵单像素重建图像。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
一种基于数字微镜高斯矩阵二值表示的单像素成像方法,该方法基于数字微镜成像系统实现,系统包括单像素探测器、汇聚透镜、全内反射棱镜(TIR)、数字微镜(DMD)、双胶合消色差透镜、被测物体、处理器,数据采集卡,其特征在于,该方法通过将8位高斯随机矩阵转换为0-1二值矩阵,生成图像掩膜投影在DMD上,捕捉微镜阵列各点光强进行单像素成像;该单像素系统具体成像流程为:待测物体通过一个凸透镜和全内反射棱镜将光强信号反射到DMD表面,DMD接收物体光强信号并进行空间光调制;经调制光强信号再次通过全反射透镜和另一个汇聚透镜,单像素探测器接收调制后光强信号;数据经过采集卡传输进入上位机,采用算法进行单像素重建;
本实施例对黑底白色英文字母R进行单像素成像,通过二值表示方法生成掩膜图案,投影获得光强信号,采用二维信号展开的方式,将二维信号展开生成一维信号,以实现该图案的单像素压缩感知成像。
步骤一:DMD分辨率为1920*1080,生成尺寸一致的初始矩阵;生成随机高斯矩阵M_Gauss,随机高斯矩阵服从高斯分布,高斯分布满足以下公式:
其中随机变量x服从位置参数为μ,尺度参数为σ的概率分布;生成随机高斯矩阵大小为64*64,与重建图像尺寸一致;对初始矩阵进行分块操作得到分块矩阵,尺寸为30*16,记为S;
步骤二:对矩阵元素进行重新赋值,分块矩阵的最小分辨力为1/480,获得过渡矩阵M_Media,大小与随机高斯矩阵一致,其中各个元素数值通过以下公式获得:
E(I,J)=ceil(e(i,j)/(1/S))
其中E(I,J)为过渡矩阵某个随机位置元素数值大小,e(i,j)为随机高斯矩阵对应过渡矩阵位置元素数值大小,ceil()为特定函数,返回大于或等于指定表达式的最小整数,计算获得过渡矩阵元素数值;
步骤三:对每一个分块矩阵进行0-1随机赋值,其中每个分块矩阵中0-1个数与M_Media中元素位置匹配,M_Media对应元素数值大小为分块矩阵中置1数量,置1位置随机生成,得到二值表示的伪随机矩阵M_Pseudo,矩阵大小为1920*1080;
步骤四:重复步骤一到步骤三,生成α*4096个伪随机矩阵并进行顺序编号,α为采样率;
步骤五:按顺序投影上述矩阵序列掩膜图案,利用探测器捕捉光强信号,采样过程满足压缩感知原理如下式所示:
y=φx
其中y为测量值,φ为测量矩阵,x为原始信号;向DMD芯片加载测量矩阵序列,微镜阵列共翻转α*4096次,单像素探测器捕捉待测物体光强信号,生成测量值矩阵,尺寸为(α*4096)*1;
步骤六:采用正交匹配跟踪的方法(OMP)进行单像素重建,迭代计算获得被测物体原始光强信号,生成图像矩阵,重建图像分辨率大小为64*64。
本实施例搭建单像素重建系统理论结构示意图如图1所示,DMD型号为DLP6500,分辨率为1920*1080,单点探测器为索雷博PDA100A,由于信号很小,采用50dB增益进行采样,整体设计思路流程图如图2所示;
随机高斯矩阵大小为64*64,即分块矩阵大小为30*16,其中图3中的(a)和(b)为实施例采用随机高斯矩阵以及对应过渡矩阵;
分块矩阵二值化过程如图4所示;
生成8位随机高斯矩阵掩膜图案(图5)与二值化为随机高斯矩阵掩膜图案(图6);
运用压缩感知重建方法进行单像素重建如图7所示,(a)为基于随机高斯矩阵单像素重建图像,(b)为基于二值伪随机矩阵单像素重建图像。其中采样率α为0.25,即采样点个数为1024,重建图像为黑底白字字母R,重建图像大小为64*64,比较重建效果;
本实施例所述的一种基于数字微镜的高斯矩阵二值表示方法,相比于直接投影灰度掩膜图案,本发明方法将灰度图像转换为二值图像,合成掩膜序列加载到DMD中,操作方便、节省时间,缩短了DMD单像素成像系统投影时间,提高重建效率;同时实验结果表示,本发明方法具有良好的可视性和鲁棒性。
虽然在本文中选取了特定的实施方式来描述本发明,但是应该理解的是,这些实施例仅是本发明的原理和应用的示例,可以对示例性的实施例进行许多修改,并且可以设计出其他的布置,只要不偏离所附权利要求所限定的本发明的精神和范围,这些均属于本发明的保护范围之内。
Claims (1)
1.一种基于数字微镜高斯矩阵二值表示的单像素成像方法,该方法基于数字微镜成像系统实现,系统包括单像素探测器、汇聚透镜、全内反射棱镜(TIR)、数字微镜(DMD)、双胶合消色差透镜、被测物体、处理器,数据采集卡,其特征在于,该方法通过将8位高斯随机矩阵转换为0-1二值矩阵,生成图像掩膜投影在DMD上,捕捉微镜阵列各点光强进行单像素成像;该单像素系统具体成像流程为:待测物体通过一个凸透镜和全内反射棱镜将光强信号反射到DMD表面,DMD接收物体光强信号并进行空间光调制;经调制光强信号再次通过全反射透镜和另一个汇聚透镜,单像素探测器接收调制后光强信号;数据经过采集卡传输进入上位机,采用算法进行单像素重建;
具体设计过程如下:
步骤一,DMD分辨率为M1*N1,生成尺寸一致的初始矩阵;生成随机高斯矩阵M_Gauss,随机高斯矩阵服从高斯分布,高斯分布满足以下公式:
其中随机变量x服从位置参数为μ,尺度参数为σ的概率分布;生成随机高斯矩阵大小为M2*N2,与重建图像尺寸一致;对初始矩阵进行分块操作得到分块矩阵,尺寸为(M1/M2)*(N1/N2),记为S;
步骤二,对矩阵元素进行重新赋值,分块矩阵的最小分辨力为1/S,获得过渡矩阵M_Media,大小与随机高斯矩阵一致,其中各个元素数值通过以下公式获得:
E(I,J)=ceil(e(i,j)/(1/S))
其中E(I,J)为过渡矩阵某个随机位置元素数值大小,e(i,j)为随机高斯矩阵对应过渡矩阵位置元素数值大小,ceil()为特定函数,返回大于或等于指定表达式的最小整数,计算获得过渡矩阵元素数值;
步骤三,对每一个分块矩阵进行0-1随机赋值,其中每个分块矩阵中0-1个数与M_Media中元素位置匹配,M_Media对应元素数值大小为分块矩阵中置1数量,置1位置随机生成,得到二值表示的伪随机矩阵M_Pseudo,矩阵大小为M1*N1;
步骤四,重复步骤一到步骤三,生成α*M2*N2个伪随机矩阵掩膜图案并进行顺序编号,α为采样率;
步骤五,按顺序投影上述矩阵序列掩膜图案,利用探测器捕捉光强信号,采样过程满足压缩感知原理如下式所示:
y=φx
其中y为测量值,φ为测量矩阵,x为原始信号;向DMD芯片加载掩膜图案序列,微镜阵列共翻转α*M2*N2次,单像素探测器捕捉待测物体光强信号,生成测量值矩阵,尺寸为(α*M2*N2)*1;
步骤六,采用正交匹配跟踪的方法(OMP)进行单像素重建,OMP关键步骤原理公式如下所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210720800.5A CN115272098A (zh) | 2022-06-24 | 2022-06-24 | 一种基于数字微镜高斯矩阵二值表示的单像素成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210720800.5A CN115272098A (zh) | 2022-06-24 | 2022-06-24 | 一种基于数字微镜高斯矩阵二值表示的单像素成像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115272098A true CN115272098A (zh) | 2022-11-01 |
Family
ID=83762071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210720800.5A Pending CN115272098A (zh) | 2022-06-24 | 2022-06-24 | 一种基于数字微镜高斯矩阵二值表示的单像素成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115272098A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078803A (zh) * | 2023-10-16 | 2023-11-17 | 北京龙德缘电力科技发展有限公司 | 一种基于svg的一次图快速绘制方法 |
-
2022
- 2022-06-24 CN CN202210720800.5A patent/CN115272098A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078803A (zh) * | 2023-10-16 | 2023-11-17 | 北京龙德缘电力科技发展有限公司 | 一种基于svg的一次图快速绘制方法 |
CN117078803B (zh) * | 2023-10-16 | 2024-01-19 | 北京龙德缘电力科技发展有限公司 | 一种基于svg的一次图快速绘制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11050963B2 (en) | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure | |
Zhang | Image processing | |
CN110646810B (zh) | 一种散斑优化压缩感知鬼成像方法及系统 | |
EP3129813B1 (en) | Low-power image change detector | |
US20130070138A1 (en) | Number Of Pixels In Detector Arrays Using Compressive Sensing | |
WO2017003477A1 (en) | Method and apparatus for on-chip per-pixel pseudo-random time coded exposure | |
CN104121990A (zh) | 基于随机光栅的压缩感知宽波段高光谱成像系统 | |
CN106993121B (zh) | 一种基于压缩感知的高光谱图像采集成像系统与控制方法 | |
CN102186025B (zh) | 基于压缩感知的cmos成像测量值获取系统及其方法 | |
CN104992424B (zh) | 一种基于离散余弦变换的单像素快速主动成像系统 | |
CN114721006B (zh) | 高精度单像素成像方法及系统 | |
CN107817641A (zh) | 基于多模光纤的单像素相机系统 | |
CN108156399A (zh) | 基于压缩感知理论的单像素相机视频成像系统 | |
Howland et al. | Compressive sensing LIDAR for 3D imaging | |
CN111833265A (zh) | 一种基于组稀疏循环调制的鬼成像图像恢复方案 | |
CN115272098A (zh) | 一种基于数字微镜高斯矩阵二值表示的单像素成像方法 | |
JP2017522815A (ja) | 一体化された圧縮センシングを有する読み出し集積回路 | |
CN105182359A (zh) | 一种星载Lidar 超混沌压缩感知高空间分辨率成像方法 | |
JP5809627B2 (ja) | 動画像から静止画像を取得するためのシステム及び方法 | |
CN107071312B (zh) | 基于脉冲宽度调制的压缩感知cmos图像传感器 | |
CN108881732A (zh) | 基于双尺度矩阵算法的单像素相机高质量视频成像系统 | |
CN111443358A (zh) | 单点探测成像系统 | |
Aßmann et al. | Parallel block compressive LiDAR imaging | |
Yu et al. | A portable single-pixel camera based on coarse-to-fine coding light | |
Sankaranarayanan et al. | Compressive sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |