CN107817641A - 基于多模光纤的单像素相机系统 - Google Patents

基于多模光纤的单像素相机系统 Download PDF

Info

Publication number
CN107817641A
CN107817641A CN201710582132.3A CN201710582132A CN107817641A CN 107817641 A CN107817641 A CN 107817641A CN 201710582132 A CN201710582132 A CN 201710582132A CN 107817641 A CN107817641 A CN 107817641A
Authority
CN
China
Prior art keywords
single pixel
pixel camera
camera system
light
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710582132.3A
Other languages
English (en)
Other versions
CN107817641B (zh
Inventor
肖君军
吴波
吴绍华
张田田
刘承徽
罗斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201710582132.3A priority Critical patent/CN107817641B/zh
Publication of CN107817641A publication Critical patent/CN107817641A/zh
Application granted granted Critical
Publication of CN107817641B publication Critical patent/CN107817641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Communication System (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种基于多模光纤的单像素相机系统,它具有高信噪比、光路结构简单、可拓展性强的优点,主要包括DMD调制、数据采集、算法恢复三个部分。具体来讲,传统单像素相机系统,利用透镜将经过DMD调制后的光汇聚到单元探测器感光面中,再进行A/D转换为相应光强值,结合观测矩阵一起导入恢复算法即可成像;而这种利用普通透镜的方法往往会给实验结果带来很大的噪声干扰,除了系统噪声和环境噪声,在光传播过程当中,由于透镜对空间光的汇聚产生的像差、光的色散、环境光的影响都会降低系统信噪比。在此基础上利用多模光纤不但可以降低光在空间中传输的损耗,还可以实现特定波段的单像素成像,只需要更换成特定的传输波长光纤即可。

Description

基于多模光纤的单像素相机系统
技术领域
本发明属于光学成像系统以及图像处理领域,尤其涉及一种单像素相 机系统。
背景技术
在科技迅速发展的今天,人们所需要获取的信息数据量成指数增长的 同时,对传统的数据获取技术也提出了很大的挑战。在成像技术方面,比 如MRI、数码相机,数码相机上COMOS阵列传感器收集了大量的数据,然 后再经过压缩丢弃掉90%的数据,这种处理数据方式造成了资源存储空间的 浪费,如果在数据采集的过程中收集大量的数据只是为了随后的删除,那 么为什么不一开始就丢弃占比很大的冗余信息,只采集很少一部分数据并且可以从这些少量数据中就可以解压出大量与原始相关的信息。
2006年由Candes、Romberg、Tao和Donoho等人(参考非专利文献1: Donoho DL.Compressed sensing.IEEE Transactions onInformation Theory, 2006,52(4):1289-1306)提出一种新型原始信号或者图像进行精确重构的理 论──压缩感知理论,是一种通过对信号的高度不完备线性测量的高精确的 重建技术。2006年,由美国RICE大学科研组将压缩感知理论应用于成像, 并且设计出单像素相机模型,利用数字微镜阵列(DMD)的实时翻转和单 元光电探测器分别对光路进行调制以及测量光强值,在PC端将经过A/D转 换的电压值与数字微镜翻转对应的测量矩阵导入重构算法恢复出场景图。
单像素相机最大的优点就在于只需要更换一个特定波长,灵敏度更高 的探测器即可将这个系统应用于非可见光领域的应用,很大程度上降低系 统复杂度以及成本。由于国内半导体工艺技术受限,特定波长的探测器阵 列成本昂贵,实现非可见光下大面积阵列传感器的成像存在很多困难,此 时,单像素成像系统提供了一个新的解决思路。
对于传统的单像素相机模型,结构光是通过透镜来收集传播的,特别 是在DMD到探测器的光回路中,由于传统透镜存在像差和球差,再加上周 围环境噪声的干扰,对后期成像质量造成很大的影响。不仅如此,由于单 元探测器的感光面积很小,我们需要根据物体平面的大小和感光面的大小 比来确定透镜的位置,导致对透镜的要求会更高的同时,也不能保证收集 到的光全部进入到感光面内,造成一部分光强信息丢失,直接导致装置信噪比下降,当然,可以通过再购买一些精密的光学移动平台来解决将反射 光全部收集进入感光面内,第一,会增加装置的复杂度,第二,会增加实 验成本,价格比较昂贵。
发明内容
本发明在传统单像素相机的基础上,对其结构光路进行了优化改进, 提出了具有更好信噪比,简化实验装置的基于多模光纤的单像素相机模型。 本发明只需要在DMD到探测器之间的回路加上光纤,再经过转接件连接 到单元探测器的感光面内,就可以同时避免环境光对实验带来的干扰以及 省去了将DMD反射光调入感光面的步骤。
本发明具体通过如下技术方案实现:#
一种基于多模光纤的单像素相机系统,包括:光源、透镜、DMD芯 片、准直镜、多模光纤、光电检测器、采集卡和计算机;所述光源照射到 被测物体上,像面投影到所述DMD芯片的表面,经过所述DMD芯片内 的数字微镜的翻转进行调制,调制光经过所述多模光纤以及准直镜5进入 到所述光电检测器的感光面中;当所述DMD芯片内的数字微镜开始翻转时,同步触发信号通过同轴线缆传送到采集卡上,此时采集卡开始A/D转 换以及将数据传送到所述计算机进行图像恢复处理。
本发明的有益效果是:
1.本发明提出的基于多模光纤的单像素相机系统工作在可见光范围 内。利用光纤的好处在于避免了普通透镜的衍射极限、像差、球差以及环 境噪声带来的干扰。
2.由于本发明的单像素相机可拓展性强,我们所选光源的带宽很宽, 仅仅需要更换特定波长的光纤以及单元探测器即可实现不同波段的成像, 可以不用加滤波片以及更换特定波长的光源,增加了系统光路图的复杂性。
附图说明
图1为哈达码矩阵随机分布示意图;
图2为本发明的基于多模光纤的单像素相机系统示意图;
图3(a)为利用本发明的单像素相机对字母H的恢复效果图;
图3(b)为利用本发明的单像素相机对正方形的恢复效果图;
图4为本发明的单像素相机与传统单像素相机的系统噪声对比图。
具体实施方式
下面结合附图对本发明做进一步说明。
如附图1所示,首先生成一个大小为N×N大小的哈达玛矩阵,然后 随机的从该哈达玛矩阵中选取M行向量,从中选取M行之后得到的部分 哈达玛矩阵具有较强的非相关特性和部分正交性,所以与其他的矩阵相比 较该测量矩阵需要的观测值较少,但是由于哈达玛矩阵自身构建原因,其 维度必须为2的整次幂。
Walsh变换具有以下的特点:快速算法,实数运算,加减法,速度快, 可硬件实现,精度低。
拉德梅克函数:
R(n,t)=sign[sin(2nπt)] (1)
Walsh序列的Walsh函数:
p=log2(N)为序列对应的bit数,为格雷码;Hadamard序列的walsh 函数其中的指数为二进制码的倒序码,进一步拓展得 到:
利用TVAL3(Totvariation Augmented Lagrangian Alternating DirectionAlgorithm),也就 是基于全变分正则化下通过增强拉格朗日函数以及交替方向变换的方法来 实现对目标函数的求解。其主要的优点就是速度快,重建的图像质量较高, 此外该方法灵活,支持多种测量矩阵以及多种的约束条件。
而上述的所有问题的解决就是全变分正则化模型,也就是在压缩感知 理论中需要求解的一个问题,具体的数学形式如下:
其中代表的是离散的信号或者是二维的图像信号,是图像信 号u在像素位置i处的一个离散梯度:
是对应的观测矩阵,b是对于原始的图像的观测值,||·||在这里是l1或l2范数的代表,而TVAL3就是为了解决这样在给定的图像数据u的 情况下类似于周期性、Neumann以及一些边界条件的问题。而我们也看到 上述的模型由于其非可微与非线性的关系就很难在TV(Total variation)的框架 方法下进行求解,而TVAL3就是通过利用增强的拉格朗日函数以及交替 方向变换。
简单的回顾一下等式约束条件下的问题求解:
那么引入拉格朗日乘子之后可以转变为:
▽L(x,λ)=0h(x)=0
L(x,λ)=f(x)-λTh(x) (7)
进一步的简化可以得到:
对其进行二次拓展得到:
在上式中LA(x,λ;μ)就称为是增广的拉格朗日函数,由于引入了二次罚 函数所以对应的增广拉格朗日的函数与标准的拉格朗日函数求解是有很大 的区别的。对应的求解方式由以上的主要流程组成,此外还有一部分要考 虑到的就是在求解的过程中是全局最优的解还是局部最优的解,也是在函 数的迭代求解过程中对于函数本身性能影响较大的几个因素之一。
在上面讨论了拉格朗日的增广函数之后我们可以进一步的将其对应的 函数推广到TV模型的应用上面来,那么我们就会有以下的等式约束问题 需要求解:
其中:
而上述的问题已经转变为一个目标函数的求解问题,那么在这种情况 下我们可以进一步的采用交替方向变换的方法来实现简化,就是先求解w 然后再求解u,最后获得最后结果。
根据上述的推导我们可知,在实际的算法恢复原始图像的过程中对较为复 杂的数学公式进行了分解,然后分步求解最后得到较好的实验结果。
如附图2所示,本发明的基于多模光纤的单像素相机系统的结构示意 图,所述系统包括宽带激光光源1、透镜3、DMD芯片4、准直镜5、多 模光纤6、光电检测器7、ADC8和计算机9,首先宽带激光光源1照射到 物体2上,像面投影到DMD芯片4表面,经过DMD芯片4内的数字微 镜的翻转进行调制,调制光经过准直镜5以及多模光纤6进入到光电检测 器7的感光面中,光电检测器7的感光面大小一般为1mm2。当DMD芯片 4内的数字微镜开始翻转时,同步触发信号会通过同轴线缆传送到采集卡 (即ADC)上,此时采集卡开始A/D转换以及将数据传送到计算机9用 labview编写的恢复界面进行恢复,恢复算法可采用上面提出的算法。
图案10是通过控制DMD内阵列微镜翻转的结果,白色代表1,也就 是可以透过光,黑色代表-1表示吸收光。图2中,a为准直镜5的立体图, b为准直镜5的切面图。准直镜5可为胶合透镜。特别的,阵列微镜翻转 角度为正负12°。
本发明的单像素相机系统采用光纤来收集调制光进入单元探测器的感 光面上,由于单元探测器(即光电探测器单元)的感光面很小,有0.5mm2和1mm2两种型号,而我们所需要恢复的目标是二维平面,利用透镜将二 维平面成像缩小到只有感光面大小很难,并且如果出现汇聚光斑比感光面 大很多的话,会使探测器内光电二极管产生电容效应导致探测器采集数据 不稳定的情况,而利用光纤替换掉采集回路的透镜很好的解决了采集前需 要不断调整光斑在感光面的位置、透镜的像差以及球差导致相平面失真、 环境噪声的干扰等诸多问题,简化了单像素相机光路结构。
在搭建完整个单像素相机系统光路图后,对整个系统的恢复效果进行 展示,如附图3(a)和附图3(b)所示,分别对字母‘H’及正方形进行恢 复,分辨率大小都为32×32,从左到右压缩率分别为0.3、0.5和0.8,只需 要30%的数据就能把物体的轮廓很清楚的呈现出来,而且恢复图片周围的 噪声抑制效果非常好。
为了更好的量化本发明装置对噪声的抑制效果,本发明在光源强度、 室外环境一致的情况下,对传统单像素相机与基于多模光纤的单像素相机 进行对比,如附图4所示,灰色曲线代表本发明装置的噪声大小,黑色曲 线代表传统单像素相机的噪声大小,可以看出,本发明装置的噪声大小为 0.1mv,而利用传统透镜的单像素相机的噪声为8mv,相差一个量级,说 明本发明装置在噪声抑制方面取得了很好的效果,从而提升了整个单像素 相机系统的性能以及防干扰性,能更好的应用于一些成像复杂的环境。
综上所述,利用RICE大学传统单像素相机成像时,往往透镜到探测 器之间的光路非常重要,因为单元探测器的感光面非常小,整个成像的面 积是一个二维的平面场景需要不断的调整像的位置,直到整个像平面能较 好的分布在有效的面积里面,这就是整个系统最为复杂的地方之一,需要 耗费大量的时间去不断的调整,而且光斑大小比感光面大的话,还会引起 光电二极管周边的电容效应,探测器所探测的值越变很大,直接导致恢复 结果收到影响,当然也可以引入精密的光学平台以及XY电动调整仪,就 成本而言,显然需要寻找更合适的方法。在我们的改进系统中采用了光纤 收集来代替透镜,有效的解决汇聚光难以确保完全进入探测器感光面上, 而且降低了实验成本,大大地简化了系统的复杂度,同时具有更好的噪声 抑制与高效数据采集。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说 明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术 领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若 干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于多模光纤的单像素相机系统,包括:光源、透镜、DMD芯片、准直镜、多模光纤、光电检测器、采集卡和计算机,其特征在于:所述光源照射到被测物体上,像面投影到所述DMD芯片的表面,经过所述DMD芯片内的数字微镜的翻转进行调制,调制光经过所述多模光纤以及准直镜进入到所述光电检测器的感光面中;当所述DMD芯片内的数字微镜开始翻转时,同步触发信号通过同轴线缆传送到采集卡上,此时采集卡开始A/D转换以及将数据传送到所述计算机进行图像恢复处理。
2.根据权利要求1所述的单像素相机系统,其特征在于:所述光源为宽带光源,测量矩阵利用哈达玛正交矩阵,恢复算法为TVAL3算法。
3.根据权利要求2所述的单像素相机系统,其特征在于:首先生成一个大小为N×N大小的哈达玛矩阵,然后随机的从该哈达玛矩阵中选取M行向量,选定的部分哈达玛矩阵具有较强的非相关特性和部分正交性,所以与其他的矩阵相比较该测量矩阵需要的观测值较少,但是由于哈达玛矩阵自身构建原因,其维度必须为2的整数次幂。
4.根据权利要求1所述的单像素相机系统,其特征在于:所述单像素相机系统工作在可见光波段。
5.根据权利要求1所述的单像素相机系统,其特征在于:所述光电检测器的感光面大小为1mm2
6.根据权利要求1所述的单像素相机系统,其特征在于:所述计算机用labview编写的恢复界面进行恢复操作。
7.根据权利要求6所述的单像素相机系统,其特征在于:采集的数据经过A/D转换之后,通过USB接口以TDMS格式被Labview编写的采集恢复界面调用,实时的恢复目标物体的图像。
CN201710582132.3A 2017-07-17 2017-07-17 基于多模光纤的单像素相机系统 Active CN107817641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710582132.3A CN107817641B (zh) 2017-07-17 2017-07-17 基于多模光纤的单像素相机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710582132.3A CN107817641B (zh) 2017-07-17 2017-07-17 基于多模光纤的单像素相机系统

Publications (2)

Publication Number Publication Date
CN107817641A true CN107817641A (zh) 2018-03-20
CN107817641B CN107817641B (zh) 2020-07-07

Family

ID=61600851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710582132.3A Active CN107817641B (zh) 2017-07-17 2017-07-17 基于多模光纤的单像素相机系统

Country Status (1)

Country Link
CN (1) CN107817641B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881732A (zh) * 2018-08-29 2018-11-23 哈尔滨工业大学(深圳) 基于双尺度矩阵算法的单像素相机高质量视频成像系统
CN108895985A (zh) * 2018-06-19 2018-11-27 中国科学院合肥物质科学研究院 一种基于单像素探测器的物体定位方法
CN109391321A (zh) * 2018-11-20 2019-02-26 山东大学 一种相位敏感otdr传感中扰动定位方法
CN109903370A (zh) * 2019-01-17 2019-06-18 哈尔滨工业大学 基于双DMD的single-shot叠层相位恢复技术
CN110111271A (zh) * 2019-04-24 2019-08-09 北京理工大学 一种基于侧抑制网络的单像素成像方法
CN110333193A (zh) * 2019-07-23 2019-10-15 无锡迅杰光远科技有限公司 Mems型静态闭环光谱成像系统
CN111443358A (zh) * 2020-03-12 2020-07-24 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 单点探测成像系统
CN111854945A (zh) * 2020-07-31 2020-10-30 重庆邮电大学 一种单像素紫外偏振成像方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977221A (zh) * 2004-05-31 2007-06-06 富士胶片株式会社 图案形成方法及滤色片的制造方法以及滤色片及液晶显示装置
CN103575396A (zh) * 2013-11-19 2014-02-12 中国科学院空间科学与应用研究中心 基于压缩感知和Hadamard变换的成像光谱系统及方法
JP2016201722A (ja) * 2015-04-13 2016-12-01 株式会社 日立産業制御ソリューションズ 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1977221A (zh) * 2004-05-31 2007-06-06 富士胶片株式会社 图案形成方法及滤色片的制造方法以及滤色片及液晶显示装置
CN103575396A (zh) * 2013-11-19 2014-02-12 中国科学院空间科学与应用研究中心 基于压缩感知和Hadamard变换的成像光谱系统及方法
JP2016201722A (ja) * 2015-04-13 2016-12-01 株式会社 日立産業制御ソリューションズ 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANTONIO M.等: "Single multimode fiber endoscope", 《OPTICS EXPRESS》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108895985A (zh) * 2018-06-19 2018-11-27 中国科学院合肥物质科学研究院 一种基于单像素探测器的物体定位方法
CN108881732A (zh) * 2018-08-29 2018-11-23 哈尔滨工业大学(深圳) 基于双尺度矩阵算法的单像素相机高质量视频成像系统
CN109391321B (zh) * 2018-11-20 2021-05-18 山东大学 一种相位敏感otdr传感中扰动定位方法
CN109391321A (zh) * 2018-11-20 2019-02-26 山东大学 一种相位敏感otdr传感中扰动定位方法
CN109903370A (zh) * 2019-01-17 2019-06-18 哈尔滨工业大学 基于双DMD的single-shot叠层相位恢复技术
CN110111271A (zh) * 2019-04-24 2019-08-09 北京理工大学 一种基于侧抑制网络的单像素成像方法
CN110111271B (zh) * 2019-04-24 2021-06-22 北京理工大学 一种基于侧抑制网络的单像素成像方法
CN110333193B (zh) * 2019-07-23 2020-07-07 无锡迅杰光远科技有限公司 Mems型静态闭环光谱成像系统
CN110333193A (zh) * 2019-07-23 2019-10-15 无锡迅杰光远科技有限公司 Mems型静态闭环光谱成像系统
CN111443358A (zh) * 2020-03-12 2020-07-24 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 单点探测成像系统
CN111443358B (zh) * 2020-03-12 2022-06-03 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 单点探测成像系统
CN111854945A (zh) * 2020-07-31 2020-10-30 重庆邮电大学 一种单像素紫外偏振成像方法及系统
CN111854945B (zh) * 2020-07-31 2021-05-04 重庆邮电大学 一种单像素紫外偏振成像方法及系统

Also Published As

Publication number Publication date
CN107817641B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN107817641A (zh) 基于多模光纤的单像素相机系统
Moreau et al. Ghost imaging using optical correlations
CN104154878B (zh) 一种使用单像素探测器的光学成像方法
Fu et al. Joint camera spectral response selection and hyperspectral image recovery
CN108156399A (zh) 基于压缩感知理论的单像素相机视频成像系统
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
Zhang et al. Fast parallel implementation of dual-camera compressive hyperspectral imaging system
JP2013535931A (ja) 圧縮撮像装置の画像取得時間の減少
CN110646810A (zh) 一种散斑优化压缩感知鬼成像方法及系统
WO2012174940A1 (zh) 一种极弱光多光谱成像方法及其系统
CN106993121B (zh) 一种基于压缩感知的高光谱图像采集成像系统与控制方法
Howard et al. Hyperspectral compressive wavefront sensing
CN104992424A (zh) 一种基于离散余弦变换的单像素快速主动成像系统
CN108881732A (zh) 基于双尺度矩阵算法的单像素相机高质量视频成像系统
EP3700197A1 (en) Imaging device and method, and image processing device and method
CN115307733A (zh) 一种空间维编码光谱偏振一体化成像系统及其设计方法
CN112113661B (zh) 一种深度学习型快照式光谱成像装置及其探测方法
CN103954357B (zh) 压缩光谱成像系统测量矩阵的获取方法
CN107948461A (zh) 基于压缩感知和正交调制实现多图像在qr码中的隐藏
Li et al. A binary sampling Res2net reconstruction network for single-pixel imaging
CN114659634A (zh) 微型快照式压缩光谱成像探测装置及探测方法
CN113884234A (zh) 一种互补单像素质心探测系统及方法
Zhang et al. First arrival differential lidar
Li et al. Polarized color image denoising
CN102768070B (zh) 一种互补测量的单光子计数成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant