CN108616686B - 一种全哈达玛矩阵编码成像方法 - Google Patents

一种全哈达玛矩阵编码成像方法 Download PDF

Info

Publication number
CN108616686B
CN108616686B CN201611136193.9A CN201611136193A CN108616686B CN 108616686 B CN108616686 B CN 108616686B CN 201611136193 A CN201611136193 A CN 201611136193A CN 108616686 B CN108616686 B CN 108616686B
Authority
CN
China
Prior art keywords
matrix
hadamard
coding
positive
negative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611136193.9A
Other languages
English (en)
Other versions
CN108616686A (zh
Inventor
韩静
吴传奇
岳江
张毅
柏连发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201611136193.9A priority Critical patent/CN108616686B/zh
Publication of CN108616686A publication Critical patent/CN108616686A/zh
Application granted granted Critical
Publication of CN108616686B publication Critical patent/CN108616686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种全哈达玛矩阵编码成像方法。通过矩阵运算分别提取出哈达玛矩阵中的+1和‑1两种元素，使哈达玛矩阵拆分为可在光路中实现的哈达玛正矩阵和哈达玛负矩阵，使用哈达玛正矩阵和哈达玛负矩阵对图像信号进行编码；解码时，把哈达玛正矩阵编码得到的测量值与哈达玛负矩阵编码得到的测量值相减，再经过矩阵运算重建出图像。本发明方法在光路调制中实现了哈达玛矩阵，大大提高了成像的灵敏度和信噪比。

Description

一种全哈达玛矩阵编码成像方法
技术领域
本发明属于微弱信号探测与成像技术领域，具体涉及一种编码成像的编码方法。
背景技术
编码成像解决的是微光信号的探测与成像问题。编码成像利用数字微镜器件DMD在光路系统中对图像信号进行像素级的组合测量，控制数字微镜器件DMD翻转的编码矩阵决定了组合测量方式。
目前，广泛使用的编码矩阵为循环矩阵，循环矩阵由哈达玛矩阵变形而来。但是理论最优编码矩阵为哈达玛矩阵，哈达玛矩阵由+1和-1两种元素组成，实际光路中无法实现，而循环矩阵由+1和0两种元素组成，实际光路容易实现，因此目前广泛使用循环矩阵作为编码成像的编码矩阵。但是循环矩阵的信噪比提升能力比哈达玛矩阵的信噪比提升能力低的多。
高玲肖等在《红外与激光工程[J]》.2013,42(11)发表的“互补S矩阵在DMD光谱仪中噪声改善的研究”一文中，对现有的循环矩阵编码方法进行改进，通过建立两个互补的循环矩阵来进行编码，该方法虽然相比于循环矩阵编码能够进一步提升信噪比，但仍然以循环矩阵编码为基础，而不是从理论最优编码矩阵哈达玛矩阵为出发点，因此提升的信噪比有限，还有很大的信噪比提升空间。
哈达玛矩阵编码具有高信噪比特性，但是不能直接在实际光路中实现，而循环矩阵编码在光路中容易实现，但是信噪比提升不够理想。这些事实成为编码成像选择编码矩阵时的一对矛盾。如何化解上述矛盾，找到一个能在实际光路中实现并且能够逼近或者达到理论最优的信噪比提升比例已成为当今编码成像领域亟待解决的关键难题之一。
发明内容
本发明针对现有的循环矩阵编码方法对信噪比的提升幅度不够大的问题，提出一种全哈达玛矩阵编码成像方法，该方法间接实现了理论最优编码矩阵编码，进一步提升了信噪比。
为了解决上述技术问题，本发明提供一种全哈达玛矩阵编码成像方法，编码时，成像系统光路中的数字微镜器件按照哈达玛正矩阵H+和哈达玛负矩阵H-的编码方式对光路进行调制；解码时，根据哈达玛正矩阵H+编码得到的测量值与哈达玛负矩阵H-编码得到的测量值重建出图像；
所述哈达玛正矩阵H+和哈达玛负矩阵H-通过下式获得，
Figure BDA0001176972070000021
Figure BDA0001176972070000022
其中，ones为全1矩阵，H为哈达玛矩阵；
所述根据哈达玛正矩阵H+编码得到的测量值与哈达玛负矩阵H-编码得到的测量值重建出图像的方法如下式所示，
X＝H-1·Y
其中，向量X为重建图像的真实灰度值，向量Y为哈达玛正矩阵H+编码得到的测量值与哈达玛负矩阵H-编码得到的测量值之差，矩阵H-1为哈达玛矩阵H的逆矩阵。
进一步，在数字微镜器件对光路进行调制前，先把哈达玛正矩阵H+和哈达玛负矩阵H-的每一行数据建成n×n的矩阵；然后把n×n的矩阵放大n倍；数字微镜器件按照放大后的矩阵控制其微镜进行翻转，以实现对图像的编码。
进一步，将向量X重建为n×n的矩阵并进行线性插值放大处理，以完成图像重建。
本发明与现有技术相比，其显著优点在于，本发明方法通过对理论最优矩阵哈达玛矩阵进行矩阵运算，将其拆分为两个可实现的矩阵，解决了哈达玛矩阵编码在实际光路中的不可实现性；同时，本发明使用哈达玛矩阵进行编码成像，调高了信噪比。
附图说明
图1是本发明方法流程示意图。
图2是使用本发明方法编码出的编码图案中的某一个图案样本。
图3是使用本发明方法对目标场景进行重建后的图像。
图4是使用传统的循环矩阵编码方法对目标场景进行重建后的图像。
具体实施方式
容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明全哈达玛矩阵编码成像方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。
为了在光路中实现哈达玛矩阵，本发明首先通过矩阵运算分别提取出哈达玛矩阵中的+1和-1两种元素，使哈达玛矩阵拆分为两个可实现的矩阵，本发明把这两个可实现的矩阵命名为哈达玛正矩阵和哈达玛负矩阵。然后利用哈达玛正矩阵和哈达玛负矩阵对图像信号实行编码。最后解码时把哈达玛正矩阵编码得到的测量值与哈达玛负矩阵编码得到的测量值相减，再经过矩阵运算、图像重建得到高灵敏高信噪比的图像。
哈达玛正矩阵和哈达玛负矩阵是通过哈达玛矩阵与全1矩阵(元素全为1的矩阵)之间的矩阵运算来得到的。以8阶哈达玛矩阵为例进行介绍说明，标准的8阶哈达玛矩阵H8为：
Figure BDA0001176972070000031
本发明将8阶哈达玛矩阵H8矩阵拆分为8阶哈达玛正矩阵
Figure BDA0001176972070000032
和8阶哈达玛负矩阵
Figure BDA0001176972070000033
简单地说就是将哈达玛矩阵中的+1和-1分别提取到两个矩阵中，提取过程可用以下数学公式实现：
Figure BDA0001176972070000034
Figure BDA0001176972070000035
其中，ones8为8阶全1矩阵，将8阶哈达玛矩阵H8代入以上两个公式即可以获得如下所示的8阶哈达玛正矩阵
Figure BDA0001176972070000036
和8阶哈达玛负矩阵
Figure BDA0001176972070000037
Figure BDA0001176972070000041
Figure BDA0001176972070000042
和
Figure BDA0001176972070000043
都是在实际光路中可以实现的矩阵，矩阵中的元素1所在的矩阵位置分别对应哈达玛矩阵中元素1和元素-1所在的矩阵位置。
假设要获得一幅8像素图像，令向量X＝(x1,x2,x3,x4,x5,x6,x7,x8)T为该图像的真实灰度值，向量Y＝(y1,y2,y3,y4,y5,y6,y7,y8)T为8阶哈达玛正矩阵
Figure BDA0001176972070000044
对该图形进行编码得到的测量值与8阶哈达玛负矩阵
Figure BDA0001176972070000045
对该图形进行编码得到的测量值之差，向量ε＝(ε1,ε2,ε3,ε4,ε5,ε6,ε7,ε8)T为噪声，则具有下式所示的关系，
Y＝H8·X+ε
Figure BDA0001176972070000046
和
Figure BDA0001176972070000047
都是在实际光路中可以实现的矩阵，
Figure BDA0001176972070000048
和
Figure BDA0001176972070000049
都为8阶矩阵，每一行数据可以用来进行一次编码，需要进行八次编码。以第二次编码(用矩阵的第二行数据编码)为例，令y2为哈达玛矩阵H8编码得到的测量值，
Figure BDA00011769720700000410
为哈达玛正矩阵
Figure BDA00011769720700000411
编码得到的测量值，
Figure BDA00011769720700000412
为哈达玛负矩阵
Figure BDA00011769720700000413
编码得到的测量值，则有以下关系式：
y2＝x1-x2+x3-x4+x5-x6+x7-x8
Figure BDA00011769720700000414
Figure BDA00011769720700000415
其它的七次编码也类似，也就是说可以通过哈达玛正矩阵编码和哈达玛负矩阵编码来模拟出哈达玛矩阵“编码”，所得结果一样。用数学公式表示为：
Figure BDA00011769720700000416
实施例
步骤一：搭建成像系统光路。该成像系统光路为常见的光路，光线从物镜进入光路，再经透镜聚焦照射到数字微镜器件DMD上，数字微镜器件DMD按照哈达玛正矩阵和哈达玛负矩阵的编码方式对光路进行调制，经聚焦透镜聚焦到单点探测器上，单点探测器的信号经信号处理器后传到PC机进行计算，重建出图像。
步骤二：光路搭建完成后，利用matlab计算并生成哈达玛正矩阵和哈达玛负矩阵。哈达玛正矩阵和哈达玛负矩阵可根据情况选择不同的矩阵阶数。本实施例利用256阶矩阵进行编码，256阶哈达玛矩阵H256如下所示：
Figure BDA0001176972070000051
利用以下两个公式计算出256阶哈达玛正矩阵
Figure BDA0001176972070000052
和256阶哈达玛负矩阵
Figure BDA0001176972070000053
Figure BDA0001176972070000054
Figure BDA0001176972070000055
计算得到的256阶哈达玛正矩阵
Figure BDA0001176972070000056
和256阶哈达玛负矩阵
Figure BDA0001176972070000057
分别如下所示，
Figure BDA0001176972070000058
步骤三：数字微镜器件DMD按照256阶哈达玛正矩阵
Figure BDA0001176972070000059
和256阶哈达玛负矩阵
Figure BDA00011769720700000510
的编码方式对图像信号进行编码。首先把256阶哈达玛正矩阵
Figure BDA00011769720700000511
和256阶哈达玛负矩阵
Figure BDA00011769720700000512
的每一行数据重建成16×16的矩阵；然后把得到的16×16的矩阵放大16倍，放大的目的是为了使编码的区域足够大，因此也可根据情况选择不同的放大倍数；最后DMD按照放大后的矩阵控制DMD上面的微镜进行翻转，从而实现对图像信号的编码。其中一个编码图案如图2所示。
步骤四：解码计算并重建图像。令向量X＝(x1,x2,x3,…,x255,x256)T为重建图像的真实灰度值，向量Y＝(y1,y2,y3,…,y255,y256)T为哈达玛正矩阵
Figure BDA0001176972070000061
编码得到的测量值与哈达玛负矩阵
Figure BDA0001176972070000062
编码得到的测量值之差，向量ε＝(ε1,ε2,ε3,…,ε255,ε256)T为噪声，它们之间的关系为：
Figure BDA0001176972070000063
解码计算公式为
Figure BDA0001176972070000064
其中矩阵
Figure BDA0001176972070000065
为矩阵H256的逆矩阵。将X重建为16×16的矩阵并进行线性插值放大处理，完成图像的重建。
本申请在相同的光照条件下，将本发明方法与传统的循环矩阵编码成像方法进行比较，图3和图4是本实验在微弱光照条件下重建获得的目标图像。可以看出，本发明方法信噪比提升的幅度比传统的循环矩阵编码方法要大的多，获得的重建图像结果比较理想。
本发明方法经多次实验验证，得到的实验结果很理想。使用本发明方法能够在微弱光照条件下获得理想的成像效果，可广泛应用于军事探测、生物医学等弱光场景，具有很好的应用前景。

Claims (1)

1.一种全哈达玛矩阵编码成像方法，其特征在于，编码时，成像系统光路中的数字微镜器件按照哈达玛正矩阵H+和哈达玛负矩阵H-的编码方式对光路进行调制；解码时，根据哈达玛正矩阵H+编码得到的测量值与哈达玛负矩阵H-编码得到的测量值重建出图像；
所述哈达玛正矩阵H+和哈达玛负矩阵H-通过下式获得，
Figure FDA0002473564940000011
Figure FDA0002473564940000012
其中，ones为全1矩阵，H为哈达玛矩阵；
所述根据哈达玛正矩阵H+编码得到的测量值与哈达玛负矩阵H-编码得到的测量值重建出图像的方法如下式所示，
X＝H-1·Y
其中，向量X为重建图像的真实灰度值，向量Y为哈达玛正矩阵H+编码得到的测量值与哈达玛负矩阵H-编码得到的测量值之差，矩阵H-1为哈达玛矩阵H的逆矩阵；
先把哈达玛正矩阵H+和哈达玛负矩阵H-的每一行数据建成n×n的矩阵；然后把n×n的矩阵放大n倍；数字微镜器件按照放大后的矩阵控制其微镜进行翻转，以实现对图像的编码；
将向量X重建为n×n的矩阵并进行线性插值放大处理，以完成图像重建。
CN201611136193.9A 2016-12-12 2016-12-12 一种全哈达玛矩阵编码成像方法 Active CN108616686B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611136193.9A CN108616686B (zh) 2016-12-12 2016-12-12 一种全哈达玛矩阵编码成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611136193.9A CN108616686B (zh) 2016-12-12 2016-12-12 一种全哈达玛矩阵编码成像方法

Publications (2)

Publication Number Publication Date
CN108616686A CN108616686A (zh) 2018-10-02
CN108616686B true CN108616686B (zh) 2020-09-11

Family

ID=63643661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611136193.9A Active CN108616686B (zh) 2016-12-12 2016-12-12 一种全哈达玛矩阵编码成像方法

Country Status (1)

Country Link
CN (1) CN108616686B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112543026B (zh) * 2020-12-10 2021-09-03 杭州万高科技股份有限公司 一种多路信号同步采样系统、方法、装置及介质
CN112904349A (zh) * 2021-01-28 2021-06-04 清华大学 一种超声弹性成像方法
CN113392965B (zh) * 2021-08-18 2021-11-19 苏州浪潮智能科技有限公司 一种哈达玛积的实现方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970544B1 (en) * 2012-05-24 2015-03-03 Maxim Integrated Products, Inc. Digital filtering and spread spectrum based interference mitigation for mutual and self capacitance panel
CN105223582A (zh) * 2015-09-01 2016-01-06 西安交通大学 一种基于压缩感知的激光雷达成像装置及成像方法
US9235280B1 (en) * 2012-05-24 2016-01-12 Qualcomm Technologies, Inc. Mutual capacitance large panel phase shift mitigation
CN105681233A (zh) * 2010-04-30 2016-06-15 洛桑联邦理工学院 正交差分向量信令

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680974B1 (en) * 1999-12-02 2004-01-20 Lucent Technologies Inc. Methods and apparatus for context selection of block transform coefficients
WO2009154644A1 (en) * 2008-06-17 2009-12-23 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
CN103063298B (zh) * 2012-11-30 2014-12-31 重庆大学 对微镜阵列光谱仪进行互补s矩阵编码调制的方法
US9081731B2 (en) * 2013-01-31 2015-07-14 Inview Technology Corporation Efficient transforms and efficient row generation for Kronecker products of Hadamard matrices
CN103686173B (zh) * 2014-01-09 2017-03-01 英特尔公司 变换与反变换电路
CN104796609B (zh) * 2015-04-17 2018-01-05 南京理工大学 基于最优哈达玛编码的大视场高分辨率显微成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681233A (zh) * 2010-04-30 2016-06-15 洛桑联邦理工学院 正交差分向量信令
US8970544B1 (en) * 2012-05-24 2015-03-03 Maxim Integrated Products, Inc. Digital filtering and spread spectrum based interference mitigation for mutual and self capacitance panel
US9235280B1 (en) * 2012-05-24 2016-01-12 Qualcomm Technologies, Inc. Mutual capacitance large panel phase shift mitigation
CN105223582A (zh) * 2015-09-01 2016-01-06 西安交通大学 一种基于压缩感知的激光雷达成像装置及成像方法

Also Published As

Publication number Publication date
CN108616686A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
Cheng et al. Recurrent neural networks for snapshot compressive imaging
US11175489B2 (en) Smart coded access optical sensor
Liang Punching holes in light: recent progress in single-shot coded-aperture optical imaging
CN108616686B (zh) 一种全哈达玛矩阵编码成像方法
Hardie et al. Fast super-resolution using an adaptive Wiener filter with robustness to local motion
CN112525851A (zh) 一种太赫兹单像素成像方法及其系统
Diaz et al. Adaptive grayscale compressive spectral imaging using optimal blue noise coding patterns
CN116245726A (zh) 基于深度学习框架的压缩感知偏振超分辨成像方法
CN110751700A (zh) 用于单像素成像的采样和重建集成深度学习网络及其训练方法
Miandji et al. Multi-shot single sensor light field camera using a color coded mask
Fu et al. Low-light raw video denoising with a high-quality realistic motion dataset
KR102418000B1 (ko) 컬러 이미지와 모노크롬 이미지를 이용하여 스테레오 매칭을 수행하는 방법 및 이를 이용한 장치
US20230224599A1 (en) Systems, methods, and media for high dynamic range imaging using single-photon and conventional image sensor data
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
Gaikwad A Review on Self Learning based Methods for Real World Single Image Super Resolution
Mei et al. Deep residual refining based pseudo‐multi‐frame network for effective single image super‐resolution
CN114119428B (zh) 一种图像去模糊方法和装置
Gayathri et al. Multi-focus color image fusion using NSCT and PCNN
Le Pendu et al. High dynamic range light fields via weighted low rank approximation
JPWO2016103824A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN108955873B (zh) 一种空间反聚束现象的产生系统和方法
CN114556897A (zh) 原始到rgb的图像转换
CN114584713B (zh) 一种脉冲相机仿真方法、装置、控制设备及可读存储介质
CN105761212A (zh) 基于dmd编码的哈达码变换高灵敏成像的方法
CN116156144B (zh) 一种面向高光谱信息采集传输的一体化系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant