CN111811481A - 一种应用于关联成像的消除图像拖影的处理方法 - Google Patents
一种应用于关联成像的消除图像拖影的处理方法 Download PDFInfo
- Publication number
- CN111811481A CN111811481A CN202010481792.4A CN202010481792A CN111811481A CN 111811481 A CN111811481 A CN 111811481A CN 202010481792 A CN202010481792 A CN 202010481792A CN 111811481 A CN111811481 A CN 111811481A
- Authority
- CN
- China
- Prior art keywords
- light field
- data
- light
- image
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 230000000875 corresponding effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims 1
- 239000011521 glass Substances 0.000 claims 1
- 238000011084 recovery Methods 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 239000005337 ground glass Substances 0.000 abstract 2
- 230000003287 optical effect Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 239000005338 frosted glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种应用于关联成像的图像拖影处理方法，包括：激光器①、毛玻璃②、光学透镜③、分束镜④、目标物体⑥、光强探测器⑦、光场探测器⑤、数据处理模块⑧以及终端设备⑨；激光经过毛玻璃后产生了随机强度的光场，经过分束镜分光以及光学透镜调整后分别被光强探测器和光场探测器接收，所得数据在图像恢复算法模块中进行图像恢复。本发明提出一种针对图像拖影处理算法，引入Hessian矩阵对光场数据进行预处理，可解决关联成像应用中因探测器曝光时间长等因素造成的图像拖影问题，提升关联成像结果图信噪比，该方法抗噪声能力强，计算速度快，实用效果好。
Description
技术领域：
本发明属于图像处理领域，具体涉及一种关联成像中基于Hessian矩阵的消除图像拖影的处理方法。
背景技术：
光学中的传统成像只涉及到光强的一阶统计特性，探测器记录的光场强度正比于光电子流，经过一定曝光时间内的积累，即可再现物体的干涉、衍射或成像信息。而关联成像技术在上世纪末期异军突起，开辟了利用照明场特定阶数的关联特性进行成像的全新领域。
关联成像对视场进行多次重复测量，再藉由计算多次测量结果的关联函数间接重构出被测物体的图像。相较于传统的直接成像，关联成像以需要对大量数据进行较为复杂的计算处理的时间代价，获取其他方面的突破优势，如成像质量，极限分辨率，对比度，图像动态范围与极弱信号感知等等。
在目前的关联成像实验中，关联成像的成像质量受到诸如相干时间、探测臂曝光时间、参考臂分辨率等多种参数的影响。尤其在高速成像、实时成像领域的应用中，为满足高频率重复采样的需求，光源的相干时间与探测臂的曝光时间常常存在着相互制约的问题。关联成像要求探测器的曝光时间小于光源的相干时间，但若曝光时间过短，探测臂信号强度响应不足，信噪比较低，图像重构质量受探测器热噪声影响大；曝光时间长，相干时间亦长，重复采样频率受限。针对后一种假设，在实际实验中，探测器的曝光时间长至接近光源相干时间的设置将导致重构图像中存在拖影结构，使得图像质量下降，目标难以识别。
本发明旨在提出一种使用Hessian矩阵对参考臂数据进行处理，将参考臂光场的灰度变化信息替代参考臂光场的强度信息，进而消除关联成像结果中图像拖影结构的方法，提升关联成像系统在复杂环境成像及高速成像应用中的鲁棒性。
发明内容：
本发明是为了提供一种关联成像中基于Hessian矩阵进行图像拖影处理的方法，该方法能够解决关联成像结果图中由于探测器参数设置不合适导致的成像结果图中具有图像拖影的问题，提高成像结果的图像质量并降低图像背景噪声。
本发明提供的技术方案为：
激光器①产生激光，经过旋转的毛玻璃②得到扩散的随机光场，再经过透镜③将光场收束为平行光场，之后通过分束镜④分为两路光场，分别为参考臂光路和探测臂光路，参考臂光路由光场探测器⑤直接记录光场的空间分布情况，探测臂放置目标物体⑥，光路经过目标物体后携带有物体信息，再由光强探测器⑦记录光场的总强度值。数据采集结束后，参考臂所采集得到的数据经由数据处理模块⑧进行拖影去除处理。
在处理过程中需要根据所采集的数据特征进行高斯函数的标准差、卷积核函数尺寸等参数的设置，进而求解二维高斯函数关于x，y和xy的二阶偏微分的表达式，计算高斯函数在卷积核函数尺寸范围内的三个二阶偏微分，根据二阶偏微分表达式计算对应的Hessian矩阵。之后将需要处理的参考臂光场数据每一帧分别与高斯函数二阶偏微分进行卷积运算，完成对参考臂光场数据的滤波。
处理完毕后的数据再经由终端⑨进行二阶关联，得到最终的恢复图像。
本发明至少包括以下有益效果：针对关联成像图像中具有拖影的问题，应用了Hessian 矩阵进行图像拖影去除，使得二阶关联恢复图像中目标物体更加清晰可见，其结构更加完整连续，提升了恢复图像的信噪比以及可见度。
附图说明
图1是实施例一和实施例二的实验装置图；
图2是实施例一的预期目标物体图；
图3是实施例一的二阶关联结果图；
图4是实施例一的图像拖影处理方法的结果图；
图5是实施例一中二阶关联结果(传统二阶关联)和图像拖影处理方法(优化后二阶关联) 的信噪比SNR采样数变化的曲线示意图；
图6是实施例二的预期目标物体图；
图7是实施例二的二阶关联结果图；
图8是实施例二的图像拖影处理方法的结果图。
具体实施
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。实施例一、二对应了权利要求2。
附图说明中图1为实施例一和实施例二的实验装置图。激光器①产生激光，经过旋转的毛玻璃②得到扩散的随机光场，再经过透镜③将光场收束为平行光场，之后通过分束镜④分为两路光场，分别为参考臂光路和探测臂光路，参考臂光路由光场探测器⑤直接记录光场的空间分布情况，探测臂放置目标物体⑥，光路经过目标物体后携带有物体信息，再由光强探测器⑦记录光场的总强度值。数据采集结束后，参考臂所采集得到的数据经由数据处理模块⑧进行拖影去除处理。
其中实施例一和实施例二均采用了信噪比(signal to noise ratio，SNR)作为评价指标对成像结果进行了质量评价。信噪比公式为：
其中O(x,y)代表信号强度，在实施例一、二中为预期目标物体图，S(x,y)代表信号与噪声强度之和，在实施例一、二中为实际成像结果图，包括传统二阶关联结果和优化二阶关联结果图。
实施例一：
本实施例中实验数据为实际实验采集所得到的的数据，其中拖影方向为水平方向，参考臂光场采样数据包含有10000张图片，即总采样数为10000，每张图片具有224*224个像素，存储于avi格式中，另有探测臂光强相应信息，为一1*10000的向量数据，存储于文本文件中。在应用图像拖影处理算法时，首先借助附加库读取视频文件，并将其内容存储于计算机内存中，之后获取信号臂光强响应信息，同样存储于内存之中，其中探测臂采集设备曝光时间为10ms，参考臂采集设备曝光时间为1ms，相干时间约为8ms。
附图说明中图1为本实施例的流程图，
如图1所示，本实施例提供的应用于关联成像的图像拖影化处理方法(部分)，包括如下步骤：
读取参考臂数据和探测臂数据；
设置高斯函数标准差为5，高斯卷积核函数尺寸为11；
根据高斯二阶偏微分公式计算二阶偏微分表达式，并计算对应的Hessian矩阵；
进入二阶关联运算循环，再一次二阶关联的循环中：
依次获取视频文件中的参考臂光场采样数据并修改数据类型，保存为光场的矩阵数据；
将光场的矩阵数据与Hessian矩阵进行图像卷积，完成光场数据的滤波；
累加滤波后光场数据得到全部参考臂光场滤波数据的累加矩阵；
通过每一帧光场滤波后矩阵数据与对应帧探测臂臂响应数据的运算得到关联矩阵；
计算归一化二阶强度关联；
结束二阶关联循环；
通过关联运算得到关联结果图；
附图说明中的图2为此实施例中目标物体图，图3为实施例直接进行二阶关联运算结果，其信噪比为5.88，采样数为10000，图4四为此实施例中的拖影处理结果，其信噪比为6.58，采样数为10000。
实施例二：
本实施例中实验数据为仿真实验采集所得到的的数据，其中拖影方向为倾斜45°角方向，参考臂光场采样数据包含有10000张图片，每张图片具有224*224个像素，存储于avi格式中，探测臂光强相应信息为参考臂光场信息与仿真用软物体做卷积并求和所得。在应用图像拖影处理算法时，首先借助附加库读取视频文件，并将其内容存储于计算机内存中，之后计算信号臂光强响应信息，同样存储于内存之中，其中探测臂采集设备曝光时间为10ms，相干时间约为8ms。
附图说明中图5为本实施例的流程图，
如图5所示，本实施例提供的应用于关联成像的图像拖影化处理方法(部分)，包括如下步骤：
读取参考臂数据和探测臂数据；
设置高斯函数标准差为5，高斯卷积核函数尺寸为11；
根据高斯二阶偏微分公式计算二阶偏微分表达式，并计算对应的Hessian矩阵；
进入二阶关联运算循环，再一次二阶关联的循环中：
依次获取视频文件中的参考臂光场采样数据并修改数据类型，保存为光场的矩阵数据；
将光场的矩阵数据与Hessian矩阵进行图像卷积，完成光场数据的滤波；
累加滤波后光场数据得到全部参考臂光场滤波数据的累加矩阵；
通过每一帧光场滤波后矩阵数据与对仿真用软物体进行卷积运算得到仿真探测臂相应数据；
通过每一帧光场滤波后矩阵数据与对应帧仿真探测臂臂响应数据的运算得到关联矩阵；
计算归一化二阶强度关联；
结束二阶关联循环；
通过关联运算得到关联结果图；
附图说明中的图6为此实施例中目标物体图，图7为实施例直接进行二阶关联运算结果，其信噪比为5.68，采样数为10000，图8为此实施例中的拖影处理结果，其信噪比为7.34，采样数为10000。
尽管本发明的实施方案已公开如上，但其并不仅仅，限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (3)
1.一种应用于关联成像的图像拖影处理方法。目前传统关联成像实验多是由激光器①产生激光，经过旋转的毛玻璃②得到扩散的随机光场，再经过透镜③将光场收束为平行光场，之后通过分束镜④分为两路光场，分别为参考臂光路和探测臂光路，参考臂光路由光场探测器⑤直接记录光场的空间分布情况，探测臂放置目标物体⑥，光路经过目标物体后由光强探测器⑦记录携带有物体信息的光场的总强度值。本发明的特征在于，在得到采集数据后，在数据处理模块中通过引入Hessian矩阵对光场数据进行处理，并在终端中进行二阶关联完成图像重构。
2.根据权利要求1所述的一种应用于关联成像的图像拖影处理方法，其特征在于，引入Hessian矩阵，根据光场数据计算矩阵参数，其具体过程包括：计算光场数据点扩散函数PSF，根据PSF半高全宽设置高斯函数标准差，及卷积核函数的尺寸，分别求解二维高斯函数关于x，y和xy的二阶偏微分的表达式。
3.根据权利要求1所述的一种应用于关联成像的图像拖影处理方法，其特征在于，利用Hessian矩阵对光场数据进行滤波，其具体过程包括：计算高斯函数在卷积核函数尺寸范围内的三个二阶偏微分，根据二阶偏微分表达式计算对应的Hessian矩阵。从数据中依次读取每一帧的光场数据，并将其与高斯函数二阶偏微分进行卷积运算，完成对参考臂光场数据的滤波。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010481792.4A CN111811481A (zh) | 2020-05-29 | 2020-05-29 | 一种应用于关联成像的消除图像拖影的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010481792.4A CN111811481A (zh) | 2020-05-29 | 2020-05-29 | 一种应用于关联成像的消除图像拖影的处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111811481A true CN111811481A (zh) | 2020-10-23 |
Family
ID=72848001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010481792.4A Pending CN111811481A (zh) | 2020-05-29 | 2020-05-29 | 一种应用于关联成像的消除图像拖影的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111811481A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113009689A (zh) * | 2021-03-04 | 2021-06-22 | 清华大学 | 量子成像方法以及量子成像系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106908801A (zh) * | 2017-02-13 | 2017-06-30 | 北京物资学院 | 一种关联成像制导方法及装置 |
| CN107450179A (zh) * | 2017-06-30 | 2017-12-08 | 中国科学院上海光学精密机械研究所 | 基于多路半导体激光器的主动关联成像光学系统 |
| CN110244471A (zh) * | 2019-06-18 | 2019-09-17 | 华东交通大学 | 基于柯勒照明的计算鬼成像系统及方法 |
-
2020
- 2020-05-29 CN CN202010481792.4A patent/CN111811481A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106908801A (zh) * | 2017-02-13 | 2017-06-30 | 北京物资学院 | 一种关联成像制导方法及装置 |
| CN107450179A (zh) * | 2017-06-30 | 2017-12-08 | 中国科学院上海光学精密机械研究所 | 基于多路半导体激光器的主动关联成像光学系统 |
| CN110244471A (zh) * | 2019-06-18 | 2019-09-17 | 华东交通大学 | 基于柯勒照明的计算鬼成像系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHANG C ET AL.: "Reducing motion blur in ghost imaging with Hessian enhancement filter", 《IMAGING AND APPLIED OPTICS 2019》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113009689A (zh) * | 2021-03-04 | 2021-06-22 | 清华大学 | 量子成像方法以及量子成像系统 |
| CN113009689B (zh) * | 2021-03-04 | 2021-12-21 | 清华大学 | 量子成像方法以及量子成像系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10769765B2 (en) | Imaging systems and methods of using the same | |
| Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
| Schuon et al. | High-quality scanning using time-of-flight depth superresolution | |
| CN106570862B (zh) | 一种超分辨率重建质量的评价方法及装置 | |
| Zhang et al. | Hyperspectral image denoising with realistic data | |
| CN113570639B (zh) | 一种基于条纹修正相关的运动目标纹影检测系统 | |
| CN112014349A (zh) | 太赫兹时域光谱成像复原方法、装置、存储介质及终端 | |
| CN115917369A (zh) | 超快光场断层摄影 | |
| CN111811481A (zh) | 一种应用于关联成像的消除图像拖影的处理方法 | |
| Kuciš et al. | Simulation of camera features | |
| Li et al. | Effective data-driven technology for efficient vision-based outdoor industrial systems | |
| CN111626944B (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| van Eekeren et al. | Performance evaluation of super-resolution reconstruction methods on real-world data | |
| CN111899196A (zh) | 一种基于经典复原算法的叶片缺陷运动模糊图像复原方法 | |
| CN111458026A (zh) | 一种紫外偏振与可见光谱信息融合相机及方法 | |
| CN116468821A (zh) | 一种基于深度学习和多模光纤散斑的抗扰动成像方法 | |
| Zhang et al. | Ff-former: Swin fourier transformer for nighttime flare removal | |
| Zhu et al. | Three-dimensional measurement of fringe projection based on the camera response function of the polarization system | |
| CN115034992A (zh) | 一种长波红外图像去噪方法 | |
| Proppe et al. | 3D-2D Neural Nets for Phase Retrieval in Noisy Interferometric Imaging | |
| Dias et al. | Change Detection in Moving-Camera Videos Using a Shift-Invariant Dissimilarity Metric | |
| Wu | Design, fabrication and experiment of dataset acquisition apparatus for dual imaging plane | |
| CN117496499B (zh) | 3d结构光成像中虚假深度边缘的识别和补偿方法、系统 | |
| CN113724201B (zh) | 基于二维傅里叶变换的图像传感器校正效果量化评价方法 | |
| van Eekeren | Super-resolution of moving objects in under-sampled image sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201023 |