CN111596310B - 一种基于点探测的运动目标鬼成像系统与方法 - Google Patents
一种基于点探测的运动目标鬼成像系统与方法 Download PDFInfo
- Publication number
- CN111596310B CN111596310B CN202010462333.1A CN202010462333A CN111596310B CN 111596310 B CN111596310 B CN 111596310B CN 202010462333 A CN202010462333 A CN 202010462333A CN 111596310 B CN111596310 B CN 111596310B
- Authority
- CN
- China
- Prior art keywords
- gradient
- imaging
- point detection
- module
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000000872 buffer Substances 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims 3
- 230000001360 synchronised effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 3
- 238000012634 optical imaging Methods 0.000 abstract description 2
- 230000001678 irradiating effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000013519 translation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于点探测的运动目标鬼成像系统与方法。鬼成像是一种与经典成像方式截然不同的新型成像方式，在鬼成像实验架构中，光源分为照射到物体上的信号臂和不经过物体的参考臂。通过多次重复采样，并对采样结果进行关联运算得到物体图像。由于鬼成像的特殊性，其分辨率有望突破光学成像的衍射极限。但是其多次曝光、采样的方式，在对于运动物体进行成像过程中会产生运动模糊，从而影响成像质量。本发明针对这一问题，提出了一种基于点探测的运动目标鬼成像系统与方法，在每次采样的过程中，实时计算物体运动的方向及距离，并通过硬件方式调整物体的位置来弥补物体运动，降低成像过程中物体运动所带来的影响，完成基于点探测的运动目标鬼成像。
Description
发明领域
本发明属于鬼成像研究领域，具体涉及一种基于点探测的运动目标鬼成像系统与方法。
背景技术
鬼成像，或称关联成像，在近年来已成为量子光学领域的前沿热点研究之一。经典的直接成像方式是把光源照射到物体上，通过有空间光场分辨能力的探测器(如相机)直接对从物体上反射或透射的光场进行探测来成像。而鬼成像的典型结构是，把光源分成两路：一路照射到物体上，然后用没有空间光场分辨能力的探测器(单点探测，或称为桶探测)探测记录从物体上反射或透射的光场总光强，称为信号臂；另一路则不经过物体，而是直接利用有空间光场分辨能力的探测器(如相机)记录光场信息，称为参考臂。继而利用光场的统计相干性，对信号臂和参考臂记录、或者说采集到的信息进行关联运算，最终得到物体的图像。由于特殊的成像方式，其分辨率有望突破光学成像的衍射极限，从而激发了人们的研究兴趣。当前的鬼成像研究主要集中在使用不同类型，不同波段的光源开展实验；研究数据处理与图像重构算法以提高重构效率和成像质量；探索各类实际应用场景，如遥感探测，医学成像，极弱光成像等等。
鬼成像并不是一种单次曝光、直接成像的手段，而需要通过重复测量、双臂关联的方法恢复出物体的图像，难以避免采样过程与图像恢复过程中的时间消耗。而对于运动物体的进行动态跟踪的鬼成像时，由于其重复采样的特性，会在恢复图像中产生因高速运动而导致的运动模糊，使得对运动物体成像的质量下降。故而，对于运动物体的鬼成像已成为鬼成像技术在实际应用中面临的难点问题之一。
近年来，鬼成像领域中已发展出利用小采样数下恢复出的模糊图像进行运动参数估计的方法，其将采样过程分段，在每段的小采样下进行双臂关联运算，估算出物体的位置，再根据这个位置对物体重构图像进行补偿。然而此类方案仍然需要不少的采样数来恢复出大致的图像，这制约着可成像物体的运动速度上限；同时需要在全像素范围内进行搜索来定位出物体，同样制约着成像过程所需的总时间，实时性仍有待提升，制约着运动目标鬼成像的实用化。
发明内容
本发明的目的在于规避现有技术中的不足之处，为解决鬼成像技术对运动目标成像的问题提供一种全新的、基于点探测采样的运动目标鬼成像的系统与方法。
本发明借助了物体运动的性质，对物体的运动进行了合理的假设与简化，即物体的运动可以简化为在原本物体(x,y)上施加了动态的位移(Δx,Δy)。存在以下推论：1、若要对运动物体成像，采样率需远大于运动速度。即在极少量的一定采样数下，物体在视场中相对静止，(Δx,Δy)不变。2、物体前后时刻的位置变化是准连续的，不存在大范围的瞬间跳变。即(Δx,Δy)相对于时间t的分布曲线是连续的。
对于物体运动偏差的识别，本发明利用了对参考臂光场进行梯度调制的方法，即构造出参考臂强度梯度的分布，则物体在y方向的运动可体现为在纵向梯度变化中；同理，x方向的运动体现在横向梯度变化中。而梯度变化对应着桶探测器响应的均值变化，所以可以用不同梯度图的桶探测器响应估计运动。
对于物体的成像，本发明使用了计算鬼成像的方案，在参考臂光场的梯度分布中叠加了随机的测量矩阵，利用桶探测值与参考臂光场的二阶关联计算恢复出物体的图像。
对运动物体成像需要进行运动位置的补偿，而我们在测量过程中只用到了桶探测的强度值，并不确知物体的透过率或反射率函数，则难以直接构建出桶探测的变化量与物体运动位置之间的定量函数关系。但是，物体运动的连续性假设约束了物体位移变化的范围。我们可以用逼近的方法却近似的弥补运动误差。即设定判断条件β(可优化)，触发即按某个步长γ(可优化)将参考臂光场平移补回。由于该方法只需比较桶探测器值，无需关联计算或成像，所以可以非常快的进行补偿。
附图说明
图1：基于点探测的运动目标鬼成像系统方案的结构图；
图2：系统流程图；
图3：实验目标物体标准图(未移动)；
图4：运动目标未补偿成像结果，其衬噪比为0.281；
图5：运动目标未补偿成像结果，其衬噪比为1.553，补偿偏差(按像素计)为1.829；
图6：运动目标运动轨迹标准图；
图7：运动目标运动轨迹补偿结果图。
具体实施方式
图1是本发明的结构图，其中包括5个模块：
(1)-光源，包括激光器、光学透镜。该模块用于产生均匀的，足够覆盖空间光调制模块表面的种子光。
(2)-空间光调制模块，包括空间光调制器、光学透镜、分束镜以及计算机。本实施例中使用可编程的空间光调制器替代鬼成像中的参考光路，通过加载包含梯度信息的随机调制图样，对光源进行随机调制，并将调制后的光场经准直后投射至物面；
(3)-点探测模块包括，目标物体、桶探测器以及计算机。该模块使用不具备空间分辨能力的点探测器与必要的收光透镜系统，用于接收信号臂中光信号经过物体后反射或透射的光信号总光强。
(4)-跟踪成像算法模块，包括面阵探测器以及计算机。该模块用于处理模块(2)、(4)所采集的数据，进行物体运动追踪以及最终的成像计算。跟踪成像算法模块中包含1、生成调制矩阵，2、物体运动追踪，3、关联成像三个部分。
(5)-跟踪硬件模块，包括电动平移台以及计算机该模块用于接收模块(4)返回数据，实时调整参考臂光场，完成运动补偿。
具体实施方式为：
步骤一、完成初始参数的设定。
步骤一的具体实现方法为：
设定初始参数，其中光场尺寸为160*160个像素，采样数为30000、补偿强度阈值为0.01，计算电动平移台信号脉冲数、平移距离与空间光调制器像素尺寸之间的换算比例。
加载飞机形状的图片，将其缩放到20*20个像素大小。设定物体运动轨迹为多边形，将运动轨迹坐标数据分为水平、垂直两个方向，分别存储在相应的变量中。将缩放后的图片加载到160*160个像素的矩阵中，作为最终的成像目标，如图3所示。
初始化4个序列，每个序列中预留长度为7500位数据的空间，用于存放不同梯度矩阵对应的点探测数据。同时预留4个长度为4位数据的数据缓冲区。
步骤二、生成光场矩阵，步骤二由模块一、模块二共同完成。
步骤二的具体实现方法为：
首先生成梯度矩阵，包括水平梯度、垂直梯度两组不同方向的梯度矩阵，每组梯度矩阵又包括递增、递减两个梯度矩阵，每个梯度矩阵包括从0.2～0.9，共计8阶灰度梯度变化，共计4个梯度矩阵，每个梯度矩阵大小为160*160个像素。
开始二阶关联运算循环，循环数为采样数，即30000。
在每次循环中生成一张160*160个像素的随机散斑场数据，其强度分布在0～1之间。判断当前循环变量，计算其除以4所得的余数。余数为0,1,2,3时分别对应水平递增、水平递减、垂直递增、垂直递减的梯度矩阵。根据余数将对应的梯度矩阵加载到当前随机散斑场数据上，生成实验所需的光场矩阵，记为
这部分由模块二完成。
光场矩阵生成完成后，通过串口通信方式由计算机将矩阵数据传给DMD，在DMD上进行显示，并由扩束、调整后的激光照射在DMD上，通过反射将矩阵加载在激光上进入实验光路。这部分由模块一完成。
步骤三：进行数据采集与运动偏差计算，步骤三由模块三完成。
步骤三的具体实现方式为：
每完成50次循环时，根据预定的运动轨迹更新一次物体位置。
由空间光调制模块与点探测模块互相配合完成数据的采集。在每次循环中，根据循环变量判断当前数据对应的梯度矩阵，并将当前点探测模块采集的数据填入对应的序列及数据缓冲区中，记为
判断全部的数据缓冲区是否已全部填入数据。若是，则分别计算每个数据缓冲区内数据的均值，并以均值的0.01为标准。计算每组数据缓冲区内数据均值与初始位置数据的差值，若差值大于标准，则需要进行运动补偿，计算此时的运动偏差方向及大小；反之则不需要进行运动补偿，初始化数据缓冲区，进行下一次循环。
步骤四：进行运动偏差补偿，步骤四由模块四完成。
步骤四的具体实现方式为：
根据步骤三中计算所得的运动偏差方向及大小，计算相应的脉冲信号数量及正负，并以串口通信方式发送给电动平移台，电动平移台移动相应的距离及方向以改变空间光调制器的位置，以保证光场与物体的相对静止，完成运动偏差补偿。
步骤五：进行关联成像，步骤五由模块五完成。
步骤五的具体实现方式为：
依梯度矩阵的不同，将同方向的两组梯度矩阵对应的光场分别进行叠加，同时将光场与对应的点探测相应进行相乘完成关联运算，将全部数据进行二阶关联，计算形式如下：
此时得到最终的关联结果，结束循环。
通过计算补偿前与补偿后图像的衬噪比(Contrast-to-Noise Ratio,CNR)评估重构图像质量，计算公式为
式中G(1),G(0)分别代表图像中的物体和背景部分像素的强度值。
对于运动目标的跟踪补偿精度的计算，我们采用物体的补偿位置与初始位置之间的平均欧氏距离进行评估，计算公式为
其中(xn,yn)分别代表各时刻补偿后的像素横纵坐标，(x0,y0)为物体初始位置的像素坐标。
完成实施例。
本实施例中共包含光源(1)、空间光调制模块(2)、点探测模块(3)、跟踪成像算法模块(4)、跟踪硬件模块(5)五个模块；其中，所述光源(1)发出的光投射到所述空间光调制器(2)上；所述空间光调制模块(2)加载随机调制矩阵，并循环叠加强度梯度矩阵，对光进行含梯度信息的随机调制，调制后的光斑投射到物体上；将点探测模块(3)对准物体，收集物体的总光强；多次重复测量，将调制光场矩阵和光强序列输入跟踪成像算法模块(4)，输出当前成像结果，向跟踪硬件模块(5)发送位置校正信号；实现运动物体的跟踪成像。
Claims (6)
1.一种基于点探测的运动目标鬼成像系统，其特征在于，包括：光源(1)、空间光调制模块(2)、点探测模块(3)、跟踪成像算法模块(4)、跟踪硬件模块(5)；其中，所述光源(1)发出的光投射到所述空间光调制模块(2)上；所述空间光调制模块(2)加载随机调制矩阵，并循环叠加强度梯度矩阵，对光进行含梯度信息的随机调制，调制后的光斑投射到物体上；将点探测模块(3)对准物体，收集物体的总光强；多次重复测量，将调制光场矩阵和光强序列输入跟踪成像算法模块(4)，输出当前成像结果，向跟踪硬件模块(5)发送位置校正信号；实现运动物体的跟踪成像；
空间光调制模块(2)加载的强度梯度矩阵的特点在于：
(1)梯度方向是成对出现；考虑x,y两个方向的运动，那么梯度矩阵有x方向单调递增、单调递减，y方向单调递增、单调递减，两对共四种；
(2)成对梯度矩阵的强度分布互补；x方向的梯度矩阵为{1，2，3，...9}单调递增的强度序列，则与其成对出现的梯度矩阵为x方向{9，8，7，...1}单调递减的强度序列；
空间光调制模块(2)生成调制矩阵的主要步骤为：
(1)生成m种梯度矩阵，m为偶数，且m>4；将梯度矩阵按顺序成对排列为列向量{a1,a2,b1,b2,...}，共m列；
(2)设定采样数为N，生成N种随机矩阵；按照随机矩阵的序号，依次与m种梯度矩阵相乘，得到包含梯度信息的N种随机调制矩阵
共N列。
2.根据权利要求1所述的基于点探测的运动目标鬼成像系统，其特征在于：经空间光调制模块(2)所得的光场，需要加装镜头或光学透镜组投射至成像面，所述镜头或光学透镜在所述空间光调制模块(2)与物体之间。
3.根据权利要求1所述的基于点探测的运动目标鬼成像系统，其特征在于：所述空间光调制模块(2)和所述点探测模块(3)之间需要同步。
4.根据权利要求1所述的基于点探测的运动目标鬼成像系统，其特征在于：所述点探测模块(3)采用光电转换点探测器或桶探测器或单像素探测器或雪崩二极管或光电倍增管中的任意一种实现。
5.根据权利要求1所述的基于点探测的运动目标鬼成像系统，其特征在于：跟踪成像算法模块(4)中成像主要步骤为：
(1)根据梯度矩阵的顺序，将对应的点探测模块(3)的响应序列
即每组内的采样都对应着同种梯度矩阵，叠加上不同的随机矩阵；
(2)将梯度分布互补的组采样彼此加和，进行关联运算，形如下式
即梯度互补的a1组与a2组对应采样相加并进行二阶关联运算，求解图像。
6.根据权利要求1所述的基于点探测的运动目标鬼成像系统，其特征在于：跟踪成像算法模块(4)中目标跟踪主要步骤为：
(1)提取当前采样数下对应的点探测模块(3)的响应序列
为每个梯度分组分配一个长度为k的数据缓冲区，依次将点探测响应按对应梯度分组填入缓冲区，对应a1梯度的缓冲区为
以此类推；
(2)每当采样数为m*k的整数倍时，即代表各缓冲区数据均已满，可以进行一次校准；计算得到各组缓冲区数据的均值，如
(3)将缓冲区各组数据均值与初始位置时缓冲区对应各组数据的均值进行比较：若均值的变化量大于设定的阈值r，则计算出这一组梯度对应的运动方向，沿此方向补偿一个像素的位置，将位置坐标信息反馈至跟踪硬件模块(5)；若变化量未超过阈值r，则不进行补偿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010462333.1A CN111596310B (zh) | 2020-05-27 | 2020-05-27 | 一种基于点探测的运动目标鬼成像系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010462333.1A CN111596310B (zh) | 2020-05-27 | 2020-05-27 | 一种基于点探测的运动目标鬼成像系统与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111596310A CN111596310A (zh) | 2020-08-28 |
| CN111596310B true CN111596310B (zh) | 2022-10-28 |
Family
ID=72188881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010462333.1A Expired - Fee Related CN111596310B (zh) | 2020-05-27 | 2020-05-27 | 一种基于点探测的运动目标鬼成像系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111596310B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114859377B (zh) * | 2022-04-22 | 2023-06-09 | 中国科学院合肥物质科学研究院 | 一种运动目标实时捕获单像素成像方法及设备 |
| CN114690236B (zh) * | 2022-06-01 | 2022-08-02 | 成都理工大学 | 针对束流强度分布的快速鬼成像方法 |
| CN117665850A (zh) * | 2023-12-29 | 2024-03-08 | 中国人民解放军国防科技大学 | 逐像素时域编码快速关联成像方法和系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2469301A1 (en) * | 2010-12-23 | 2012-06-27 | André Borowski | Methods and devices for generating a representation of a 3D scene at very high speed |
| CN102621546B (zh) * | 2012-03-28 | 2013-09-11 | 浙江大学 | 基于关联成像的三维信息获取方法 |
| CN103363924B (zh) * | 2013-07-15 | 2016-02-03 | 中国科学院空间科学与应用研究中心 | 一种压缩的三维计算鬼成像系统及方法 |
| CN103777206B (zh) * | 2014-01-26 | 2016-04-06 | 上海交通大学 | 一种基于偏振关联成像的单像素成像系统 |
| CN104345318A (zh) * | 2014-11-18 | 2015-02-11 | 上海交通大学 | 基于计算关联成像的可绕过墙角的成像系统及成像方法 |
| CN107749987B (zh) * | 2017-09-30 | 2020-09-18 | 河海大学 | 一种基于块运动估计的数字视频稳像方法 |
-
2020
- 2020-05-27 CN CN202010462333.1A patent/CN111596310B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN111596310A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111596310B (zh) | 一种基于点探测的运动目标鬼成像系统与方法 | |
| Lindell et al. | Single-photon 3D imaging with deep sensor fusion. | |
| JP6752212B2 (ja) | 画像システムとその使用方法 | |
| EP3195042B1 (en) | Linear mode computational sensing ladar | |
| US6600168B1 (en) | High speed laser three-dimensional imager | |
| CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
| CN111833248B (zh) | 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统 | |
| CN112817009B (zh) | 基于二维光学相控阵的抗干扰探测成像系统和方法 | |
| Yang et al. | Tracking compensation in computational ghost imaging of moving objects | |
| CN110532853B (zh) | 遥感超时相数据的分类方法及装置 | |
| CN112468791B (zh) | 基于单像素探测的光强测量迭代成像方法 | |
| US8737687B2 (en) | System and method for tracking a subject using raw images and tracking errors | |
| Zhang et al. | First arrival differential lidar | |
| CN108007385B (zh) | 一种大视场弹坑表面形貌成像系统及方法 | |
| CN114549335A (zh) | 一种扩展单像素成像的动态范围的方法 | |
| CN110533733B (zh) | 一种基于计算鬼成像的自动搜索目标深度的方法 | |
| CN114859377B (zh) | 一种运动目标实时捕获单像素成像方法及设备 | |
| Teng et al. | Single-shot 3D tracking based on polarization multiplexed Fourier-phase camera | |
| JP2019032291A (ja) | データ補正装置、データ補正方法、および、データ補正プログラム | |
| CN114565514A (zh) | 一种基于线扫描的图像超分辨率方法 | |
| CN110044474B (zh) | 一种基于插值算法的关联成像优化方法 | |
| US20220018718A1 (en) | Wavefront curvature sensor involving temporal sampling of the image intensity distribution | |
| CN110533706B (zh) | 一种基于计算鬼成像的三维目标重构方法 | |
| Zheng et al. | Converting non-confocal measurements into semi-confocal ones with timing-accuracy improving for non-line-of-sight imaging | |
| Zhang et al. | Non-systematic noise reduction framework for ToF camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221028 |