CN114859377B - 一种运动目标实时捕获单像素成像方法及设备 - Google Patents

一种运动目标实时捕获单像素成像方法及设备 Download PDF

Info

Publication number
CN114859377B
CN114859377B CN202210428155.XA CN202210428155A CN114859377B CN 114859377 B CN114859377 B CN 114859377B CN 202210428155 A CN202210428155 A CN 202210428155A CN 114859377 B CN114859377 B CN 114859377B
Authority
CN
China
Prior art keywords
matrix
modulation
dimensional
pixel
modulation matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210428155.XA
Other languages
English (en)
Other versions
CN114859377A (zh
Inventor
时东锋
王英俭
陈亚峰
乔春红
郭子俊
令狐彬
黄见
苑克娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN202210428155.XA priority Critical patent/CN114859377B/zh
Publication of CN114859377A publication Critical patent/CN114859377A/zh
Application granted granted Critical
Publication of CN114859377B publication Critical patent/CN114859377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于计算成像技术领域，特别涉及一种运动目标实时捕获单像素成像方法及设备。所述实时成像方法包括以下步骤：步骤S1：生成二维调制矩阵并加载到光调制器中，通过光调制器接收经目标物体反射或透过目标物体的光信号并使用二维调制矩阵进行调制；步骤S2：通过两个互补方向的单像素探测器计算调制后的光信息强度值；步骤S3：根据质心求解算法计算目标物体质心的位置；步骤S4：根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像。通过本发明可以实现对高速运动目标实现精准成像，避免出现拖影与模糊。

Description

一种运动目标实时捕获单像素成像方法及设备
技术领域
本发明属于计算成像技术领域，特别涉及一种运动目标实时捕获单像素成像方法及设备。
背景技术
在成像领域，传统的方法是通过具有空间分辨能力的面阵传感器直接获取空间分辨图像，成像质量很大程度上取决于面阵传感器的像素数。近年来，单像素成像以其成像质量不依赖于传感器像素数，只用一个单像素探测器，且具有高灵敏度与高光谱适应性，而渐渐获得人们的关注。其不同于传统相机成像方式，单像素成像系统通过对物光信息进行空间调制，采用单像素探测器测得时间分辨的光强信号，再通过计算重建出目标图像。
单像素成像技术与传统的CCD(Charge Coupled Device,电荷耦合元件)和CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等面阵感光元件为核心的数字成像技术相比，单像素成像技术使用时空变换的光照射目标物体或者调制物体图像，通过只有一个像素单元的探测器来进行物理信息采样，最后利用相应算法重建物体信息。单像素成像的优势主要体现在两个方面，由于单像素探测器具有较宽的光谱响应范围和较高的光敏感度，单像素成像可以应用在阵列相机无法响应或者造价昂贵的波段以及弱光成像。
但由于单像素成像需要对空间光进行大量调制编码，其成像时间取决于系统对空间光编码的速度，成像速度慢于传统CCD相机。在拍摄运动目标时，尤其是高速运动目标，传统的单像素成像方法由于其成像速率限制，重建出的图像存在严重的拖影与模糊。因此现在急需一种运动目标实时捕获单像素成像方法及设备。
发明内容
针对上述问题，本发明公开了一种运动目标实时捕获单像素成像方法，所述实时成像方法包括以下步骤：
步骤S1：生成二维调制矩阵并加载到光调制器中，通过光调制器接收经目标物体反射或透过目标物体的光信号并使用二维调制矩阵进行调制；
步骤S2：通过两个互补方向的单像素探测器计算调制后的光信息强度值；
步骤S3：根据质心求解算法计算目标物体质心的位置；
步骤S4：根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像。
进一步的，所述步骤S1中二维调制矩阵包括：
调制矩阵M1，所述矩阵M1由每一列元素值均等于其列序号的矩阵随机抖动得到；
调制矩阵M2，所述矩阵M2由每一行元素值均等于其行序号的矩阵随机抖动得到；
调制矩阵M1和调制矩阵M2的水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵。
进一步的，所述二维调制矩阵所对应的二维函数分别满足：
S1(x,y)＝x
S2(x,y)＝y
其中，二维函数所在的坐标系的横坐标和纵坐标分别对应二维调制矩阵的行和列方向，二维函数值对应二维调制矩阵的元素值；
对S1与S2进行随机抖动将其转化为二值调制信息矩阵M1、M2，变换关系满足：
Figure BDA0003610647950000021
其中，Si(x,y)(i＝1,2)表示二维调制矩阵中对应坐标(x,y)处的元素值，R(x,y)为与Si(x,y)同尺寸且元素取值范围相同的随机矩阵；
对Mi矩阵进行镜像变换，变换关系满足：
Figure BDA0003610647950000022
其中，m×n为矩阵Mij的尺寸，j＝1,2,3,4分别代表着原始矩阵、水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵的镜像变换方式。
进一步的，所述通过两个互补方向的单像素探测器计算调制后的光信息强度值表示为：
Figure BDA0003610647950000031
Figure BDA0003610647950000032
其中：
Figure BDA0003610647950000033
式中f(x,y)为目标物体图像的二维分布函数，上标+、-代表光调制器DMD的两个调制反射光方向,且
Figure BDA0003610647950000034
两个方向分别布置单像素探测器，E为与Mij同尺寸且全部元素为1的矩阵。
进一步的，所述根据质心求解算法计算目标物体质心的位置的计算公式如下：
Figure BDA0003610647950000035
Figure BDA0003610647950000036
其中，xm、ym分别为x，y方向上的最大像素数。
进一步的，所述目标图像重建过程表示为：
Figure BDA0003610647950000037
其中，p＝1,2...8；
I1(t)＝I11(t)+I12(t),M1＝M11+M12
I2(t)＝I11(t)+I14(t),M2＝M11+M14
I3(t)＝I12(t)+I13(t),M3＝M12+M13
I4(t)＝I13(t)+I14(t),M4＝M13+M14
I5(t)＝I21(t)+I23(t),M5＝M21+M23
I6(t)＝I21(t)+I24(t),M6＝M21+M24
I7(t)＝I22(t)+I23(t),M7＝M22+M23
I8(t)＝I22(t)+I24(t),M8＝M22+M24
Figure BDA0003610647950000041
Figure BDA0003610647950000042
式中G为重建的目标图像、t表示测量过程中的时间分辨序列；xc(t)，yc(t)表示在t时间序列上的质心坐标计算值，rx与ry的两倍为自适应重建图像的横向和纵向尺寸；I(t)表示探测器测得的时间相关的一组探测值加和，M表示相应的调制矩阵组合。
另一种方案中，步骤S1中二维调制矩阵包括：
调制矩阵M1，所述矩阵M1由每一列元素值均等于其列序号的矩阵经误差扩散抖动得到；
调制矩阵M2，所述矩阵M2由每一行元素值均等于其行序号的矩阵经误差扩散抖动得到；
调制矩阵M3，所述调制矩阵M3是一个二维二值随机矩阵。
进一步的，所述二维调制矩阵满足以下关系式：
S1(x,y)＝x
S2(x,y)＝y
其中，二维函数所在的坐标系的横坐标和纵坐标分别对应二维调制矩阵的行和列方向，Si(x,y)(i＝1,2)表示二维调制矩阵中对应着坐标(x,y)处的元素值；
对S1与S2进行误差扩散抖动将其转化为二值调制信息矩阵M1、M2，生成一个随机二值矩阵M3，其尺寸和M1、M2相同，M3的每个元素随机取值0，1。
进一步的，所述通过两个互补方向的单像素探测器计算调制后的光信息强度值表示为：
Figure BDA0003610647950000051
Figure BDA0003610647950000052
其中：
Figure BDA0003610647950000053
其中，f(x,y)为目标物体图像的二维分布函数，上标+、-代表光调制器DMD的两个反射方向,且
Figure BDA0003610647950000054
两个方向布置分别布置单像素探测器，E为与Mij同尺寸且全部元素为1的矩阵。
进一步的，所述根据质心求解算法计算目标物体质心的位置的计算公式如下：
Figure BDA0003610647950000055
Figure BDA0003610647950000056
其中，i＝1，2，xm、ym分别为x，y方向上的最大像素数。
进一步的，所述目标图像重建过程表示为：
Figure BDA0003610647950000057
其中，t表示测量过程中的时间分辨序列，I3(t)为I3在t时间序列上的测量值，xc(t)、yc(t)表示在t时间序列上的计算得到的质心坐标，rx与ry为自适应重建图像的横向和纵向尺寸。
在本发明的另一实施例中公开了一种运动目标实时捕获单像素成像设备，所述成像设备包括：
透镜组，用于将经目标物体反射或透过目标物体的光信号投射到调制单元；
调制单元，用于生成二维调制矩阵，并使用二维调制矩阵对所述光信号进行调制；
第一计算单元，用于通过两个互补方向的单像素探测器计算调制后的光信息强度值；
第二计算单元，用于根据质心求解算法计算目标物体质心的位置；
第三计算单元，用于根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像。
在本发明的另一实施例中还公开了一种计算机可读存储介质，介质上存有计算机程序，计算机程序运行后执行如上述实施例中任一项所述的运动目标实时捕获单像素成像方法。
在本发明的另一实施例中还公开了一种计算机设备，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行如上述实施例中任一项所述的运动目标实时捕获单像素成像方法。
有益效果
本发明通过使用矩定位方法获取高速运动物体的质心，定位频率高，配合运动补偿重建算法，对速度较快运动物体实现了高质量重建。本发明无需额外的硬件对物体进行定位或运动状态估计，仅利用单像素成像系统同时实现了高频定位与抗模糊成像的功能。在物体空间结构不变、背景稳定的场景下，具有稳定跟踪与清晰成像的能力，为运动物体单像素成像提供了一种新的解决方案。在弱光，高光谱，远距离运动物体成像等应用领域存在应用价值。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施例中运动目标实时捕获单像素成像方法的流程图；
图2示出了根据本发明实施例中运动目标实时捕获单像素成像设备的结构示意图；
图3示出了根据本发明实施例中光调制器的结构示意图；
图4示出了根据本发明实施例中运动补偿实时运动目标单像素成像方法的调制信息示意图；
图5示出了根据本发明另一实施例中运动补偿实时运动目标单像素成像方法的调制信息示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明公开了一种运动目标实时捕获单像素成像方法，所述实时成像方法包括以下步骤：
步骤S1：生成二维调制矩阵并加载到光调制器中，通过光调制器接收经目标物体反射或透过目标物体的光信号并使用二维调制矩阵进行调制；
步骤S2：通过两个互补方向的单像素探测器计算调制后的光信息强度值；
步骤S3：根据质心求解算法计算目标物体质心的位置；
步骤S4：根据质心位置和调制后的光信息强度值采用运动补偿单像素算法重建目标图像。
具体的，使用光源照射目标物体，经目标物体反射或透过目标物体的光信号投射到光调制器上。示例性的，在目标物体和光调制器中间设置透镜单元，使得目标物体的图像成像在光调制器上。通过计算机或者其他设备生成二维调制矩阵，通过二维调制矩阵对目标物体的图像进行调制，然后通过互补方向设置的两个单像素探测器对调制后的光信号进行接收，然后根据从两个方向接收的光信号对共同计算调制后的光信号强度值。根据所述光信号强度值可以计算出目标物体的具体轮廓，根据物体的具体轮廓即可得出目标物体质心的位置。捕捉每一帧图像中质心的位置，计算出所述目标物体的运动轨迹。再根据二维调制矩阵与所述光信号的强度值结合目标物体质心所在位置采用运动补偿单像素算法重建目标图像。即运动捕捉的是质心的运动轨迹，将目标物体的质心运动轨迹看做目标物体的运动轨迹，然后对每一帧图像中的目标图像使用算法重建，起到捕捉快速运动目标的目的，在不限制目标运动状态的条件下，利用获取的实时运动目标位置，采用位置补偿反演算法，克服运动干扰重建出运动目标的图像。避免重建出的图像存在拖影和模糊。
在本发明的一实施例中所述步骤S1中二维调制矩阵包括：
调制矩阵M1，所述矩阵M1由每一列元素值均等于其列序号的矩阵随机抖动得到；
调制矩阵M2，所述矩阵M2由每一行元素值均等于其行序号的矩阵随机抖动得到；
调制矩阵M1和调制矩阵M2的水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵。
具体的，调制矩阵M1中每一列元素值均等于其列序号指的是矩阵内第一列的元素值全部为1，第二列的元素值全为2，第三列的元素值全为3，依次类推。调制矩阵M2中第一行元素值均为1，第二行元素值均为2，第三行元素值均为3，依次类推。值得说明的是，调制矩阵M1与调制矩阵M2的尺寸和元素取值范围相同。随机抖动指的是，另外随机生成一个与调制矩阵M1和调制矩阵M2尺寸和元素取值范围相同的矩阵A，将调制矩阵M1中的元素值与矩阵A中相同位置的元素值进行对比，若调制矩阵M1中元素值不小于矩阵A中相同位置的元素值，则调制矩阵M1中该元素值取1，反之则取0。同理使用矩阵A与调制矩阵M2进行对比，最终得到的调制矩阵M1和调制矩阵M2中元素值均为0或者1。进一步的，如图4所示，所述调制矩阵M1和调制矩阵M2的水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵指的是求取调制矩阵M1的水平镜像矩阵、垂直镜像矩阵和水平垂直镜像矩阵，并同时求取调制矩阵M2的水平镜像矩阵、垂直镜像矩阵和水平垂直镜像矩阵，加上调制矩阵M1和调制矩阵M2总共8个调制矩阵对光信号进行调制。
上述二维调制矩阵所对应的二维函数分别满足：
S1(x,y)＝x
S2(x,y)＝y
其中，二维函数所在的坐标系的横坐标和纵坐标分别对应二维调制矩阵的行和列方向，二维函数值对应二维调制矩阵的元素值。
示例性的，S1(6,2)＝6表示在二维调制矩阵M1中，第六行第二列的元素值为6，S2(3,4)＝4表示在二维调制矩阵M2中，第三行第四列的元素值为4。
对S1与S2进行随机抖动将其转化为二值调制信息矩阵M1、M2，变换关系满足：
Figure BDA0003610647950000091
其中，Si(x,y)(i＝1,2)表示二维调制矩阵中对应坐标(x,y)处的元素值，R(x,y)为与Si(x,y)同尺寸且元素取值范围相同的随机矩阵；
示例性的，矩阵A与调制矩阵M1和M2的尺寸且元素取值范围相同，矩阵在第3行第6列的元素值为5，而二维调制矩阵M1在相同位置的元素值为3，则在随机抖动后，二维调制矩阵M1在第3行第6列的元素值取0；而二维调制M2在相同位置的元素值为6，大于矩阵A在该处的元素值，则在随机抖动后，二维调制矩阵M2在第3行第6列的元素值为1。
对Mi矩阵进行镜像变换，变换关系满足：
Figure BDA0003610647950000092
其中，m×n为矩阵Mij的尺寸，j＝1,2,3,4分别代表着原始矩阵、水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵的镜像变换方式。
示例性的，对二维调制矩阵M1进行水平镜像矩阵变换，则M12(x，y)＝M1(m-x+1,y)，其他变换模式以此类推。最终获得M11、M12、M13、M14、M21、M22、M23和M24八个二维调制矩阵。
进一步的，所述通过两个互补方向的单像素探测器计算调制后的光信息强度值表示为：
Figure BDA0003610647950000101
Figure BDA0003610647950000102
其中：
Figure BDA0003610647950000103
式中f(x,y)为目标物体图像的二维分布函数，上标+、-代表光调制器DMD的两个调制反射光方向,且
Figure BDA0003610647950000104
两个方向分别布置单像素探测器，E为与Mij同尺寸且全部元素为1的矩阵。
具体的，互补方向是指两个单像素探测器与光调制器之间的水平夹角和加起来为180度。使用两个互补方向的单像素探测器可以有效的收集光调制器向不同方向发送的光信号，根据两个单像素探测器接受的光信号可以得到在使用不同二维调制图案时反射光的光信息强度值。通过两组单像素探测器可以获取16组光信息强度。例如，I12 +表示通过二维调制矩阵M1经水平镜像后调制矩阵对反射光调制后的光信号被某一单像素探测器接收的光信号强度值。I24 —表示通过二维调制矩阵M2经水平垂直镜像后的调制矩阵调制后的光信号被另一单像素探测器接收的光信号强度值。
进一步的，在计算得出光信号强度值后，根据质心求解算法计算目标物体质心的位置。具体的计算公式如下：
Figure BDA0003610647950000105
Figure BDA0003610647950000111
其中，xm、ym分别为x，y方向上的最大像素数。xc和yc分别表示质心位置所对应的横坐标和纵坐标。
进一步的，所述目标图像重建过程表示为：
Figure BDA0003610647950000112
其中，p＝1,2...8；
I1(t)＝I11(t)+I12(t),M1＝M11+M12
I2(t)＝I11(t)+I14(t),M2＝M11+M14
I3(t)＝I12(t)+I13(t),M3＝M12+M13
I4(t)＝I13(t)+I14(t),M4＝M13+M14
I5(t)＝I21(t)+I23(t),M5＝M21+M23
I6(t)＝I21(t)+I24(t),M6＝M21+M24
I7(t)＝I22(t)+I23(t),M7＝M22+M23
I8(t)＝I22(t)+I24(t),M8＝M22+M24
Figure BDA0003610647950000113
Figure BDA0003610647950000114
式中G为重建的目标图像，t表示测量过程中的时间分辨序列；xc(t)，yc(t)表示在t时间序列上的质心坐标计算值，rx与ry的两倍为自适应重建图像的横向和纵向尺寸。I(t)表示探测器测得的时间相关的一组探测值加和，M表示相应的调制矩阵组合。
具体的，G为尺寸为2rx×2ry的全0矩阵，图像的重建过程是通过一系列探测得到光强值I(t)与相应的调制矩阵M(t)相乘并累加得到。本实施例中，M(t)由对调制矩阵M进行处理得到，即由目标质心位置选取M矩阵的相应2rx×2ry区域为M(t)。
在本实施例中，目标物体的反射光或透射光在DMD上，通过8个调制矩阵周期性进行调制，互补方向的两个单像素探测器同时采集经调制后的光信号强度，结合光信号强度关联目标位置与调制矩阵即可重建目标图像。本实施例在成像过程中不限制目标物体的运动状态对高速运动物体的成像更加清晰，采用随机抖动方法将几何探测矩阵转换为二值调制信息矩阵，使得通过所述调制矩阵即可测得目标物体质心的位置，也能作为矩阵补偿参数重建目标图像，重建图像的效率高。
如图5所示，在本发明的另一实施例中还公开了另一运动补偿单像素重建算法，在本实施例中步骤S1中二维调制矩阵包括：
调制矩阵M1，所述矩阵M1由每一列元素值均等于其列序号的矩阵经误差扩散抖动得到；
调制矩阵M2，所述矩阵M2由每一行元素值均等于其行序号的矩阵经误差扩散抖动得到；
调制矩阵M3，所述调制矩阵M3是一个二维二值随机矩阵。
具体的，误差扩散抖动指的是Floyd-Steinberg扩散抖动算法，常用在图像处理中，是一种成熟的图像二值处理方法。该算法利用误差扩散实现二值抖动，从左到右、由上至下扫描图像的像素并将其逐个二值化，把像素二值化后产生的误差叠加到相邻像素上，不影响已经处理过的像素。例如，扫描到某一像素灰度值为r，将其与二值化阈值s做差，若r小于s，该像素向下取整，即取0，并将差值扩散至其临近的像素上。该方法实现的效果是，如果某些像素向下取整，则下一个像素向上取整的可能性更大，使平均量化误差最小。
所述二维调制矩阵满足以下关系式：
S1(x,y)＝x
S2(x,y)＝y
其中，二维函数所在的坐标系的横坐标和纵坐标分别对应二维调制矩阵的行和列方向，Si(x,y)(i＝1,2)表示二维调制矩阵中对应着坐标(x,y)处的元素值；
对S1与S2进行误差扩散抖动将其转化为二值调制信息矩阵M1、M2，生成一个随机二值矩阵M3，其尺寸和M1、M2相同，M3的每个元素随机取值0，1。
进一步的，所述通过两个互补方向的单像素探测器计算调制后的光信息强度值表示为：
Figure BDA0003610647950000131
Figure BDA0003610647950000132
其中：
Figure BDA0003610647950000133
其中，i＝1,2,3；f(x,y)为目标物体图像的二维分布函数，上标+、-代表光调制器DMD的两个反射方向,两个方向布置分别布置单像素探测器，E为与Mij同尺寸且全部元素为1的矩阵。
具体的，
Figure BDA0003610647950000134
和
Figure BDA0003610647950000135
分别表示两个互补方向的单像素所采集的光信号强度值，相对应的，
Figure BDA0003610647950000136
表示在计算
Figure BDA0003610647950000137
时，二维调制矩阵的元素值；
Figure BDA0003610647950000138
表示在计算
Figure BDA0003610647950000139
时，二维调制矩阵的元素值。
Figure BDA00036106479500001310
与
Figure BDA00036106479500001311
为互补矩阵，即相应位置的元素值相加均为1。在互补矩阵中，若
Figure BDA00036106479500001312
内某位置的元素值为1，则
Figure BDA00036106479500001313
在相应位置的元素值为0，相反若
Figure BDA00036106479500001314
内某位置的元素值为0，则
Figure BDA00036106479500001315
在相应位置的元素值为1，其中
Figure BDA00036106479500001316
的值即为Mi的值。通过两个互补矩阵来实现两个互补方向的光信号强度计算。
进一步的，所述根据质心求解算法计算目标物体质心的位置的计算公式如下：
Figure BDA00036106479500001317
Figure BDA00036106479500001318
其中，xm、ym分别为x，y方向上的最大像素数。
具体的，xc和yc分别为质心所在位置的横坐标和纵坐标，
Figure BDA00036106479500001319
表示使用二维调制矩阵Mi时，一单像素探测器所获取的光信号强度；
Figure BDA00036106479500001320
表示使用二维调制矩阵Mi时，另一互补方向的单像素探测器所获取的光信号强度，其中i＝1或2。
进一步的，所述目标图像重建过程表示为：
Figure BDA0003610647950000141
其中，t表示测量过程中的时间分辨序列，I3(t)为I3在t时间序列上的测量值，xc(t)、yc(t)表示在t时间序列上的计算得到的质心坐标，rx与ry为自适应重建图像的横向和纵向尺寸。
具体的，G为尺寸为2rx×2ry的全0矩阵，图像的重建过程是通过一系列探测得到光强值I(t)与相应的调制矩阵M(t)相乘并累加得到。本实施例中，M(t)由对调制矩阵M进行处理得到，即由目标质心位置选取M矩阵的相应2rx×2ry区域为M(t)。
本实施例中采用误差扩散抖动的方式生成二值调制矩阵，生成的调制矩阵只能实现定位功能，但是不能用于重建图像，因此附加一个同尺寸二值随机矩阵，用于重建目标图像。本实施例的优点在于定位精度较高，定位刷新频率较快，适用于更高速运动物体的定位与重建。
如图2所示，在本发明的另一实施例中还公开了一种运动目标实时捕获单像素成像设备，所述成像设备包括：
透镜组，用于将经目标物体反射或透过目标物体的光信号投射到调制单元；
调制单元，用于生成二维调制矩阵，并使用二维调制矩阵对所述光信号进行调制；
第一计算单元，用于通过两个互补方向的单像素探测器计算调制后的光信息强度值；
第二计算单元，用于根据质心求解算法计算目标物体质心的位置；
第三计算单元，用于根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像。
具体的，透镜组设置在目标物体和调制单元之间，用于将经目标物体反射或透过目标物体的光信号投射至调制单元。所述调制单元包括二维调制矩阵生成单元和光调制器。二维调制矩阵生成单元用于生成调制过程中所需要的调制矩阵，并加载到所述光调制器中，所述光调制器依次周期性使用不同的调制矩阵对接受的光进行调制，并将调制后的光信号发送至第一计算单元。所述第一计算单元包括第一单像素探测器和第二单像素探测器，所述第一单像素探测器和第二单像素探测器呈互补方向布置。所述第一单像素探测器和第二单像素探测器分别从不同方向接受经由所述光调制器调制后的光信号。进一步的，如图3所示，所述光调制器包括若干个呈阵列分布的微镜，二维调制矩阵中每个元素值均对应着唯一一个微镜。每个微镜均可在正负角之间来回转动，对应着光调制器微元的“0”和“1”的状态。示例性的，当二维调制矩阵第2行第3列的元素值为“1”时，与所述元素值对应的微镜设置为顺指针45度角；而在第2行第3列的元素值为“0”时，所述微镜设置为逆时针45度角。示例性的，所述光调制器的型号为DLP7000，由768*1024个微镜组成。获取调制后的光信号强度值后，通过第二计算单元根据质心求解算法计算目标物体质心的位置，根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像。
在本发明的另一实施例中还公开了一种计算机可读存储介质，介质上存有计算机程序，计算机程序运行后执行如上述实施例中任一项所述的运动目标实时捕获单像素成像方法。
在本发明的另一实施例中还公开了介质上存有计算机程序，计算机程序运行后执行如上述实施例中任一项所述的运动目标实时捕获单像素成像方法。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种运动目标实时捕获单像素成像方法，其特征在于，
所述实时成像方法包括以下步骤：
步骤S1：生成二维调制矩阵并加载到光调制器中，通过光调制器接收经目标物体反射或透过目标物体的光信号并使用二维调制矩阵进行调制；
步骤S2：通过两个互补方向的单像素探测器计算调制后的光信息强度值；
步骤S3：根据质心求解算法计算目标物体质心的位置；
步骤S4：根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像；
其中，所述目标图像重建过程表示为：
Figure FDA0004162226820000011
其中，p＝1，2…8；
I1(t)＝I11(t)+I12(t)，M1＝M11+M12
I2(t)＝I11(t)+I14(t)，M2＝M11+M14
I3(t)＝I12(t)+I13(t)，M3＝M12+M13
I4(t)＝I13(t)+I14(t)，M4＝M13+M14
I5(t)＝I21(t)+I23(t)，M5＝M21+M23
I6(t)＝I21(t)+I24(t)，M6＝M21+M24
I7(t)＝I22(t)+I23(t)，M7＝M22+M23
I8(t)＝I22(t)+I24(t)，M8＝M22+M24
Figure FDA0004162226820000012
Figure FDA0004162226820000013
式中G为重建的目标图像、t表示测量过程中的时间分辨序列；xc(t)，yc(t)表示在t时间序列上的质心坐标计算值，rx与ry的两倍为自适应重建图像的横向和纵向尺寸；I(t)表示探测器测得的时间相关的一组探测值加和，M表示相应的调制矩阵组合。
2.根据权利要求1所述的运动目标实时捕获单像素成像方法，其特征在于，
所述步骤S1中二维调制矩阵包括：
调制矩阵M1，所述矩阵M1由每一列元素值均等于其列序号的矩阵随机抖动得到；
调制矩阵M2，所述矩阵M2由每一行元素值均等于其行序号的矩阵随机抖动得到；
调制矩阵M1和调制矩阵M2的水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵。
3.根据权利要求2所述的运动目标实时捕获单像素成像方法，其特征在于，
所述二维调制矩阵所对应的二维函数分别满足：
S1(x，y)＝x
S2(x，y)＝y
其中，二维函数所在的坐标系的横坐标和纵坐标分别对应二维调制矩阵的行和列方向，二维函数值对应二维调制矩阵的元素值；
对S1与S2进行随机抖动将其转化为二值调制信息矩阵M1、M2，变换关系满足：
Figure FDA0004162226820000021
其中，Si(x，y)(i＝1，2)表示二维调制矩阵中对应坐标(x，y)处的元素值，R(x，y)为与Si(x，y)同尺寸且元素取值范围相同的随机矩阵；
对Mi矩阵进行镜像变换，变换关系满足：
Figure FDA0004162226820000022
其中，m×n为矩阵Mij的尺寸，j＝1，2，3，4分别代表着原始矩阵、水平镜像矩阵、垂直镜像矩阵、水平垂直镜像矩阵的镜像变换方式。
4.根据权利要求3所述的运动目标实时捕获单像素成像方法，其特征在于，
所述通过两个互补方向的单像素探测器计算调制后的光信息强度值表示为：
Figure FDA0004162226820000031
Figure FDA0004162226820000032
其中：
Figure FDA0004162226820000033
式中f(x，y)为目标物体图像的二维分布函数，上标+、-代表光调制器DMD的两个调制反射光方向，且
Figure FDA0004162226820000034
两个方向布置分别布置单像素探测器，E为与Mij同尺寸且全部元素为1的矩阵。
5.根据权利要求4所述的运动目标实时捕获单像素成像方法，其特征在于，
所述根据质心求解算法计算目标物体质心的位置的计算公式如下：
Figure FDA0004162226820000035
Figure FDA0004162226820000036
其中，xm、ym分别为x，y方向上的最大像素数。
6.根据权利要求1所述的运动目标实时捕获单像素成像方法，其特征在于，
步骤S1中二维调制矩阵包括：
调制矩阵M1，所述矩阵M1由每一列元素值均等于其列序号的矩阵经误差扩散抖动得到；
调制矩阵M2，所述矩阵M2由每一行元素值均等于其行序号的矩阵经误差扩散抖动得到；
调制矩阵M3，所述调制矩阵M3是一个二维二值随机矩阵。
7.根据权利要求6所述的运动目标实时捕获单像素成像方法，其特征在于，
所述二维调制矩阵满足以下关系式：
S1(x，y)＝x
S2(x，y)＝y
其中，二维函数所在的坐标系的横坐标和纵坐标分别对应二维调制矩阵的行和列方向，Si(x，y)(i＝1，2)表示二维调制矩阵中对应着坐标(x，y)处的元素值；
对S1与S2进行误差扩散抖动将其转化为二值调制信息矩阵M1、M2，生成一个随机二值矩阵M3，其尺寸和M1、M2相同，M3的每个元素随机取值0，1。
8.根据权利要求7所述的运动目标实时捕获单像素成像方法，其特征在于，
所述通过两个互补方向的单像素探测器计算调制后的光信息强度值表示为：
Figure FDA0004162226820000041
Figure FDA0004162226820000042
其中：
Figure FDA0004162226820000043
其中，f(x，y)为目标物体图像的二维分布函数，上标+、一代表光调制器DMD的两个反射方向，且
Figure FDA0004162226820000044
两个方向布置分别布置单像素探测器，E为与Mij同尺寸且全部元素为1的矩阵。
9.根据权利要求8所述的运动目标实时捕获单像素成像方法，其特征在于，
所述根据质心求解算法计算目标物体质心的位置的计算公式如下：
Figure FDA0004162226820000051
Figure FDA0004162226820000052
其中，i=1，2，xm、ym分别为x，y方向上的最大像素数。
10.根据权利要求9所述的运动目标实时捕获单像素成像方法，其特征在于，
所述目标图像重建过程表示为：
Figure FDA0004162226820000053
其中，t表示测量过程中的时间分辨序列，I3(t)为I3在t时间序列上的测量值，xc(t)、yc(t)表示在t时间序列上的计算得到的质心坐标，rx与ry为自适应重建图像的横向和纵向尺寸。
11.一种运动目标实时捕获单像素成像设备，其特征在于，
所述成像设备包括：
透镜组，用于将经目标物体反射或透过目标物体的光信号投射到调制单元；
调制单元，用于生成二维调制矩阵，并使用二维调制矩阵对所述光信号进行调制；
第一计算单元，用于通过两个互补方向的单像素探测器计算调制后的光信息强度值；
第二计算单元，用于根据质心求解算法计算目标物体质心的位置；
第三计算单元，用于根据质心位置和调制后的光信号强度值采用运动补偿单像素算法重建目标图像；
其中，所述目标图像重建过程表示为：
Figure FDA0004162226820000054
其中，p＝1，2…8；
I1(t)＝I11(t)+I12(t)，M1＝M11+M12
I2(t)＝I11(t)+I14(t)，M2＝M11+M14
I3(t)＝I12(t)+I13(t)，M3＝M12+M13
I4(t)＝I13(t)+I14(t)，M4＝M13+M14
I5(t)＝I21(t)+I23(t)，M5＝M21+M23
I6(t)＝I21(t)+I24(t)，M6＝M21+M24
I7(t)＝I22(t)+I23(t)，M7＝M22+M23
I8(t)＝I22(t)+I24(t)，M8＝M22+M24
Figure FDA0004162226820000061
Figure FDA0004162226820000062
式中G为重建的目标图像、t表示测量过程中的时间分辨序列；xc(t)，yc(t)表示在t时间序列上的质心坐标计算值，rx与ry的两倍为自适应重建图像的横向和纵向尺寸；I(t)表示探测器测得的时间相关的一组探测值加和，M表示相应的调制矩阵组合。
12.一种计算机可读存储介质，其特征在于，介质上存有计算机程序，计算机程序运行后执行如权利要求1至10中任一项所述的运动目标实时捕获单像素成像方法。
13.一种计算机设备，其特征在于，包括处理器、存储介质，存储介质上存有计算机程序，处理器从存储介质上读取并运行计算机程序以执行如权利要求1至10中任一项所述的运动目标实时捕获单像素成像方法。
CN202210428155.XA 2022-04-22 2022-04-22 一种运动目标实时捕获单像素成像方法及设备 Active CN114859377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210428155.XA CN114859377B (zh) 2022-04-22 2022-04-22 一种运动目标实时捕获单像素成像方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210428155.XA CN114859377B (zh) 2022-04-22 2022-04-22 一种运动目标实时捕获单像素成像方法及设备

Publications (2)

Publication Number Publication Date
CN114859377A CN114859377A (zh) 2022-08-05
CN114859377B true CN114859377B (zh) 2023-06-09

Family

ID=82633631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210428155.XA Active CN114859377B (zh) 2022-04-22 2022-04-22 一种运动目标实时捕获单像素成像方法及设备

Country Status (1)

Country Link
CN (1) CN114859377B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128931B (zh) * 2023-04-14 2023-07-18 山东大学 基于掩模版空间调控的全谱段快速定位系统及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104154878B (zh) * 2014-07-29 2016-09-28 暨南大学 一种使用单像素探测器的光学成像方法
CN110471082B (zh) * 2019-08-13 2022-01-07 西安电子科技大学 单像素激光计算成像装置及方法
CN111707413B (zh) * 2020-05-15 2021-11-26 中国科学院合肥物质科学研究院 一种基于单像素探测器的质心探测方法
CN111596310B (zh) * 2020-05-27 2022-10-28 北京邮电大学 一种基于点探测的运动目标鬼成像系统与方法
CN113884234B (zh) * 2021-09-06 2023-06-09 中国科学院合肥物质科学研究院 一种互补单像素质心探测系统及方法
CN113945544B (zh) * 2021-10-13 2023-10-17 天津大学 面向空间频域测量的动态单像素成像及退化图像复原方法

Also Published As

Publication number Publication date
CN114859377A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN103363924B (zh) 一种压缩的三维计算鬼成像系统及方法
KR100850729B1 (ko) 데이터 해상도를 향상시키는 방법 및 장치
JP5746714B2 (ja) 画像を取得し変換するための方法および装置
US11688039B2 (en) Method for generating a super-resolution image and related device
JP2007536662A (ja) 画像ノイズを低減することによる画像データ処理方法および該方法を実行するカメラ組み込み手段
CN111596310B (zh) 一种基于点探测的运动目标鬼成像系统与方法
CN111833248A (zh) 基于部分哈达玛矩阵的超分辨率鬼成像方法及系统
CN114859377B (zh) 一种运动目标实时捕获单像素成像方法及设备
CN114387164A (zh) 一种太赫兹单像素超分辨成像方法和系统
CN112203068A (zh) 单像素成像方法、系统、装置及介质
CN113709325A (zh) 基于Hadamard频域变换矩阵阈值滤波的单像素成像方法
Iwabuchi et al. Image quality improvements based on motion-based deblurring for single-photon imaging
CN111540042B (zh) 用于三维重构的方法、装置以及相关设备
CN113884234A (zh) 一种互补单像素质心探测系统及方法
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Iwabuchi et al. Iterative image reconstruction for quanta image sensor by using variance-based motion estimation
CN117221739A (zh) 一维调制高分辨率扫描式单像素成像方法及存储介质
CN113890997B (zh) 基于随机抖动的高动态范围压缩感知成像系统及方法
CN116128743A (zh) 基于深度卷积混合神经网络计算关联成像重建算法
CN113192154A (zh) 基于边缘计算的水下鬼成像系统及深度学习图像重建方法
Paredes et al. Spatio-temporal Super-resolution for CS-based ToF 3D Imaging
CN117876837B (zh) 基于深度展开网络的近红外单像素成像方法及系统
Zhang et al. Image Restoration
US20230041139A1 (en) Image processing for oversampled infrared imaging
CN116528058B (zh) 一种基于压缩重构的高动态成像方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant