CN117132625A - 一种基于单像素成像的3d物体追踪方法 - Google Patents
一种基于单像素成像的3d物体追踪方法 Download PDFInfo
- Publication number
- CN117132625A CN117132625A CN202311089895.6A CN202311089895A CN117132625A CN 117132625 A CN117132625 A CN 117132625A CN 202311089895 A CN202311089895 A CN 202311089895A CN 117132625 A CN117132625 A CN 117132625A
- Authority
- CN
- China
- Prior art keywords
- pattern
- imaging
- dimensional
- tracking
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 5
- 239000007789 gas Substances 0.000 abstract 2
- 238000005259 measurement Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Geophysics (AREA)
- Mathematical Physics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于单像素成像的3D目标物体实时跟踪方法。其中，具体方法为：基于一种图像几何矩理论计算场景中目标物体的3D坐标；基于图像低阶矩的计算方式，通过充分利用DMD的快速调制速率特性，能够高效对物体进行追踪定位；可以在几何矩模式中加入用来恢复空间信息的调制图案，在定位的同时实现成像的功能，来进行目标检测。对于可见光波段不可见的气体进行动态定位和成像显示。本发明提出了一种鲁棒性、实时性高的目标跟踪方法，可应用至汽车自动驾驶领域，且适用于一些非可见气体的动态定位和成像显示。
Description
技术领域
本发明属于成像技术领域，具体涉及一种基于单像素成像的3D物体追踪方法。
背景技术
随着计算机数据处理能力的增强，成像模式从传统的依赖光学物理设备逐渐发展成光学和信号处理相结合的计算成像技术。这是通过光学系统和信号处理的有机结合和联合优化实现的。近年来，在一些制造领域，视觉检测仪器需要能够实现高精度、高分辨率、高速、实时的三维成像和传感，以满足工业制造的应用需求，例如快速在线检测和机器人视觉导航。采用传统的光学成像系统设计思路，要想在成像性能上获得微小的提升，通常意味着硬件成本的急剧增加，甚至难以实现工程应用。另一方面，光电探测器的尺寸、像素尺寸和响应灵敏度正在逼近物理极限，难以满足这些极具挑战性的要求。于是如何以低成本的方式实现目标物体的快速实时跟踪成为了一项重要课题。
单像素成像(SPI)是2008年兴起的一种新型计算成像技术，其具体原理是通过空间光调制技术向目标物体投射编码过的结构光图案，可以将二维或三维的场景空间信息融入到一维的光信号中，这种一维的光信号可以通过单像素探测器进行采集，最后由一维信号与结构光图案之间的关联运算可以计算出物体的图像。
对于二维灰度图像，场景的反射率可以用相应空间位置的每个元素的一个值来表示，如果把二维图像转化为一维，则可以表示为O＝[i1,i2,…,iN]T。这样图像的重建过程就是获取O的N个元素的过程。假设数字微镜阵列(DMD)调制了M张不同的N维图案P(x,y),M＝[P1,P2,…,PM]T，它是一个M×N的二维测量矩阵，(x,y)表示每个投射图案的坐标值，M表示投射图案的张数，其对应的强度值为SM＝[s1,s2,…,sM]T，那么单像素成像的图像重建过程可表示为以下形式：
SM＝P(x,y),M×O(x,y)#(1)
如果P(x,y),M是正交的并且测量图案的数量M等于图像的像素数N，那么方程(1)可变成下面的表现形式：
否则方程(1)是欠定的。单像素成像本质上虽然是一种通过时间分辨率换取空间分辨率的方式，M＝N的全采样策略显然不是一种很高效的方式，目前有几种方法可以提高单像素成像的成像效率。首先得益于一些硬件如空间调制器(数字微镜阵列)在性能上的提升，图案调制速率已经能够达到22kHz；其次基于一些稀疏的正交测量矩阵也很有效，比如哈达玛测量矩阵或傅立叶基测量矩阵；然后还有像压缩感知的方法，比如l1范式最小值或全变分算法等，都可以实现M<N的低采样效果；不仅如此，随着深度学习的快速发展，单像素成像中低采样的方式也可以结合深度学习来实现，且效果比其上述方法会更理想。一些在计算机视觉领域的一些去噪网络可以直接用在单像素成像中来，这种网络的输入是低采样重建出来的低分辨率重建图像，输出是我们想要的高分辨率重建图像，具体表示形式为：
x＝fw(SPI(I))#(3)
其中fw()表示网络模型函数，表示一种从低分辨率图像到高分辨率图像的一种映射关系，SPI()表示传统的单像素成像过程。后来有研究者实现了端到端的从探测器收集的强度值到图像的神经网络。那么这种图像重建过程就可以表示为：
x＝fw(I)#(4)
其中，I为要追踪的物体平面。
另外可以通过在损失函数里添加一些正则化或者调整模型的数据集来防止过拟合和提高模型的泛化性，其次，有研究显示，在模型中考虑通道注意力机有助于恢复一些局部信息。
虽然数字微镜器件(DMD)可以以22kHz的高刷新率来提高成像速度。然而，这样的刷新率对于物体成像来说是不够的，特别是对于快速移动的物体成像任务。之前的单像素成像工作主要集中在静态物体成像上。然而，在现实生活场景中，移动物体成像具有更多实际应用，例如遥感、工业测量、国防领域中的飞机监控和自动驾驶车辆的3D感知等。在运动物体追踪成像的研究领域中，运动模糊是最主要问题。首先想到的解决方法是运动补偿，具体来说，目标的位置可以从图像传感器捕获的连续图像中提取出来，然后通过运动补偿变换光照模式，这在原理上与静态SPI相同。然而，对于快速移动的物体，同时实现超高时间和空间分辨率的跟踪仍然很困难。在实践中，高速摄像机可以以相对较高的信噪比(SNR)捕捉动态物体。然而，它需要高数据传输量和高成本。此外，此类相机不适用于可见光以外的波长。
发明内容
为解决现有技术中存在的问题，本发明提出了一种基于单像素成像的3D物体追踪方法，基于单像素成像和几何矩模式图案质心计算进行目标物体的三维追踪方法，该方法追踪速度快，精度较高，环境抗干扰性强，可以实现实时的物体目标追踪任务。
为实现上述目的，本发明采用如下方案：
本发明提供一种基于单像素成像的3D物体追踪方法，基于单像素成像系统，所述单像素成像系统包括光源、空间光调制器(DMD)、待测物体和单像素探测器，本方法包括以下步骤：
(4)：通过空间光调制器向所述待测物体投射特定图案，并通过所述单像素探测器接收光信号；
(5)：根据所述光信号得到所述待测物体的质心坐标，完成定位，具体包括以下步骤：
(2-1)：对于一个二维场景o(x,y)，几何矩mpq表示为：
mpq＝∑x,yxpyqo(x,y)#(5)；
(2-2)：通过所述光信号得到零阶矩m00和两个一阶矩m01、m10；
(2-3)：计算所述待测物体的质心坐标(x,y)，通过如下公式计算：
其中，所述特定图案为几何矩模式图案。
进一步地，所述几何矩模式图案包括S1、S2、S3，具体为：
进一步地，步骤(1)中，投射特定图案具体为：第一帧使用S1、S2、S3，其余每一帧分别由S2和S3交替投影。
进一步地，还包括以下步骤：
(6)：在几何矩模式中加入用来恢复空间信息的调制图案，在定位的同时实现成像的功能，来进行目标检测。
进一步地，所述用来恢复空间信息的调制图案为哈达玛图案或傅立叶图案。
进一步地，对于三维物体的追踪，需要建立两个相互垂直的二维追踪平面，分别进行步骤(1)至步骤(2)的操作，最后再进行坐标整合。
进一步地，对于三维物体的追踪方法具体为，准直光束经过加载有几何矩模式图案的调制设备后，由分束镜或其他光学仪器分成两束垂直的光路，再分别由反射镜形成两路相互垂直的光路穿过物体；然后用所述基于单像素成像的3D物体追踪方法分别追踪两个相互垂直二维平面内的坐标值，再将它们合并成一个三维坐标，两个垂直的二维平面共一个Z轴。
有益效果：
本发明提供一种基于单像素成像的3D物体追踪方法，通过几何矩模式图案的设置，并通过投射几何矩图案直接获取光信号并计算物体质心坐标，不需要成像，直接完成对物体的追踪定位，大大提高了计算速度和追踪频率，能够实现对于快速移动的物体进行超高时间和空间分辨率的跟踪，并且，由于每次只采集一个像素值，它的抗噪能力较强，单像素探测器可用于其他不可见波段，比如红外以及太赫兹等等适用于可见光以外的波长。
附图说明
图1是单像素成像结构光检测系统配置示意图；
图2是本发明实施例中由空间抖动方法生成的二值化几何矩图案示意图；
图3是本发明实施例中照明图案示意图；
图4是本发明实施例中二维坐标合成三维坐标示意图。
具体实施方式
为使本发明技术方案和优点更加清楚，下面将结合本发明中的附图对本发明实施例的技术方案进行完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明提出了基于单像素成像和几何矩模式图案质心计算进行目标物体的三维追踪方法，该方法追踪速度快，精度较高，环境抗干扰性强，可以实现实时的物体目标追踪任务。具体内容如下：
如图1，单像素成像系统配置具体为，光源(light source)发出的光经过微镜调制DMD(digital micromirror device)调制后的几何矩图案到达物体(object)表面后由单像素探测器(single-pixel detector)检测反射的光强。
首先为了定位物体，设计了几种不同的几何矩模式图案，分别为S1、S2、S3，具体形式如下所示：
一般来说，对于一个二维场景o(x,y)，几何矩mpq的定义如下：
其中几何矩的阶数可以用p+q来表达，p和q分别是x和y的幂次，它们的和表示几何矩的阶数，我们对比方程1和方程5，可以发现设计的用来对物体进行投影的三种几何矩图案S1、S2、S3正好是几何矩定义式里的xpyq，而mpq则正好对应于由单像素探测器收集的强度值，由此我们可以直接通过探测器收集的光强值得到零阶矩m00和两个一阶矩m01、m10，探测器收集的光强值就是对应的几何矩。那么物体的质心坐标(x,y)可以通过下式来计算：
如图3所示，这是我们设计的通过DMD投射的照明图案，除了第一张S1之外，其余每一帧都分别由S2和S3交替投影，S1探测的值对应零阶矩m00，用S2和S3两张图案是为了分别定位x方向和y方向的坐标，原理是通过图像的二阶矩可以计算整个图像的质心坐标，而图像的二阶矩计算公式和单像素成像的公式可以匹配上，区别点主要是不像寻常的方法是先成像，然后在跟踪定位，这个可以跳过成像这个步骤，且只需要投射两张图案就可以达到目的，结合高刷新率的光调制设备可以做到超高频率定位。DMD目前的调制速率最高能达到22kHz，如果只需要两张图案就能定位的话，那么定位速率就是11kHz。
上述内容应用于二维平面内的追踪已经经过实验论证，对于三维物体的追踪，只需要建立两个相互垂直的二维追踪平面，最后再进行坐标整合，就能计算出物体的实时三维坐标，如图4所示。
在一些实施例中，可以在几何矩模式中加入用来恢复空间信息的调制图案，在定位的同时实现成像的功能，来进行目标检测。单像素成像领域为了恢复成像目标的空间信息，需要投射一些我们编码好的图案(也可以是随机编码图案)，通过这些图案投射过去可以对物体平面的信息进行一个域的转换，每一张图案对应于该域下的一个单像素值，然后再通过逆变换可以还原物体平面的信息，我们通过在每一帧里面加入一张这种用于成像的图案，这样在实现追踪的过程中还可以对物体进行粗略的成像。
通过上述的方法，可以在只使用一个空间光调制器的条件下仅仅投射两张图案即可实现实时的物体目标三维追踪目标。
本发明提出了一种成本较低，抗干扰性强的三维追踪方法。
1、首先是单像素成像本身的优点。与传统成像相比，SPI在很多方面都具有显著优势；在成像鲁棒性方面，SPI使用统计测量，可以抑制与光源统计无关的噪声；从探测器的角度来看，用于单像素探测的桶形探测的单元探测装置在技术上往往比面阵探测装置具有更好的性能，这使得SPI在较弱回波条件下成为可能，上述优点均表明SPI具有较好的适应性。在成像所需的器件方面，SPI系统不需要阵列探测器，也可以实现无透镜成像，并且可以扩展到X射线、中远红外、太赫兹(THz)波长和其他一些难以实现面阵检测或难以获得可用成像镜头的波段。在这种情况下，SPI有更多的潜在应用。
2、许多实际应用往往需要对运动物体进行成像，如活细胞成像、安全监控、空中预警和自动驾驶等。SPI系统可以看作是一个多模态融合传感器，可以同时进行三维定位和成像。如果应用于自动驾驶，它可能会代替执行摄像头和雷达的多传感任务。因此该方案有望从生产成本以及模型结构复杂度上提供一种更有效的方式。
研究者先后提出了不同的追踪方法，从最初的互相关方法从相邻图像中提取物体的位置信息再到傅立叶基图案照明或离散余弦的方法，其中定位速率最快的方法是本发明通过DMD投射几何矩图案进行跟踪定位，如图2所示。该方法的跟踪速率理论上为调制速率的二分之一。
在本说明书的描述中，参考术语“一个实施例”和“示例”等述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相对的实施例或示例中以合适的方式结合。
必须指出，以上实施例的说明不用于限制而只是用于帮助理解本发明的核心思想，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，对本发明进行的任何改进以及与本产品等同的替代方案，也属于本发明权利要求的保护范围内。
Claims (7)
1.一种基于单像素成像的3D物体追踪方法，其特征在于，基于单像素成像系统，所述单像素成像系统包括光源、空间光调制器(DMD)、待测物体和单像素探测器，本方法包括以下步骤：
(1)：通过空间光调制器向所述待测物体投射特定图案，并通过所述单像素探测器接收光信号；
(2)：根据所述光信号得到所述待测物体的质心坐标，完成定位，具体包括以下步骤：
(2-1)：对于一个二维场景o(x,y)，几何矩mpq表示为：
mpq＝∑x，yxpyqo(x,y)#(5)；
(2-2)：通过所述光信号得到零阶矩m00和两个一阶矩m01、m10；
(2-3)：计算所述待测物体的质心坐标(x,y)，通过如下公式计算：
其中，所述特定图案为几何矩模式图案。
2.根据权利要求1所述的方法，其特征在于，所述几何矩模式图案包括S1、S2、S3，具体为：
3.根据权利要求2所述的方法，其特征在于，步骤(1)中，投射特定图案具体为：第一帧使用S1、S2、S3，其余每一帧分别由S2和S3交替投影。
4.根据权利要求1所述的方法，其特征在于，还包括以下步骤：
(3)：在几何矩模式中加入用来恢复空间信息的调制图案，在定位的同时实现成像的功能，来进行目标检测。
5.根据权利要求4所述的方法，其特征在于，所述用来恢复空间信息的调制图案为哈达玛图案或傅立叶图案。
6.根据权利要求1所述的方法，其特征在于，对于三维物体的追踪，需要建立两个相互垂直的二维追踪平面，分别进行步骤(1)至步骤(2)的操作，最后再进行坐标整合。
7.根据权利要求6所述的方法，其特征在于，对于三维物体的追踪方法具体为，准直光束经过加载有几何矩模式图案的调制设备后，由分束镜或其他光学仪器分成两束垂直的光路，再分别由反射镜形成两路相互垂直的光路穿过物体；然后用所述基于单像素成像的3D物体追踪方法分别追踪两个相互垂直二维平面内的坐标值，再将它们合并成一个三维坐标，两个垂直的二维平面共一个Z轴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311089895.6A CN117132625A (zh) | 2023-08-28 | 2023-08-28 | 一种基于单像素成像的3d物体追踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311089895.6A CN117132625A (zh) | 2023-08-28 | 2023-08-28 | 一种基于单像素成像的3d物体追踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117132625A true CN117132625A (zh) | 2023-11-28 |
Family
ID=88862334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311089895.6A Pending CN117132625A (zh) | 2023-08-28 | 2023-08-28 | 一种基于单像素成像的3d物体追踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132625A (zh) |
-
2023
- 2023-08-28 CN CN202311089895.6A patent/CN117132625A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110425986B (zh) | 基于单像素传感器的三维计算成像方法及装置 | |
| Shi et al. | Fast tracking of moving objects using single-pixel imaging | |
| Almalioglu et al. | SelfVIO: Self-supervised deep monocular Visual–Inertial Odometry and depth estimation | |
| CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
| CN111047681B (zh) | 基于深度学习的单像素三维端到端重建方法及装置 | |
| CN116893429B (zh) | 基于圆谐傅里叶光场的单像素成像方法和目标识别方法 | |
| EP3149428A1 (en) | Motion contrast depth scanning | |
| CN111707413A (zh) | 一种基于单像素探测器的质心探测方法 | |
| Kwan et al. | Target tracking and classification using compressive sensing camera for SWIR videos | |
| US11940348B1 (en) | System and method for detecting centroid of complementary single pixel | |
| CN113365014A (zh) | 一种并行压缩感知gpu加速实时成像系统与方法 | |
| O’Mahony et al. | Computer vision for 3d perception: a review | |
| CN111222472A (zh) | 一种基于结构光频域特征的人脸识别方法 | |
| US11609332B2 (en) | Method and apparatus for generating image using LiDAR | |
| CN114659634A (zh) | 微型快照式压缩光谱成像探测装置及探测方法 | |
| Mathai et al. | Transparent object reconstruction based on compressive sensing and super-resolution convolutional neural network | |
| CN103986936B (zh) | 一种视频压缩采集系统及其采集方法 | |
| CN113050083A (zh) | 一种基于点云的超宽带雷达人体姿态重构方法 | |
| Yang et al. | Robust structured light 3d imaging with two fringe patterns using recurrent classification neural network | |
| CN117132625A (zh) | 一种基于单像素成像的3d物体追踪方法 | |
| Li et al. | A brief review on 2D and 3D image reconstruction using single-pixel imaging | |
| CN115859186A (zh) | 基于格拉米角场的分布式光纤传感事件识别方法及系统 | |
| Dong et al. | Retrieving object motions from coded shutter snapshot in dark environment | |
| Zhang et al. | U 2 Net-based Single-pixel Imaging Salient Object Detection | |
| Wang et al. | Depth perception of moving objects viaing structured light sensor with unstructured grid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |