CN111856478A - 一种免成像的运动物体探测与三维追踪装置及方法 - Google Patents

一种免成像的运动物体探测与三维追踪装置及方法 Download PDF

Info

Publication number
CN111856478A
CN111856478A CN202010692515.8A CN202010692515A CN111856478A CN 111856478 A CN111856478 A CN 111856478A CN 202010692515 A CN202010692515 A CN 202010692515A CN 111856478 A CN111856478 A CN 111856478A
Authority
CN
China
Prior art keywords
scene
moving object
light
patterns
beams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010692515.8A
Other languages
English (en)
Other versions
CN111856478B (zh
Inventor
张子邦
钟金钢
邓绮雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202010692515.8A priority Critical patent/CN111856478B/zh
Publication of CN111856478A publication Critical patent/CN111856478A/zh
Application granted granted Critical
Publication of CN111856478B publication Critical patent/CN111856478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种免成像的运动物体探测与三维追踪装置及方法,方法包括先利用控制设备控制空间光调制器生成一套正弦条纹图案调制照明,生成的结构光经成像系统和分束装置分成两束偏振光,再经反射装置反射从两个正交方向投射到待测场景,并生成穿过场景的两束透射光,接着两束透射光由光电探测器接收,由数据采集卡得出信号幅值,由控制设备根据信号幅值变化来判断场景中是否存在运动物体以及得出运动物体的三维空间坐标和运动轨迹。本发明装置结构简单成本低,本发明方法无需获取、重建或处理物体的图像,空间定位所需采集的数据量少且数据获取时间短,计算复杂度低且耗时短,可实现运动物体甚至高速运动物体的长时间实时探测和跟踪。

Description

一种免成像的运动物体探测与三维追踪装置及方法
技术领域
本发明涉及运动物体探测与追踪领域,特别是一种免成像的运动物体探测与三维追踪装置及方法。
背景技术
运动物体的探测与三维追踪在宏观和微观世界得到广泛的应用。目前,实现运动物体三维追踪的方法在宏观方面主要包括双目视觉,基于深度学习的单目视觉,以及微观方面的数字全息显微术、光场显微术、焦点扫描显微术等。这些基于成像的方法主要依赖于图像的获取和处理,即利用相机对目标物体所在的场景进行连续拍摄,并使用计算机处理所得的图像序列,从而得到目标物体的空间位置。图像质量是影响定位准确度的主要因素,图像质量低主要表现为运动模糊和信噪比低。由于相机拍摄的图像是场景在一定曝光时间内的平均,物体在曝光时间内的高速运动会导致运动模糊现象,为了减少运动模糊,可采取缩短曝光时间的方法,但短的曝光时间会导致图像信噪比较低,所以仍然会导致图像质量低的问题。
高速摄影技术具备曝光时间短,帧率高的特点,能快速获得质量较高的图像序列。然而,高帧率会导致短时间内产生大量的图像数据,在有限的储存空间、传输带宽和计算机处理能力的条件下,无论是对相机设备的储存,还是对传输设备和接收设备,均造成巨大的压力。最终导致不能持续长时间拍摄和追踪。
另外,基于成像的运动物体探测与追踪往往需要复杂的图像处理过程,如运动目标提取,背景去除,图像质量改善等。这些步骤的算法复杂,且计算时间长,难以实现实时的探测和跟踪。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足,提供一种免成像的运动物体探测与三维追踪装置,该装置结构简单成本低,可用于免成像的运动物体探测与三维追踪。
本发明的第二目的在于提供一种免成像的运动物体探测与三维追踪方法,该方法无需获取、重建或处理物体的图像,空间定位所需采集的数据量少且数据获取时间短,计算复杂度低且耗时短,可实现运动物体甚至高速运动物体的长时间实时探测和跟踪。
本发明的第一目的通过下述技术方案实现:一种免成像的运动物体探测与三维追踪装置,包括控制设备、照明模块、待探测场景以及探测模块,照明模块具有空间光调制器、照明光源、成像系统、分束装置和反射装置,探测模块具有光电探测器和数据采集卡,其中,
控制设备连接空间光调制器,用于控制空间光调制器产生一套正弦条纹图案;该套图案包含条纹方向分别为竖直和水平的两组正弦条纹图案,且每组包含N张正弦条纹图案;
照明光源和空间光调制器设置在照明光源的照明光光路上,照明光源的照明光投射于空间光调制器,空间光调制器用于对照明光源产生的照明光场进行调制,产生含有正弦条纹图案的结构光;
空间光调制器、成像系统、分束装置、反射装置、待探测场景和光电探测器沿着光传播路径依次设置,结构光经过成像系统和分束装置后分成两束含有正弦条纹图案的偏振光,两束偏振光经过反射装置反射后分别从正交的两个方向投影到场景,并生成两束透射光;
光电探测器通过数据采集卡连接控制设备,光电探测器用于获取穿过场景的两束透射光信号,数据采集卡用于采集光电探测器所得的光信号并输出对应的2N个信号幅值,控制设备用于处理2N个信号幅值,并判断场景中是否存在运动物体以及得出场景中运动物体的三维空间坐标和运动轨迹。
优选的,反射装置由第一反射装置和第二反射装置组成,光电探测器由第一光电探测器和第二光电探测器组成,第一反射装置、待探测场景和第一光电探测器沿着其中一束偏振光的光传播路径依次设置,第二反射装置、待探测场景和第二光电探测器沿着另一束偏振光的光传播路径依次设置,第一光电探测器和第二光电探测器同步采集自己所在光路上的透射光信号。
优选的,场景和光电探测器之间的透射光传播路径上还设置有偏振片,每束透射光经过偏振片后再收集于光电探测器中。
优选的,空间光调制器采用数字微镜装置,其显示二值化图案的刷新频率为Q Hz,即每秒可以显示Q张不同的二值化正弦条纹图案,其中一帧代表一次探测或定位,一套正弦条纹图案投影完并得到对应的信号幅值代表完成一帧测量。
控制设备为计算机;照明光源为白光LED;成像系统为投影透镜;分束装置为偏振分光棱镜;反射装置为反射镜;光电探测器为硅带放大探测器。
本发明的第二目的通过下述技术方案实现:一种免成像的运动物体探测与三维追踪方法,步骤如下:
S1、利用控制设备控制空间光调制器产生一套正弦条纹图案,该套图案包含条纹方向分别为竖直和水平的两组正弦条纹图案,且每组包含N张正弦条纹图案;
S2、空间光调制器按照先竖直条纹后水平条纹,每组条纹的初相位从小到大的顺序循环显示所生成的正弦条纹图案,令照明光源的照明光投射于空间光调制器,此时利用空间光调制器对照明光源产生的照明光场进行调制,产生含有正弦条纹图案的结构光;
S3、结构光经过成像系统和分束装置后分成两束含有正弦条纹图案的偏振光,两束偏振光经过反射装置反射后分别从正交的两个方向投影到场景,并生成两束透射光;
S4、利用光电探测器探测穿过场景的两束透射光信号,所得光信号由数据采集卡采集并得到对应的2N个信号幅值,然后传输给控制设备;
S5、通过控制设备处理接收到的2N个信号幅值,并判断场景中是否存在运动物体以及得出场景中运动物体的三维空间坐标和运动轨迹。
优选的,空间光调制器采用N步相移法产生一套大小为A×B像素,周期为1的正弦条纹图案,其中,第i张正弦条纹图案的初相位为
Figure BDA0002589817500000041
i=1,2,...,N,N≥3;
记x、y、z为场景所在三维空间的三个正交方向,且x轴、y轴和z轴交于原点O,竖直条纹用于测量场景中的运动物体在场景的x-O-z投影面的x坐标,其频率表示为(fx=1,fz=0),以及测量运动物体在场景的y-O-z投影面的y坐标,其频率表示为(fy=1,fz=0);水平条纹用于测量物体在x-O-z投影面的z坐标,其频率表示为(fx=0,fz=1);
正弦条纹图案的生成过程如下:
S11、对于x-O-z投影面,根据不同的初相位,利用如下公式生成(1,0),(0,1)两种频率的多灰度级的正弦条纹图案
Figure BDA0002589817500000042
Figure BDA0002589817500000051
式中,(fx,fz)表示频率;
对于y-O-z投影面,根据不同的初相位,利用如下公式生成(1,0)频率的多灰度级的正弦条纹图案
Figure BDA0002589817500000052
Figure BDA0002589817500000053
式中,(fy,fz)表示频率;
S12、然后利用Floyd-Steinberg误差扩散二值化算法对所得正弦条纹图案进行二值化,最终一套正弦条纹图案一共有2N张图案,坐标x、y、z完成归一化,坐标取值范围为(0~1)。
更进一步的,在步骤S3中,分成的两束偏振光经过反射装置反射后,其中一束偏振光沿场景的x-O-z投影面的法线方向y投影到场景,另一束偏振光沿场景的y-O-z投影面的法线方向x投影到场景,两个投影面正交,方向x和方向y正交,场景位于在两束投影图案的像面处,最终在场景的两个投影面均获得清晰的正弦条纹图案。
更进一步的,在步骤S4中,数据采集卡根据光信号得到信号幅值,具体为:
设场景的x-O-z投影面为I(x,z),经正弦条纹图案
Figure BDA0002589817500000054
投影到场景后所得透射光的信号幅值表示为二维图像I与正弦图案P的内积:
Figure BDA0002589817500000055
对于每个光电探测器,记录x-O-z投影面的N步相移正弦条纹图案所得的N个信号幅值分别为V1,V2,...,VN,y-O-z投影面的N步相移正弦条纹图案所得的N个信号幅值分别为H1,H2,...,HN
更进一步的,在步骤S5中,控制设备处理2N个信号幅值和判断场景中是否存在运动物体的过程如下:
S51、计算当前帧所投影的一套正弦条纹图案对应的信号幅值的平均值,记为D:
Figure BDA0002589817500000061
S52、根据当前帧的前2N-1帧至当前帧的平均值D的变化幅度判断平稳性,若变化幅度小,则为平稳,判断场景中无运动物体;若变化幅度大,则为非平稳,判断场景中存在运动物体。
更进一步的,控制设备得出场景中运动物体的三维空间坐标和运动轨迹的过程如下:
S53、当判断场景中无运动物体时,则采用变化幅度平稳的任意一帧所投影的一套正弦条纹图案的信号幅值作为背景值,记所得的光电探测器的单像素探测值为背景值
Figure BDA0002589817500000062
Figure BDA0002589817500000063
S54、当判断场景中存在运动物体,且在已获得背景值的情况下,基于光电探测器的测量值,利用如下公式计算物体在场景中的空间坐标x、y、z:
Figure BDA0002589817500000064
Figure BDA0002589817500000065
Figure BDA0002589817500000066
S55、考虑到空间坐标x、y、z为归一化空间坐标,将空间坐标乘以对应方向的像素数,计算得到实际坐标,表示为x×B,y×B,z×A,最终合成得到物体的三维空间坐标(x,y,z)进而得到物体的运动轨迹。
本发明相对于现有技术具有如下的优点及效果:
(1)本发明装置基于单像素的光电探测器,结构简单且成本低,容易搭建,同时单像素探测器的使用,使得整个装置能够在弱光环境或非可见光环境下探测与三维定位,另外,与数据采集卡的配合可以实现高速的数据采集,并且可对每次投影的调制图案进行多次采集,以应对复杂多变的环境,得到较稳定的测量值。
(2)本发明方法是一种免成像的方法,物体的空间位置可直接从单像素探测器测得的一系列信号幅值经过计算得到,整个过程无需重建图像,免去了复杂的图像处理步骤,因此计算复杂度低,从测量值到定位结果运算所需时间短,可实现物体空间位置的实时反馈。
(3)本发明方法中,所获得的一系列信号幅值占用的储存空间小,降低了对数据传输带宽、计算机储存空间及运行内存的要求。
(4)本发明方法使用了高速空间光调制器,例如利用数字微镜装置对二值化图案的高速调制特性来显示调制图案,可以缩短每帧测量时显示调制图案所需要的时间,从而实现快速的物体追踪。
综上所述,本发明可以实现免成像的运动物体探测与三维追踪,测量过程无需重建图像,更无需执行高分辨率的从变换域到空域的逆变换操作,程序简单,可实现实时且持续长时间的运动物体空间信息获取。
附图说明
图1为本发明免成像的运动物体探测与三维追踪装置的示意图。
图2为本发明免成像的运动物体探测与三维追踪方法的流程图。
图3为实施例中用于投影的两组正弦条纹图案的示意图。
图4为实施例中待探测场景的示意图。
图5为对场景进行测量所得的运动物体在不同时刻的信号幅值的平均值曲线图。
图6为根据两个正交方向的二维投影坐标恢复出的运动物体在三维空间的运动轨迹图。
其中,1-控制设备;2-空间光调制器;3-照明光源;4-成像系统;5-分束装置;6-第一反射装置;7-第二反射装置;8-场景;9-第一光电探测器;10-第二光电探测器;11-数据采集卡。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
本实施例公开了一种免成像的运动物体探测与三维追踪装置,如图1所示,装置包括四个部分,分别为控制设备1、照明模块、待探测场景8以及探测模块。
照明模块具有空间光调制器2、照明光源3、成像系统4、分束装置5和反射装置,反射装置由第一反射装置6和第二反射装置7组成。探测模块具有光电探测器和数据采集卡11,光电探测器由第一光电探测器9和第二光电探测器10组成。
其中,控制设备连接空间光调制器,用于控制空间光调制器产生一套正弦条纹图案;该套图案包含条纹方向分别为竖直和水平的两组正弦条纹图案,且每组包含N张正弦条纹图案。
照明光源和空间光调制器设置在照明光源的照明光光路上,照明光源的照明光投射于空间光调制器,空间光调制器用于对照明光源产生的照明光场进行调制,产生含有正弦条纹图案的结构光。
空间光调制器、成像系统、分束装置、反射装置、待探测场景和光电探测器沿着光传播路径依次设置,结构光经过成像系统和分束装置后分成两束含有正弦条纹图案的偏振光,两束偏振光经过反射装置反射后分别从正交的两个方向投影到场景,并生成两束透射光。
光电探测器通过数据采集卡连接控制设备,光电探测器用于获取穿过场景的两束透射光信号。具体来说,第一反射装置、待探测场景和第一光电探测器沿着其中一束偏振光的光传播路径依次设置,第二反射装置、待探测场景和第二光电探测器沿着另一束偏振光的光传播路径依次设置,第一光电探测器和第二光电探测器同步采集自己所在光路上的透射光信号。
数据采集卡用于采集光电探测器所得的光信号并输出对应的2N个信号幅值,控制设备用于处理2N个信号幅值,并判断场景中是否存在运动物体以及得出场景中运动物体的三维空间坐标和运动轨迹。
另外,场景和光电探测器之间的透射光传播路径上还可以设置有偏振片,每束透射光经过偏振片后再收集于光电探测器中,目的是对两束偏振光进行检偏,避免两束正交方向的入射光在场景中相互干扰。
在本实施例中,空间光调制器可采用数字微镜装置,其显示二值化图案的刷新频率为Q Hz(例如10000Hz),即每秒可以显示Q(例如10000)张不同的二值化正弦条纹图案,其中一帧代表一次探测或定位,一套正弦条纹图案投影完并得到对应的信号幅值代表完成一帧测量,每一帧测量需要2N张图案。
控制设备为计算机。照明光源为白光LED。成像系统为投影透镜。分束装置为偏振分光棱镜。反射装置为反射镜。光电探测器为硅带放大探测器,型号可为Thorlabs-PDA100A2。数据采集卡的型号可为NI-DAQ 6366BNC。
本实施例还公开了一种免成像的运动物体探测与三维追踪方法,所述方法可应用于上述装置,如图2所示,步骤如下:
S1、利用控制设备控制空间光调制器产生一套正弦条纹图案,该套图案包含条纹方向分别为竖直和水平的两组正弦条纹图案,且每组包含N张正弦条纹图案。
这里,空间光调制器具体是采用N步相移法产生一套大小为A×B像素,周期为1的正弦条纹图案,其中,第i张正弦条纹图案的初相位为
Figure BDA0002589817500000101
i=1,2,...,N,N≥3。
本实施例空间光调制器是采用3步相移法生成正弦条纹图案,图案像素为1920×1080,一套图案一共包含6幅图,如图3所示。每组包含3张3步相移的正弦条纹图案,初相位表示为
Figure BDA0002589817500000102
其中i=1,2,3。
记x、y、z为被测场景所在三维空间的三个正交方向,且x轴、y轴和z轴交于原点O,竖直条纹用于测量场景中的运动物体在场景的x-O-z投影面的x坐标,其频率表示为(fx=1,fz=0),以及测量运动物体在场景的y-O-z投影面的y坐标,其频率表示为(fy=1,fz=0);水平条纹用于测量物体在x-O-z投影面的z坐标,其频率表示为(fx=0,fz=1)。
正弦条纹图案的生成过程如下:
S11、对于x-O-z投影面,根据不同的初相位,利用如下公式生成(1,0),(0,1)两种频率的多灰度级的正弦条纹图案
Figure BDA0002589817500000103
Figure BDA0002589817500000104
式中,(fx,fz)表示频率;
对于y-O-z投影面,根据不同的初相位,利用如下公式生成(1,0)频率的多灰度级的正弦条纹图案
Figure BDA0002589817500000111
Figure BDA0002589817500000112
式中,(fy,fz)表示频率;
S12、然后利用Floyd-Steinberg误差扩散二值化算法对所得正弦条纹图案进行二值化,最终一套正弦条纹图案一共有2N张图案,坐标x、y、z完成归一化,坐标取值范围为(0~1)。
S2、空间光调制器按照先竖直条纹后水平条纹,每组条纹的初相位从小到大的顺序循环显示所生成的正弦条纹图案,令照明光源的照明光投射于空间光调制器,此时利用空间光调制器对照明光源产生的照明光场进行调制,产生含有正弦条纹图案的结构光。
S3、结构光经过成像系统和分束装置后分成两束含有正弦条纹图案的偏振光,两束偏振光经过反射装置反射后分别从正交的两个方向投影到场景,并生成两束透射光。
具体来说,分成的两束偏振光经过反射装置反射后,其中一束偏振光沿场景的x-O-z投影面的法线方向y投影到场景,另一束偏振光沿场景的y-O-z投影面的法线方向x投影到场景,两个投影面正交,方向x和方向y正交,场景位于在两束投影图案的像面处,最终在场景的两个投影面均获得清晰的正弦条纹图案。
S4、利用光电探测器探测穿过场景的两束透射光信号,所得光信号由数据采集卡采集并得到对应的2N个信号幅值,然后传输给控制设备。
数据采集卡根据光信号得到信号幅值,具体为:
设场景的x-O-z投影面为I(x,z),经正弦条纹图案
Figure BDA0002589817500000121
投影到场景后所得透射光的信号幅值表示为二维图像I与正弦图案P的内积:
Figure BDA0002589817500000122
对于每个光电探测器,记录投影竖直方向(x-O-z投影面)的N步相移正弦条纹图案所得的N个信号幅值分别为V1,V2,...,VN,投影水平方向(y-O-z投影面)的N步相移正弦条纹图案所得的N个信号幅值分别为H1,H2,...,HN
S5、通过控制设备处理接收到的2N个信号幅值,并判断场景中是否存在运动物体以及得出场景中运动物体的三维空间坐标和运动轨迹,具体如下:
S51、计算当前帧所投影的一套正弦条纹图案对应的信号幅值的平均值,记为D:
Figure BDA0002589817500000123
S52、根据当前帧的前2N-1帧至当前帧的平均值D的变化幅度判断平稳性,若变化幅度小,则为平稳,判断场景中无运动物体;若变化幅度大,则为非平稳,判断场景中存在运动物体。
S53、当判断场景中无运动物体时,则采用变化幅度平稳的任意一帧所投影的一套正弦条纹图案的信号幅值作为背景值,记所得的光电探测器的单像素探测值为背景值
Figure BDA0002589817500000124
Figure BDA0002589817500000125
S54、当判断场景中存在运动物体,且在已获得背景值的情况下,基于光电探测器的测量值,利用如下公式计算物体在场景中的空间坐标x、y、z:
Figure BDA0002589817500000126
Figure BDA0002589817500000131
Figure BDA0002589817500000132
S55、考虑到空间坐标x、y、z为归一化空间坐标,将空间坐标乘以对应方向的像素数,计算得到实际坐标,表示为x×B,y×B,z×A,最终合成得到物体的三维空间坐标(x,y,z),进而得到物体的运动轨迹。
如图4所示,本实施例以螺旋形金属丝作为场景,并将其放置在两束投影图案的像面处。金属空心小球作为运动物体,可将空心小球投放进金属丝,让空心小球在金属丝上方被释放,并沿着金属丝下落,使小球在待探测场景作螺旋形轨迹运动。
利用本实施上述方法对空心小球进行探测跟踪,得到如图5所示的两个单像素探测器在每一帧测得的信号幅值的平均值曲线图,一共1500帧,从中可探测到空心小球是在第458帧进入场景,并且在第1215帧离开场景。因此,可采用图5中第1帧所投影的一套正弦条纹图案的信号幅值作为背景值。
以3步相移法为例,计算物体在场景中的空间坐标x、y、z:
Figure BDA0002589817500000133
Figure BDA0002589817500000134
Figure BDA0002589817500000135
这里3步相移法是其中一种方式,可替换为其他多步相移法。基于本实施例图案像素为1920×1080,因此,本实施例最终得到的实际坐标为x×1080,y×1080,z×1920。根据多个时刻下的实际坐标,即可合成得出运动物体在这些时刻下的运动轨迹,例如得到如图6所示的空心小球在场景中某一时间段,根据两个正交平面x-O-z和y-O-z的投影坐标合成的三维轨迹图。可见,利用本实施例方法,在不获取、重建或处理物体图像的情况下可以有效探测出场景中的运动物体以及对运动物体实现三维跟踪。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。

Claims (10)

1.一种免成像的运动物体探测与三维追踪装置,其特征在于,包括控制设备、照明模块、待探测场景以及探测模块,照明模块具有空间光调制器、照明光源、成像系统、分束装置和反射装置,探测模块具有光电探测器和数据采集卡,其中,
控制设备连接空间光调制器,用于控制空间光调制器产生一套正弦条纹图案;该套图案包含条纹方向分别为竖直和水平的两组正弦条纹图案,且每组包含N张正弦条纹图案;
照明光源和空间光调制器设置在照明光源的照明光光路上,照明光源的照明光投射于空间光调制器,空间光调制器用于对照明光源产生的照明光场进行调制,产生含有正弦条纹图案的结构光;
空间光调制器、成像系统、分束装置、反射装置、待探测场景和光电探测器沿着光传播路径依次设置,结构光经过成像系统和分束装置后分成两束含有正弦条纹图案的偏振光,两束偏振光经过反射装置反射后分别从正交的两个方向投影到场景,并生成两束透射光;
光电探测器通过数据采集卡连接控制设备,光电探测器用于获取穿过场景的两束透射光信号,数据采集卡用于采集光电探测器所得的光信号并输出对应的2N个信号幅值,控制设备用于处理2N个信号幅值,并判断场景中是否存在运动物体以及得出场景中运动物体的三维空间坐标和运动轨迹。
2.根据权利要求1所述的一种免成像的运动物体探测与三维追踪装置,其特征在于,反射装置由第一反射装置和第二反射装置组成,光电探测器由第一光电探测器和第二光电探测器组成,第一反射装置、待探测场景和第一光电探测器沿着其中一束偏振光的光传播路径依次设置,第二反射装置、待探测场景和第二光电探测器沿着另一束偏振光的光传播路径依次设置,第一光电探测器和第二光电探测器同步采集自己所在光路上的透射光信号。
3.根据权利要求1所述的一种免成像的运动物体探测与三维追踪装置,其特征在于,场景和光电探测器之间的透射光传播路径上还设置有偏振片,每束透射光经过偏振片后再收集于光电探测器中。
4.根据权利要求1所述的一种免成像的运动物体探测与三维追踪装置,其特征在于,空间光调制器采用数字微镜装置,其显示二值化图案的刷新频率为QHz,即每秒可以显示Q张不同的二值化正弦条纹图案,其中一帧代表一次探测或定位,一套正弦条纹图案投影完并得到对应的信号幅值代表完成一帧测量。
控制设备为计算机;照明光源为白光LED;成像系统为投影透镜;分束装置为偏振分光棱镜;反射装置为反射镜;光电探测器为硅带放大探测器。
5.一种免成像的运动物体探测与三维追踪方法,其特征在于,步骤如下:
S1、利用控制设备控制空间光调制器产生一套正弦条纹图案,该套图案包含条纹方向分别为竖直和水平的两组正弦条纹图案,且每组包含N张正弦条纹图案;
S2、空间光调制器按照先竖直条纹后水平条纹,每组条纹的初相位从小到大的顺序循环显示所生成的正弦条纹图案,令照明光源的照明光投射于空间光调制器,此时利用空间光调制器对照明光源产生的照明光场进行调制,产生含有正弦条纹图案的结构光;
S3、结构光经过成像系统和分束装置后分成两束含有正弦条纹图案的偏振光,两束偏振光经过反射装置反射后分别从正交的两个方向投影到场景,并生成两束透射光;
S4、利用光电探测器探测穿过场景的两束透射光信号,所得光信号由数据采集卡采集并得到对应的2N个信号幅值,然后传输给控制设备;
S5、通过控制设备处理接收到的2N个信号幅值,并判断场景中是否存在运动物体以及得出场景中运动物体的三维空间坐标和运动轨迹。
6.根据权利要求5所述的一种免成像的运动物体探测与三维追踪方法,其特征在于,空间光调制器采用N步相移法产生一套大小为A×B像素,周期为1的正弦条纹图案,其中,第i张正弦条纹图案的初相位为
Figure FDA0002589817490000031
i=1,2,...,N,N≥3;
记x、y、z为场景所在三维空间的三个正交方向,且x轴、y轴和z轴交于原点O,竖直条纹用于测量场景中的运动物体在场景的x-O-z投影面的x坐标,其频率表示为(fx=1,fz=0),以及测量运动物体在场景的y-O-z投影面的y坐标,其频率表示为(fy=1,fz=0);水平条纹用于测量物体在x-O-z投影面的z坐标,其频率表示为(fx=0,fz=1);
正弦条纹图案的生成过程如下:
S11、对于x-O-z投影面,根据不同的初相位,利用如下公式生成(1,0),(0,1)两种频率的多灰度级的正弦条纹图案
Figure FDA0002589817490000032
Figure FDA0002589817490000033
式中,(fx,fz)表示频率;
对于y-O-z投影面,根据不同的初相位,利用如下公式生成(1,0)频率的多灰度级的正弦条纹图案
Figure FDA0002589817490000034
Figure FDA0002589817490000035
式中,(fy,fz)表示频率;
S12、然后利用Floyd-Steinberg误差扩散二值化算法对所得正弦条纹图案进行二值化,最终一套正弦条纹图案一共有2N张图案,坐标x、y、z完成归一化,坐标取值范围为(0~1)。
7.根据权利要求6所述的一种免成像的运动物体探测与三维追踪方法,其特征在于,在步骤S3中,分成的两束偏振光经过反射装置反射后,其中一束偏振光沿场景的x-O-z投影面的法线方向y投影到场景,另一束偏振光沿场景的y-O-z投影面的法线方向x投影到场景,两个投影面正交,方向x和方向y正交,场景位于在两束投影图案的像面处,最终在场景的两个投影面均获得清晰的正弦条纹图案。
8.根据权利要求6所述的一种免成像的运动物体探测与三维追踪方法,其特征在于,在步骤S4中,数据采集卡根据光信号得到信号幅值,具体为:
设场景的x-O-z投影面为I(x,z),经正弦条纹图案
Figure FDA0002589817490000041
投影到场景后所得透射光的信号幅值表示为二维图像I与正弦图案P的内积:
Figure FDA0002589817490000042
对于每个光电探测器,记录x-O-z投影面的N步相移正弦条纹图案所得的N个信号幅值分别为V1,V2,...,VN,y-O-z投影面的N步相移正弦条纹图案所得的N个信号幅值分别为H1,H2,...,HN
9.根据权利要求8所述的一种免成像的运动物体探测与三维追踪方法,其特征在于,在步骤S5中,控制设备处理2N个信号幅值和判断场景中是否存在运动物体的过程如下:
S51、计算当前帧所投影的一套正弦条纹图案对应的信号幅值的平均值,记为D:
Figure FDA0002589817490000043
S52、根据当前帧的前2N-1帧至当前帧的平均值D的变化幅度判断平稳性,若变化幅度小,则为平稳,判断场景中无运动物体;若变化幅度大,则为非平稳,判断场景中存在运动物体。
10.根据权利要求9所述的一种免成像的运动物体探测与三维追踪方法,其特征在于,控制设备得出场景中运动物体的三维空间坐标和运动轨迹的过程如下:
S53、当判断场景中无运动物体时,则采用变化幅度平稳的任意一帧所投影的一套正弦条纹图案的信号幅值作为背景值,记所得的光电探测器的单像素探测值为背景值
Figure FDA0002589817490000054
Figure FDA0002589817490000055
S54、当判断场景中存在运动物体,且在已获得背景值的情况下,基于光电探测器的测量值,利用如下公式计算物体在场景中的空间坐标x、y、z:
Figure FDA0002589817490000051
Figure FDA0002589817490000052
Figure FDA0002589817490000053
S55、考虑到空间坐标x、y、z为归一化空间坐标,将空间坐标乘以对应方向的像素数,计算得到实际坐标,表示为x×B,y×B,z×A,最终合成得到物体的三维空间坐标(x,y,z)进而得到物体的运动轨迹。
CN202010692515.8A 2020-07-17 2020-07-17 一种免成像的运动物体探测与三维追踪装置及方法 Active CN111856478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010692515.8A CN111856478B (zh) 2020-07-17 2020-07-17 一种免成像的运动物体探测与三维追踪装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010692515.8A CN111856478B (zh) 2020-07-17 2020-07-17 一种免成像的运动物体探测与三维追踪装置及方法

Publications (2)

Publication Number Publication Date
CN111856478A true CN111856478A (zh) 2020-10-30
CN111856478B CN111856478B (zh) 2023-03-28

Family

ID=73002102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010692515.8A Active CN111856478B (zh) 2020-07-17 2020-07-17 一种免成像的运动物体探测与三维追踪装置及方法

Country Status (1)

Country Link
CN (1) CN111856478B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560578A (zh) * 2020-11-18 2021-03-26 北京理工大学 免成像的车牌内容识别方法及系统
CN113114882A (zh) * 2021-03-26 2021-07-13 暨南大学 一种高采样效率的傅里叶单像素成像方法
CN114324245A (zh) * 2021-11-15 2022-04-12 西安电子科技大学 基于部分相干结构光照明的定量相位显微装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US20120200829A1 (en) * 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
CN107909591A (zh) * 2017-09-29 2018-04-13 华北水利水电大学 基于结构光照明和单像素成像的边界提取方法和系统
CN108895985A (zh) * 2018-06-19 2018-11-27 中国科学院合肥物质科学研究院 一种基于单像素探测器的物体定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US20120200829A1 (en) * 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
CN107909591A (zh) * 2017-09-29 2018-04-13 华北水利水电大学 基于结构光照明和单像素成像的边界提取方法和系统
CN108895985A (zh) * 2018-06-19 2018-11-27 中国科学院合肥物质科学研究院 一种基于单像素探测器的物体定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜宏志等: "单像素成像在三维测量中的应用", 《红外与激光工程》 *
张子邦等: "傅里叶单像素成像技术与应用", 《红外与激光工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560578A (zh) * 2020-11-18 2021-03-26 北京理工大学 免成像的车牌内容识别方法及系统
CN113114882A (zh) * 2021-03-26 2021-07-13 暨南大学 一种高采样效率的傅里叶单像素成像方法
CN113114882B (zh) * 2021-03-26 2023-01-06 暨南大学 一种高采样效率的傅里叶单像素成像方法
CN114324245A (zh) * 2021-11-15 2022-04-12 西安电子科技大学 基于部分相干结构光照明的定量相位显微装置和方法
CN114324245B (zh) * 2021-11-15 2024-01-30 西安电子科技大学 基于部分相干结构光照明的定量相位显微装置和方法

Also Published As

Publication number Publication date
CN111856478B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN111856478B (zh) 一种免成像的运动物体探测与三维追踪装置及方法
US10724960B2 (en) Inspection system and inspection method
US6600168B1 (en) High speed laser three-dimensional imager
US10302424B2 (en) Motion contrast depth scanning
US8369579B2 (en) Methods and apparatus for 3D surface imaging using active wave-front sampling
TW488145B (en) Three-dimensional profile scanning system
JP3573512B2 (ja) 画像処理方法及び画像処理装置
JPH06505096A (ja) 光センサ
CN107071248B (zh) 一种用于提取强反射表面几何特征的高动态范围成像方法
WO2013052781A1 (en) Method and apparatus to determine depth information for a scene of interest
Zhongdong et al. 3D laser scanner system using high dynamic range imaging
TWI740237B (zh) 光學相位輪廓測定系統
CN104729428B (zh) 基于同轴结构光的镜面零件三维形貌测量系统及测量方法
CN113114882B (zh) 一种高采样效率的傅里叶单像素成像方法
Etchepareborda et al. Random laser speckle pattern projection for non-contact vibration measurements using a single high-speed camera
CN110487214A (zh) 一种基于光度立体技术和结构光技术相结合的产品合格率的检测系统及其检测方法
US4657393A (en) Pattern optimization when measuring depth to a surface using lens focusing
CN109799672A (zh) 非完善成像镜头的检测装置和方法
JP2000304508A (ja) 3次元入力装置
Drouin et al. High resolution projector for 3D imaging
CN109883656A (zh) 非完善成像镜头的检测装置和方法
WO2019238583A1 (en) Deflectometric techniques
JP2006170744A (ja) 3次元距離計測装置
Zhu et al. Three-dimensional measurement of fringe projection based on the camera response function of the polarization system
CN114543706A (zh) 一种基于非相干光源多角度投射的差分光切线扫轮廓术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant