CN108254757A - 一种基于双tof传感器的测速装置 - Google Patents

Abstract

本发明属于嵌入式计算机技术领域，涉及一种基于双TOF传感器的测速装置。该测速装置包括主控制模块、双TOF及射频调制光源模块和通信模块。主控制模块包括主控芯片及外围器件，负责系统的初始化、运行应用程序和实现基于正交调制频率的多普勒算法。双TOF及射频调制光源模块包括两套TOF传感器子模块、镜头滤光片子模块和射频调制光源子模块，通过对被测物体反射的光波采取正交频率调制得到三维深度图像，然后通过TCMI发送到主控芯片处理。通信模块包括千兆以太网子模块、USB2.0子模块及RS232子模块，用于与上位机通信及测速装置调试。本发明可在消费市场、轨道交通领域中应用。

Description

一种基于双TOF传感器的测速装置

技术领域

本发明属于嵌入式计算机领域，涉及一种基于双TOF传感器的测速装置。

背景技术

随着人机交互和游戏、增强现实、机器视觉和医学成像的发展，TOF传感器得到越来越广泛应用，而通过双TOF(Time Of Flight，飞行时间)传感器不仅能够实现三维深度成像，而且还能够同时实现三维测速。传统采用CCD(Charge Coupled Device，电荷耦合器件)传感器的光流法，由于它测速的精度不高、范围小、计算量大，只能对横向带有纹理的被测物体进行测速，同时只能采集不包含深度的二维图像，这些缺点导致它逐渐被市场所淘汰。随着市场对消费级产品性能体验的多样性提出了越来越高的要求，传感器能够采集三维深度图像尤为重要，这就要求传感器具有一个像素点阵，捕捉被测物体三维深度图像；其次，消费者对三维深度图像的画质要求不断提高，这就需要增大单个像素点面积，提高整体像素点个数以及增加数模转换的量化位数等；再次，消费级产品工作环境多变，这就要求测速装置具有高精度、远距离、宽范围测速特点，并且对环境光等噪声具有滤波特性；最后，为了保证测速信息的实时采集、实时计算、实时传输，要求测速装置具有高带宽的通讯总线、强大的数字信号处理模块以及快速高效的数字信号处理算法。在此背景下，本发明提出了一种基于双TOF传感器的测速装置，以满足当前消费级市场测速的需求。

发明内容

本发明要解决的技术问题是提供一种基于双TOF传感器的测速装置，在三维成像的同时还能够测算被测物体表面每点三维速度。

本发明的技术方案：

一种基于双TOF传感器的测速装置，该测速装置包括主控制模块、双TOF及射频调制光源模块和通信模块；

所述的主控制模块主要由主控芯片及其外围器件组成；主控芯片采用ARM+FPGA架构的处理器，内部包含ARM处理器和FPAG；ARM处理器包括双ARM Cortex-A9内核、静态内存控制接口、动态内存控制接口、SDIO接口和UART接口；FPGA包括FPGA可编程资源、普通I/O接口和FPGA扩展接口；其中，ARMCortex-A9内核和FPGA通过AXI高速总线相连，双ARM Cortex-A9内核负责运行Linux操作系统和应用程序，FPGA负责基于正交调制频率的多普勒算法的实现；外围器件包括iNAND芯片、DDR3内存芯片、Flash芯片、时钟、看门狗芯片以及CPLD芯片；其中，iNAND芯片和主控芯片的SDIO接口相连，作为应用程序以及TOF传感器数据查找表的存储芯片；DDR3内存芯片和主控芯片的动态内存控制接口相连，用于运行操作系统和应用程序；Flash芯片和主控芯片的静态内存控制接口相连，用于存放bootloader文件；时钟、看门狗芯片用于给主控芯片提供可靠的时钟以及复位信号；CPLD芯片用于在FPGA启动时，FPGA给CPLD发送一串码流，使CPLD与FPGA执行同样的算法，CPLD执行算法后将运算结果送给FPGA，若CPLD与FPGA结果一致则FPGA运行程序，若不一致则锁定FPGA，从而保证FPGA中算法的安全性；FPGA扩展的千兆MAC接口与通信模块的一路以太网物理层芯片相连，作为被测物体三维深度图像数据传输通路；FPGA扩展USB2.0接口用于与上位机通信；FPGA扩展I²C接口用于双TOF及射频调制光源模块的配置管理；FPGA扩展TCMI接口用于主控制模块与双TOF及射频调制光源模块间三维深度图像数据的传送；主控芯片UART接口与通信模块的RS232接口收发器相连，用于设备调试；

所述的双TOF及射频调制光源模块包括两套TOF传感器子模块、镜头滤光片子模块和射频调制光源子模块；利用两套TOF传感器子模块的LED控制引脚控制射频调制光源子模块发射不同频率、正弦波形的红外光，通过被测物体反射，从而被两个TOF传感器子模块采集；通过对进入两个TOF传感器子模块的入射光采用正交频率调制，入射光通过TOF传感器上感光的像素点阵的光电转化、ADC采样编码，最终得到三维深度图像；三维深度图像包含被测物体的三维速度信息，通过TCMI总线将三维深度图像数据发送到主控制模块中的FPGA进行处理；镜头滤光片子模块采用不同的带通频率，使得射频调制光源子模块发射的不同波段的红外光分别进入到不同的TOF传感器子模块，通过带通滤波器的特性实现了分离两个不同波段的红外光，并且对其他频率的环境噪声起到滤除的作用；射频调制光源子模块的驱动电路还包含一个光源反馈电路LEDFB，通过光源反馈电路来调整相位误差；

所述的通信模块主要由千兆以太网子模块、USB2.0子模块和RS232子模块组成，用于被测物体三维深度图像的传输以及测速装置调试；千兆以太网子模块由以太网物理层芯片、以太网变压器和面板连接器组成；以太网物理层芯片与主控制模块的EMAC(以太网媒体访问控制器)和MDIO(物理层设备数据收发管理模块)接口相连，EMAC用于控制主控制模块到以太网物理层芯片的数据包流，MDIO主要负责配置和监控与EMAC相连的以太网物理层芯片；以太网物理层芯片通过以太网变压器和面板连接器与外界以太网相连，实现了以太网物理层芯片与外界的隔离；考虑到有些设备没有以太网接口，增加一个USB2.0子模块，用于与上位机通信；RS232子模块主要用于测速装置的调试，通过RS232总线来调试测速装置的各功能模块，以验证各功能模块是否工作正常。

双TOF及射频调制光源模块是本测速装置的核心器件，正交调制频率的多普勒算法就是通过对此模块采集的被测物体三维深度图像进行处理，然后得到被测物体表面每点三维速度。具体来说，被测物体反射的波长由光源和被测物体的相对运动而产生变化，得到估算的速度式⑴：

Δω＝v/c*ω_g ⑴

其中，v是被测物体速度，c为真空中光速，ω_g为光源发射的正弦波频率，Δω为对应于波长变化的频率变化量；

射频调制光源子模块发出呈正弦波形的光波，如式⑵：

a(t)＝a₁cos(ω_gt)+a₀ ⑵

其中，a₁是发射光光强，a₀发射光直流分量光强，ω_g为发射光的正弦波频率；

经过被测物体反射，得到入射光，如式⑶：

b(t)＝b₁cos((ω_g+Δω)t+θ)+b₀ ⑶

其中，b₁是入射光光强，b₀是入射光直流分量光强，ω_g为入射光的正弦波频率，Δω为对应于波长变化的频率变化量，θ是相对于时延的相位延迟；

在采样前对来自不同射频调制光源的入射光采取基于正交频率的调制，第一个TOF传感器对入射光调制之后波形，取ω_g＝m*2π/T、ω_f＝n*2π/T，m、n∈N，n＝m+1,ω_g、ω_f为关于曝光时间T的正交频率，如式⑷：

第二个TOF传感器对入射光调制之后波形，取ω_g＝ω_f＝m*2π/T，m∈N，如式⑸：

然后两个TOF传感器在曝光期间的动作过程相当于对调制过的入射光分别在曝光时间内进行积分计算，由于T＞＞1/ω_f，所以高频率的信号积分等于零，则如式⑹、⑺:

最后求积分计算的比值R，如式⑻：

通过上述一系列推导计算，最终把光源频率(对应于被测物体速度)的变化直接转化为曝光期间内入射光强度的测量，从而得到物体表面每点速度。

基于双TOF传感器的测速装置运行方式如下：设备上电后主控制模块完成系统的初始化，然后两套射频调制光源子模块发射波段不同的红外光，利用两套TOF传感器子模块分别对入射光采用正交频率调制，得到被测物体的三维深度图像，这些图像数据通过TCMI总线发送到主控制模块中的FPGA进行处理，通过计算得到被测物体每点速度，然后通过千兆MAC接口或者USB2.0接口把物体每点速度数据上传到上位机,从而在上位机建立一个实时的被测物体表面速度图像。各功能模块协调工作，构成了具有测速功能的完整装置。

本发明的有益效果：首先测速装置通过双TOF传感器分别接收经过正交频率调制的不同波段的红外光，通过正交调制频率的多普勒算法实现速度的快速计算，可满足实时性要求；其次，可以实现远距离测速，不同的调制频率具有不同的测速距离，最远可至二百四十米；再次，对于高速低速，不同形状，有无纹理物体均实现速度的测量；最后，通过千兆MAC接口或USB2.0接口通讯，能够在上位机建立一个实时的被测物体表面三维速度图像，满足消费者的各种功能需求。

附图说明

图1是本发明测速装置的硬件结构框图。

图2是本发明测速装置的主控制模块示意图。

图3是本发明测速装置的双TOF及射频调制光源模块示意图。

图4是本发明测速装置的通信模块示意图。

具体实施方式

以下结合附图和技术方案详细说明本发明的具体实施方式。

①基于双TOF传感器的测速装置包括主控制模块、双TOF及射频调制光源模块和通信模块三部分，结构如图1所示。主控制模块包括主控芯片及外围器件，负责系统的初始化、信息图像存储与处理，以及运行应用程序和基于正交调制频率的多普勒算法。双TOF及射频调制光源模块包括两套TOF传感器子模块、镜头滤光片子模块和射频调制光源子模块。TOF传感器子模块控制射频调制光源子模块不断发射红外光波，红外光波通过被测物体反射穿过镜头滤光片进入TOF传感器子模块，然后TOF传感器子模块分别对入射光采用正交频率调制，最终得到被测物体三维深度图像。通信模块包括千兆以太网子模块、USB2.0子模块及RS232子模块，千兆以太网子模块、USB2.0子模块负责被测物体三维深度图像的传输，RS232子模块负责装置的调试。此外，本设备采用DC-DC方式供电，将24V直流电压转换成相关芯片所需的电压进行供电。

②主控制模块由主控芯片及其外围器件组成，如图2所示。主控芯片选用ARM+FPGA架构的芯片，该芯片将FPGA与双ARMCortex-A9内核集成在一起，其由ARM处理器而非FPGA进行控制。设计人员可对ARM处理器进行编程，根据需要来配置FPGA，从而降低了设计门槛和周期，同时利用FPGA强大并行处理能力，在FPGA中可编程实现正交调制频率的多普勒算法，实现对TOF传感器采集的被测物体三维深度图像进行处理。外围器件包括iNAND芯片、DDR3内存芯片、Flash芯片、时钟、看门狗芯片以及CPLD芯片。主控芯片内含多种外设接口：一个支持Quad-SPI的静态内存控制接口，可以实现4位、8位数据并行传输；一个访问空间1GB，支持DDR3的动态内存控制接口；两个带有DMA的SDIO接口；两个传输速率高达1Mb/s的高速UART接口；两个兼容RGMII/GMII/SGMII的千兆MAC接口；两个传输速率高达1Mb/s的高速I²C接口，如果外设过多可通过FPGA进行接口扩展。本发明采用两片具有Quad-SPI接口的Flash芯片来构成16MB的存储空间，用于存放bootloader文件，两片Flash芯片共同构成8位数据读取接口，读取速度可达52MB/s，大大缩短了系统的启动时间；两片DDR3内存芯片来构成1GB的内存空间，其bank地址为BA[0:2]，行地址为A[0:14]，列地址为A[0:9]，数据位宽为16位，用于操作系统和应用程序的运行；采用iNAND芯片用于应用程序以及TOF传感器矫正数据查找表的存储，iNAND芯片将内存控制器和NANDFlash集成在一起，主控制器只需对iNAND进行读写，内存控制器负责数据存储与接口协议等工作，这样不仅降低了主控芯片的工作负荷而且节约了系统资源；CPLD芯片用于在FPGA启动时，FPGA给CPLD发送一串码流，使CPLD与FPGA执行同样的算法，CPLD执行算法后将运算结果送给FPGA，若CPLD与FPGA结果一致则FPGA运行程序，若不一致则锁定FPGA，从而保证FPGA中算法的安全性；时钟看门狗芯片用于给主控提供可靠的时钟以及复位信号。FPGA扩展千兆MAC接口配置为RGMII接口，作为通信模块的三维深度图像的传输接口；主控芯片UART接口与通信模块的RS232总线收发器相连，用于设备调试；FPGA扩展的I²C接口用于双TOF及射频调制光源模块的管理与配置；FPGA扩展的TCMI接口用于接收由TOF传感器子模块采集的被测物体三维深度图像。设备电源采用将24V直流电压通过开关电源芯片及外围电路转换成1.0V、1.2V、1.5V、1.8V、2.5V、2.8V和3.3V的方式来为相关芯片供电。

③双TOF及射频调制光源模块包括两套TOF传感器子模块、镜头滤光片子模块和射频调制光源子模块，如图3所示。TOF传感器子模块中的感光像素点阵负责在触发快门曝光期间将物体的光学图像转化为电子信号，电子信号通过ADC采样编码，采样编码后三维深度图像数据通过TCMI总线发送给FPGA进行处理，从而得到被测物体表面每点的三维速度。同时，TOF传感器子模块能够通过LED控制引脚控制射频调制光源子模块发射不同频率、正弦波形的红外光，通过被测物体反射，从而被两个TOF传感器子模块采集。此外每个TOF传感器具有传输速率高达1Mb/s的高速I²C配置管理接口，能够保证每秒传输65.5帧320*240图像的12位并行TCMI图像接口。镜头滤光片子模块采用高分辨率微型宽角度、M12x0.5安装、金属外壳、固定虹膜闭路电视镜头，不同频带的带通滤光片，分离两个不同波段的红外光进入不同的TOF传感器子模块，同时减少环境光的干扰。每个射频调制光源子模块采用8个同步红外照明光源，通过光源驱动电路实现8个大功率红外光源的稳定高效发光，除此之外射频调制光源子模块中的驱动电路还包含一个光源反馈电路(LEDFB)，通过光源反馈电路来调整相位误差。

④双TOF及射频调制光源模块是本测速装置的核心器件，正交调制频率的多普勒算法就是通过对此模块采集的被测物体三维深度图像进行处理，然后得到被测物体表面每点三维速度。具体来说，由于被测物体反射的波长因为光源和被测物体的相对运动而产生变化，得到估算的速度式⑴：

Δω＝v/c*ω_g ⑴

其中，v是被测物体速度，c为真空中光速，ω_g为光源发射的正弦波频率，Δω为对应于波长变化的频率变化量；

射频调制光源子模块发出呈正弦波形的光波，如式⑵：

a(t)＝a₁cos(ω_gt)+a₀ ⑵

其中，a₁是发射光光强，a₀发射光直流分量光强，ω_g为发射光的正弦波频率；

经过被测物体反射，得到入射光，如式⑶：

b(t)＝b₁cos((ω_g+Δω)t+θ)+b₀ ⑶

其中，b₁是入射光光强，b₀是入射光直流分量光强，ω_g为入射光的正弦波频率，Δω为对应于波长变化的频率变化量，θ是相对于时延的相位延迟；

在采样前对来自不同射频调制光源的入射光采取基于正交频率的调制，第一个TOF传感器对入射光调制之后波形，取ω_g＝m*2π/T、ω_f＝n*2π/T，m、n∈N，n＝m+1,ω_g、ω_f为关于曝光时间T的正交频率，如式⑷：

第二个TOF传感器对入射光调制之后波形，取ω_g＝ω_f＝m*2π/T，m∈N，如式⑸：

然后两个TOF传感器在曝光期间的动作过程相当于对调制过的入射光分别在曝光时间内进行积分计算，由于T＞＞1/ω_f，所以高频率的信号积分等于零,则如式⑹、⑺:

最后求积分计算的比值，如式⑻：

通过上述一系列推导计算，最终把光源频率(对应于被测物体速度)的变化直接转化为曝光期间内入射光强度的测量，从而得到物体表面每点速度。

⑤通信模块由千兆以太网子模块、USB2.0子模块以及RS232子模块组成，如图4所示。主要用于被测物体三维深度图像的传输以及测速装置调试。千兆以太网的EMAC与以太网物理层芯片之间的通信配置为RGMII接口，其包括数据发送、接收、时钟、控制等12根信号线。MDIO包含MDCLK和DATA，分别为管理数据模块的时钟线和数据线。主控芯片内部集成了符合IEEE802.3标准的EMAC和MDIO。EMAC为设备与网络之间提供了一种高效的接口，用于实现MAC层到以太网物理层芯片的数据包流控制；MDIO使用一种共享的双线式总线去访问和控制以太网物理层芯片，主要负责配置和监控与EMAC相连的以太网物理层芯片，包括系统复位、中断及系统的优先级等。以太网物理层芯片通过变压器和面板连接器与外界以太网相连，以太网变压器主要起信号传输、阻抗匹配、波形修复、信号杂波抑制和高电压隔离等作用。USB2.0子模块的USB2.0收发器与FPGA扩展的USB2.0接口相连，通过面板连接器与上位机的通信。RS232子模块的RS232总线收发器与主控制模块的UART接口相连，通过面板连接器连接测试设备,主要用于测速装置的调试，如内存读写、TOF传感器子模块的寄存器配置等，便于验证各功能模块是否工作正常。

Claims (2)

1.一种基于双TOF传感器的测速装置，其特征在于，所述的测速装置包括主控制模块、双TOF及射频调制光源模块和通信模块；

所述的主控制模块主要由主控芯片及其外围器件组成；主控芯片采用ARM+FPGA架构的处理器，内部包含ARM处理器和FPAG；ARM处理器包括双ARM Cortex-A9内核、静态内存控制接口、动态内存控制接口、SDIO接口和UART接口；FPGA包括FPGA可编程资源、普通I/O接口和FPGA扩展接口；其中，ARMCortex-A9内核和FPGA通过AXI高速总线相连，双ARM Cortex-A9内核负责运行Linux操作系统和应用程序，FPGA负责基于正交调制频率的多普勒算法的实现；外围器件包括iNAND芯片、DDR3内存芯片、Flash芯片、时钟、看门狗芯片以及CPLD芯片；其中，iNAND芯片和主控芯片的SDIO接口相连，作为应用程序以及TOF传感器数据查找表的存储芯片；DDR3内存芯片和主控芯片的动态内存控制接口相连，用于运行操作系统和应用程序；Flash芯片和主控芯片的静态内存控制接口相连，用于存放bootloader文件；时钟、看门狗芯片用于给主控芯片提供可靠的时钟以及复位信号；CPLD芯片用于在FPGA启动时，FPGA给CPLD发送一串码流，使CPLD与FPGA执行同样的算法，CPLD执行算法后将运算结果送给FPGA，若CPLD与FPGA结果一致则FPGA运行程序，若不一致则锁定FPGA，从而保证FPGA中算法的安全性；FPGA扩展的千兆MAC接口与通信模块的一路以太网物理层芯片相连，作为被测物体三维深度图像数据传输通路；FPGA扩展USB2.0接口用于与上位机通信；FPGA扩展I²C接口用于双TOF及射频调制光源模块的配置管理；FPGA扩展TCMI接口用于主控制模块与双TOF及射频调制光源模块间三维深度图像数据的传送；主控芯片UART接口与通信模块的RS232接口收发器相连，用于设备调试；

所述的双TOF及射频调制光源模块包括两套TOF传感器子模块、镜头滤光片子模块和射频调制光源子模块；利用两套TOF传感器子模块的LED控制引脚控制射频调制光源子模块发射不同频率、正弦波形的红外光，通过被测物体反射，从而被两个TOF传感器子模块采集；通过对进入两个TOF传感器子模块的入射光采用正交频率调制，入射光通过TOF传感器上感光的像素点阵的光电转化、ADC采样编码，最终得到三维深度图像；三维深度图像包含被测物体的三维速度信息，通过TCMI总线将三维深度图像数据发送到主控制模块中的FPGA进行处理；镜头滤光片子模块采用不同的带通频率，使得射频调制光源子模块发射的不同波段的红外光分别进入到不同的TOF传感器子模块，实现分离两个不同波段的红外光和对其他频率的环境噪声起到滤除的作用；射频调制光源子模块的驱动电路包含一个光源反馈电路LEDFB，通过光源反馈电路来调整相位误差；

所述的通信模块主要由千兆以太网子模块、USB2.0子模块和RS232子模块组成，用于被测物体三维深度图像的传输以及测速装置调试；千兆以太网子模块由以太网物理层芯片、以太网变压器和面板连接器组成；以太网物理层芯片与主控制模块的EMAC和MDIO接口相连，EMAC用于控制主控制模块到以太网物理层芯片的数据包流，MDIO主要负责配置和监控与EMAC相连的以太网物理层芯片；以太网物理层芯片通过以太网变压器和面板连接器与外界以太网相连，实现以太网物理层芯片与外界的隔离；USB2.0子模块用于与上位机通信；RS232子模块主要用于测速装置的调试，通过RS232总线来调试测速装置的各模块，以验证各功能模块是否工作正常。

2.根据权利要求1所述的基于双TOF传感器的测速装置，其特征在于，双TOF及射频调制光源模块是测速装置的核心器件，正交调制频率的多普勒算法就是通过对此模块采集的被测物体三维深度图像进行处理，然后得到被测物体表面每点三维速度；

具体如下：被测物体反射的波长由光源和被测物体的相对运动而产生变化，得到速度式(1)：

Δω＝v/c*ω_g (1)

其中，v是被测物体速度，c为真空中光速，ω_g为光源发射的正弦波频率，Δω为对应于波长变化的频率变化量；

射频调制光源子模块发出呈正弦波形的光波，如式(2)：

a(t)＝a₁cos(ω_gt)+a₀ (2)

其中，a₁是发射光光强，a₀发射光直流分量光强，ω_g为光源发射的正弦波频率；

经过被测物体反射，得到入射光，如式(3)：

b(t)＝b₁cos((ω_g+Δω)t+θ)+b₀ (3)

其中，b₁是入射光光强，b₀是入射光直流分量光强，ω_g为光源发射的正弦波频率，Δω为对应于波长变化的频率变化量，θ是相对于时延的相位延迟；

在采样前对来自不同射频调制光源的入射光采取基于正交频率的调制，第一个TOF传感器对入射光调制之后波形，取ω_g＝m*2π/T、ω_f＝n*2π/T，m、n∈N，n＝m+1，ω_g、ω_f为关于曝光时间T的正交频率，如式(4)：

第二个TOF传感器对入射光调制之后波形，取ω_g＝ω_f＝m*2π/T，m∈N，如式(5)：

然后两个TOF传感器在曝光期间的动作过程相当于对调制过的入射光分别在曝光时间内进行积分计算，由于T＞＞1/ω_f，所以高频率的信号积分等于零，则如式(6)、(7)：

最后求积分计算的比值R，如式(8)：

最终把光源频率的变化直接转化为曝光期间内入射光强度的测量，从而得到物体表面每点速度。