CN105657403A

CN105657403A - 基于fpga的结构光投影和图像采集的同步系统

Info

Publication number: CN105657403A
Application number: CN201610095499.8A
Authority: CN
Inventors: 易喜林
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-02-22
Filing date: 2016-02-22
Publication date: 2016-06-08
Anticipated expiration: 2036-02-22
Also published as: CN105657403B

Abstract

本发明公开一种基于FPGA的结构光投影和图像采集的同步系统及其实现方法，通过同步积分模块输出结构光光栅条纹视频给视频转换模块，视频转换模块输送视频给投影机，投影机在输出延时值之前输出相机外同步积分信号，经同步积分模块传递给相机，使相机与投影机同步工作。本发明通过CPU和同步积分模块，从电路系统上直接传送投影机需投射的系列条纹，并精准控制相机的采集触发，以清晰采集由投影机投影的每幅系列条纹图纹。系统不需要投影机重复投影每组系列条纹，也不需要降低每组系列条纹图的投射的频率，使得设计的电路能以投影仪的最高投射频率（或速度）来采集系列条纹图像。

Description

基于FPGA的结构光投影和图像采集的同步系统

技术领域

本发明涉及3D扫描领域，尤其涉及一种基于FPGA的结构光投影和图像采集的同步系统。

背景技术

目前，在3D相机实现重建的各种方式中，利用投影机投射结构光光栅条纹是最常用的一种。在这种方式中，要构造获得一个物体的一幅3D图像，通常需要投影机投射不同相位和宽度的条纹到物体上（一系列条纹），然后通过相机采集这几幅被编码的图像来实现3D重建。然而，若投影机投射从PC输出的结构光光栅条纹，由于存在PC控制投影机光栅条纹视频输出延时的不确定性，加上投影机本身额外的投射延时，导致相机无法同步地采集到这些投射的条纹图片，从而影响被扫描物体的3D数据重建。

为了解决这个问题，通常的做法是：1.让PC以较慢的变化率控制投影机投射系列结构光光栅条纹，在确保其已开始被投射的情况下，再触发相机积分，采集被结构光光栅条纹编码的物体图片。直到相机积分完毕后，再开始投影下一幅结构光光栅条纹。2.让PC控制投影机重复投射系列结构光光栅条纹，再在相机采集的图像中找到或组合出适合3D构造的系列结构光光栅条纹图。但是，无论是通过设置较大的投影延时或相机多次采集重复投影的系列条纹，都大大降低图像的采集速率，不能保障3D重建的可靠性(比如不能保障能组合出最佳3D构造的系列条纹)。更不可能保证并无法确保高频或实时3D扫描，也无法对运动速度较大的物体进行采集，从而大大限制了3D扫描仪的应用场合。

发明内容

针对上述技术中存在的不足之处，本发明提供一种基于FPGA的结构光投影和图像采集的同步系统和实现方法。通过CPU和同步积分模块，从电路系统上直接传送投影机需投射的系列条纹，并精准控制相机的采集触发，以清晰采集由投影机投影的每幅系列条纹图纹。

为了达到上述目的，本发明公开一种基于FPGA的结构光投影和图像采集的同步系统，包括FPGA主控电路板、相机、投影机、转盘和PC端，所述PC端与相机和FPGA主控电路板电连接，所述FPGA主控电路板与相机、投影机和转盘电连接；

所述FPGA主控电路板包括FPGA芯片和视频转换模块，所述FPGA芯片上设有CPU、同步积分模块，所述同步积分模块同时与相机和视频转换模块电连接；所述视频转换模块与投影机电连接；

所述同步积分模块输出结构光光栅条纹视频给视频转换模块，所述视频转换模块输送视频信号给投影机，投影机在输出延时值之前输出相机外同步积分信号，经同步积分模块传递给相机，使相机与投影机同步工作；所述投影机输出的延时值为定值。

其中，所述FPGA主控电路板还包括SRAM存储模块、电机驱动模块和电源模块；所述SRAM存储模块、视频转换模块、电机驱动模块和电源模块都与FPGA芯片电连接，所述电机驱动模块与转盘电连接；所述FPGA芯片上还设有SRAM切换模块和FLASH存储模块，所述SRAM切换模块与SRAM存储模块进行数据交互。

其中，所述视频转换模块为DAC模块或HDMI模块，当结构光光栅条纹视频经过DAC模块进行处理时，输出VGA视频信号给投影机，当结构光光栅条纹视频经过HDMI模块处理时，输出HDMI视频信号给投影机，所述投影机投影机经过一个固定的延时后输出VGA视频格式的结构光光栅条纹或者HDMI视频格式的结构光光栅条纹。

其中，所述电机驱动模块与同步积分模块电连接，所述相机和投影机工作的同时，CPU控制电机驱动模块对转盘分时或实时控制转盘的的角度、速度和方向。

其中，所述外同步积分信号的周期为VGA视频信号或者HDMI视频信号的整数倍。

其中，SRAM切换模块在非图像接收的时候设定为输出显示功能，不影响CPU的工作时间占用。

其中，所述PC端通过RS232串口连接FPGA控制电路板，并与CPU进行通讯，PC端通过数据采集程序发送命令和图像数据给CPU。

本发明还公开一种基于FPGA的结构光投影和图像采集的同步系统的实现方法，其特征在于，包括以下步骤：

1）采集系统初始化，FPGA芯片接收PC端的数据采集程序的命令和图像数据，并由SRAM切换模块将数据总线和地址总线切换到CPU中，图像数据存入FLASH存储模块里或存入SRAM存储模块中；

2）CPU接受数据采集程序的命令，对同步积分模块进行参数设置，比如：图像显示方向，需采集的图像数量，窄条纹循环次数，每帧循环的次数，和延时时间等；

3）当接收来自数据采集程序的图像采集命令时，SRAM切换模块将数据总线和地址总线切换到同步积分模块，同步积分模块将图像按存储的顺序依次投影到目标上，并发出触发相机采集图像的信号；

4）数据采集程序抓取图像采集命令，并全部采集投射的光栅系列图像。

其中，所述图像数据包括图像显示方向，需采集的图像数量，窄条纹循环次数，每帧循环的次数，延时时间，投影仪亮度，设置VGA或HMDI输出模式，开关投影仪等待时间。

其中，当CPU接收到PC端的数据采集程序的触发命令后对同步积分模块发出一个脉冲，同步积分模块检测到这个脉冲后将地址总线设为第一帧图像的地址位，读取一行图像数据送给投影机，再将地址总线重置到第一帧的位置，输出第二行图像，依次循环直到完整的输出一整幅图像。

本发明的有益效果为：与现有技术相比，本发明所公开的基于FPGA的结构光投影和图像采集的同步系统及其实现方法，通过CPU和同步积分模块，从电路系统上直接传送投影机需投射的系列条纹，并精准控制相机的采集触发，以清晰采集由投影机投影的每幅系列条纹图纹。系统不需要投影机重复投影每组系列条纹，也不需要降低每组系列条纹图的投射的频率，使得设计的电路能以投影仪的最高投射频率（或速度）来采集系列条纹图像。

附图说明

图1为本发明系统结构示意图；

图2为本发明FPGA主控电路板结构示意图；

图3为本发明FPGA芯片内部模块图；

图4为本发明外触发同步积分流程示意图；

图5为本发明图像输出和相机触发时序图。

具体实施方式

为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。

请参阅图1-图3，本发明公开一种基于FPGA的结构光投影和图像采集的同步系统，包括FPGA主控电路板1、相机2、投影机3、转盘4和PC端5，PC端5与相机2和FPGA主控电路板1电连接，FPGA主控电路板1与相机2、投影机3和转盘4电连接；

FPGA主控电路板1包括FPGA芯片11和视频转换模块12，FPGA芯片11上设有CPU、同步积分模块112，同步积分模块112同时与相机2和视频转换模块12电连接；视频转换模块12与投影机3电连接；

同步积分模块112输出结构光光栅条纹视频给视频转换模块12，视频转换模块12输送视频给投影机3，投影机3在输出延时值之前输出相机的外同步积分信号，经同步积分模块112传递给相机2，使相机2与投影机3同步工作。在本实施例中，相机2设有两个或者多个，分别位于摄影机3的两端，并同步工作。

与现有技术相比，本发明所公开的基于FPGA的结构光投影和图像采集的同步系统及其实现方法，通过CPU和同步积分模块，从电路系统上直接传送投影机需投射的系列条纹，并精准控制相机的采集触发，以清晰采集由投影机投影的每幅系列条纹图纹。系统不需要投影机重复投影每组系列条纹，也不需要降低每组系列条纹图的投射的频率，使得设计的电路能以投影仪的最高投射频率（或速度）来采集系列条纹图像。

在本实施例中，FPGA主控电路板1还包括SRAM存储模块13、电机驱动模块14和电源模块15；SRAM存储模块13、视频转换模块12、电机驱动模块14和电源模块15都与FPGA芯片11电连接，电机驱动模块12与转盘4电连接；FPGA芯片11上还设有SRAM切换模块113和FLASH存储模块114，SRAM切换模块113与SRAM存储模块13进行数据交互，SRAM切换模块在非图像接收的时候设定为输出显示功能，不影响CPU的工作时间占用。

在本实施例中，电机驱动模块12与同步积分模块112电连接，相机2和投影机3工作的同时，CPU控制电机驱动模块12对转盘4分时或实时控制转盘的的角度、速度和方向。

本发明通过FPGA芯片11输出结构光光栅条纹视频，通常为RGB888格式，通过视频转换模块12处理后，输出结构光光栅条纹给投影机，其中，视频转换模块12可以为DAC模块，也可以为HDMI模块，经DAC模块处理后，输出VGA视频信号的结构光光栅条纹给投影机，而通过HDMI模块处理后，输出HDMI视频信号的结构光光栅条纹给投影机，投影机经过一个固定的延时后输出结构光光栅条纹。由于FPGA芯片11输出结构光光栅条纹的时刻是已知的，故仅需要在硬件输出VGA视频信号或HDMI视频信号开始，经过投影机输出延时值（该延时值通常为定值，且可调节）后开始输出相机外同步积分信号，从而实现VGA或HDMI视频输出与相机采集同步的目的。为防止相机拍摄到残缺视频，外同步积分信号的周期为VGA视频信号或者HDMI视频信号的整数倍。

本发明的工作原理为：系统上电后，PC端5通过数据采集程序将需要投影的结构光光栅条纹图片通过RS232串口发送给FPGA芯片11，并与CPU111进行通讯，FPGA芯片11接受到数据后，暂存在SRAM存储模块13，以便FPGA芯片读取送显，当然，也可以将收到的数据保存在Flash存储模块114中，以便下次系统上电后直接读取。FPGA芯片11得到结构光光栅条纹数据后，只要收到PC端5发送的同步积分指令，便开始从SRAM存储模块13中读取结构光光栅条纹数据并通过并行总线RGB888输出至DAC模块或HDMI模块中，DAC模块将输入的数字视频转换为VGA视频信号或HDMI视频信号，模拟视频并输出至投影机中，投影机经过一定的延时（投影机内部需要一定的处理时间）后开始投射视频。此外，在FPGA芯片11送显VGA视频信号或HDMI视频信号的同一时刻开始，通过调整延时值，并在此后开始输出积分同步信号，使相机采集到的结构光光栅条纹与送显的一致，便达到了积分同步的目的。

请参阅图4,为外触发同步积分流程示意图。在本实施例中，默认输出的VGA视频信号或HDM视频信号分辨率为800×600，帧频为60Hz，对应的VGA视频信号或HDMI视频信号帧周期为16.6ms。为了解决相机2帧速（帧速有可能达不到60Hz）及积分时间（积分时间大于帧周期）的限制，系统可以根据具体需求动态调整结构光光栅条纹及外同步积分信号的输出频率，并仍然能达到积分同步的目的。请参阅图5,例如，相机2的最大帧频为30Hz或积分时间需要20ms，则我们仅需要连续送显两帧相同的结构光光栅条纹，并只在第一帧视频场信号起，延后延时值开始输出积分同步脉冲信号，即可实现该条件下的积分同步。

若VGA视频信号或HDMI视频信号以60Hz的帧频输出，则积分时间为16.6ms，为防止相机2拍摄到残缺视频，外同步积分信号的周期必须为VGA外同步积分信号或HDMI外同步积分信号帧周期的整数倍。

由于投影机3需要一定的处理时间，其输出VGA视频信号或HDMI视频信号视频的时刻与输入的VGA视频信号或HDMI视频信号有一定的延时，即延时值，为了在投射VGA视频信号或HDMI视频信号的同一时刻开始积分，就要求外同步积分信号相对VGA视频信号或HDMI视频信号延长延时值，以实现外触发积分信号与VGA视频信号或HDMI视频信号结构光光栅条纹视频同步的目的。投影机3投射的系列条纹一般采用变换式相位三角波和弦波。由于对每幅投影画面里，每行像素的显示内容相同，所以对每幅图，数据采集程序只需要将一行图像传入到FPGA芯片里面存放，系统由此节省带宽、存储空间和时间。

受到相机2带宽及积分时间的限制，当使用外积分同步触发时，若无法达到VGA视频信号或HDMI视频信号的帧率，则必须使VGA视频信号或HDMI视频信号在外同步积分信号周期内重复送显同一结构光光栅条纹，而该重复送显的次数取决于相机使用外触发并满足最大积分时间时的最大帧频。

本发明还公开一种基于FPGA的结构光投影和图像采集的同步系统的实现方法，包括以下步骤：

1）采集系统初始化，FPGA芯片11接收PC端5的数据采集程序的命令和图像数据，并由SRAM切换模块113将数据总线和地址总线切换到CPU111中，图像数据存入Flash存储模块114或者SRAM存储模块13中；

2）CPU111接受数据采集程序的命令，对同步积分模块进行参数设置，比如：图像显示方向，需采集的图像数量，窄条纹循环次数，每帧循环的次数，和延时时间等；

3）当接收来自数据采集程序的图像采集命令时，SRAM切换模块113将数据总线和地址总线切换到同步积分模块，同步积分模块将图像按存储的顺序依次投影到目标上，并发出触发相机采集图像的信号，同时控制两台或多台相机的工作；

投影机3投射的系列条纹一般采用变换式相位三角波和弦波。由于对每幅投影画面里，每行像素的显示内容相同，所以对每幅图，DAP(即PC上的3D数据采集程序）只需要将一行图像传入到FPGA里面存放，系统由此节省带宽、存储空间和时间。

在本实施例中，图像数据包括图像显示方向，需采集的图像数量，窄条纹循环次数，每帧循环的次数，延时时间，投影仪亮度，设置VGA视频信号或HMDI视频信号输出模式，开关投影仪等待时间。

在本实施例中，当CPU111接收到PC端5的数据采集程序的触发命令后对同步积分模块发出一个脉冲，同步积分模块检测到这个脉冲后将地址总线设为第一帧图像的地址位，读取一行图像数据送给投影机，再将地址总线重置到第一帧的位置，输出第二行图像，依次循环直到完整的输出一整幅图像。

在本实施例中，FPGA芯片11内置软核CPU111，通过模块设计，尽量降低对CPU111的依赖和工作时间（比如SRAM切换模块113和电机驱动模块14），以实现设计目的。FPGA芯片11的软核CPU111为控制中心，以同步积分方式对投影机3投射结构光光栅条纹和相机2同步采集进行同步控制，对光机光栅条纹投射机制进行直接控制，对其他3D扫描器件比如转盘4进行分时或实时驱动控制。

投影机3需投射的系列光栅条纹被直接存储在FPGA芯片11的FLASH存储模块114上，并能在指定控制的时间输出给投影机3。为实现准确抓图和节省带宽，采用一行图像数据代替一整幅图像数据来存储系列光栅条纹。在本实施例中，放置目标物体的转盘4的驱动方式也采用FPGA芯片11的软核控制，能在驱动电机时不影响CPU111的工作状态。

本发明的优势在于：

1）结构简单，采用FPGA芯片，并设置同步积分模块实现同步实现光投影和图像采集，操作简单，且精确度高；

2）采集图像更清晰，利用FPGA软核控制，使CPU并精准控制相机的采集触发，采集由投影机投影的每幅系列条纹图纹更加清晰；

3）反应速度快，系统不需要投影机重复投影每组系列条纹，也不需要降低每组系列条纹图的投射的频率，使得设计的电路能以投影仪的最高投射频率或速度来采集系列条纹图像。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims

1.一种基于FPGA的结构光投影和图像采集的同步系统，其特征在于，包括FPGA主控电路板、相机、投影机、转盘和PC端，所述PC端与相机和FPGA主控电路板电连接，所述FPGA主控电路板与相机、投影机和转盘电连接；

2.根据权利要求1所述的基于FPGA的结构光投影和图像采集的同步系统，其特征在于，所述FPGA主控电路板还包括SRAM存储模块、电机驱动模块和电源模块；所述SRAM存储模块、视频转换模块、电机驱动模块和电源模块都与FPGA芯片电连接，所述电机驱动模块与转盘电连接；所述FPGA芯片上还设有SRAM切换模块和FLASH存储模块，所述SRAM切换模块与SRAM存储模块进行数据交互。

3.根据权利要求2所述的基于FPGA的结构光投影和图像采集的同步系统，其特征在于，所述视频转换模块为DAC模块或HDMI模块，当结构光光栅条纹视频经过DAC模块进行处理时，输出VGA视频信号给投影机，当结构光光栅条纹视频经过HDMI模块处理时，输出HDMI视频信号给投影机，所述投影机投影机经过一个固定的延时后输出VGA视频格式的结构光光栅条纹或者HDMI视频格式的结构光光栅条纹。

4.根据权利要求2所述的基于FPGA的结构光投影和图像采集的同步系统，其特征在于，所述电机驱动模块与同步积分模块电连接，所述相机和投影机工作的同时，CPU控制电机驱动模块对转盘分时或实时控制转盘的的角度、速度和方向。

5.根据权利要求1所述的基于FPGA的结构光投影和图像采集的同步系统，其特征在于，所述外同步积分信号的周期为VGA视频信号或者HDMI视频信号的整数倍。

6.根据权利要求2所述的基于FPGA的结构光投影和图像采集的同步系统，其特征在于，SRAM切换模块在非图像接收的时候设定为输出显示功能，不影响CPU的工作时间占用。

7.根据权利要求1所述的基于FPGA的结构光投影和图像采集的同步系统，其特征在于，所述PC端通过RS232串口连接FPGA控制电路板，并与CPU进行通讯，PC端通过数据采集程序发送命令和图像数据给CPU。

8.一种基于FPGA的结构光投影和图像采集的同步系统的实现方法，其特征在于，包括以下步骤：

9.根据权利要求8所述的基于FPGA的结构光投影和图像采集的同步系统的实现方法，其特征在于，所述图像数据包括图像显示方向，需采集的图像数量，窄条纹循环次数，每帧循环的次数，延时时间，投影仪亮度，设置VGA或HMDI输出模式，开关投影仪等待时间。

10.根据权利要求8所述的基于FPGA的结构光投影和图像采集的同步系统的实现方法，其特征在于，当CPU接收到PC端的数据采集程序的触发命令后对同步积分模块发出一个脉冲，同步积分模块检测到这个脉冲后将地址总线设为第一帧图像的地址位，读取一行图像数据送给投影机，再将地址总线重置到第一帧的位置，输出第二行图像，依次循环直到完整的输出一整幅图像。