CN105180838A - 一种基于dlp投影仪的快速条纹投影系统 - Google Patents

Abstract

本发明公开了一种基于DLP投影仪的快速条纹投影系统，包括图像发生与同步电路、改进DLP投影仪、待测物体、分光镜、彩色摄像机、高速摄像机、计算机，图像发生与同步电路连接改进DLP投影仪，为其提供投影图像信号与同步信号，同时图像发生与同步电路还连接彩色摄像机与高速摄像机，并为它们分别提供同步信号；改进DLP投影仪向待测物体投出指定的光栅条纹，经过待测物体反射的光线被分光镜一分为二，分别被彩色摄像机与高速摄像机所拍摄，图像信号分别传输入计算机进行处理分析；其中该改进DLP投影仪的光轴与高速摄像机水平放置。本发明采用FPGA直接为其提供高速投影视频信号，并设计时序使CCD相机与投影仪之间达到同步，即可实现高达360Hz的高速条纹投影与采集。

Description

一种基于DLP投影仪的快速条纹投影系统

技术领域

本发明属于三维光学测量系统，特别是一种基于DLP投影仪的快速条纹投影系统。

背景技术

三维扫描(又称为三维测量)技术总体上可分为接触式与非接触两大类,扫描机理包括有光、机、电、磁、声等(刘利.三维测量技术新动态[J].机电一体化,1997,(1):20-23.)。接触式三维扫描中的典型代表三坐标测量机是近三十年发展起来的一种高效率的新型精密仪器,广泛地应用于航空航天、电子消费品、汽车和机械制造等工业领域。传统的接触式三维扫描仪大多采用机械的探针触发式测头进行扫描,通过程序的编写来规划扫描的路径并进行各个点的位置的精确扫描。三坐标测量机的优点是测量精度高,但是它的造价非常昂贵,结构比较庞大,对环境要求相对较高,测量速度慢，尤为重要的是某些物体不允许被接触，例如某些易坏的文物，柔软的组织等等。非接触的测量法则弥补了这一缺点。光学式三维(以光学三角法为代表)扫描时,传感器无需和物体直接接触,可以避免探测针对物体(例如贵重文物)表面的损伤,减少探测针对物体表面施加的压力从而使物体表面发生形变，这对扫描非刚性物体来说至关重要(邵双运.光学三维测量技术与应用[J].现代仪器,2008,(3):10-13)。由于可以在离待测物较远的位置放置传感器,且测量的速度相对较快,所以此方法特别适合在线实时检测和对危险区域进行测量。在众多非接触三维扫描方法中，最具代表性的方法是基于结构光投影的方法，其原理是采用不同的投射装置向被测物体投射不同种类的结构光，同时拍摄经被测物体表面调制而发生变形的结构光图像，然后从携带有被测物体表面三维形貌信息的图像中计算出被测物体的三维形貌数据。由于结构光投影具有结构简单、点云重建效率高等优点，故在机器视觉、工业自动化加工检测和实物仿型、逆向工程及文物遗产保护等领域展现出了强大的生命力和巨大的应用潜力。

虽然结构光三维测量技术本身已经较为成熟，但目前商品化的结构光三维测量系统，单幅测量时间普遍超过了2秒，甚至需要数十秒以上。这样的测量速度，使其难以对于动态物体或者变化场景进行实时三维测量。然而，在诸如工业生产流水线上产品质量的在线检测、压模件尺寸监测、冲压板几何形状和形变检测、机车冲撞试验、压力波传播、不连续边界的应力集中、智能机器人运动控制、汽车制导中障碍检测、流体力学、流程可视化、运动力学、弹道学、高速旋转等这样一些动态过程需要对观察对象进行三维面形实时测量。这些动态过程的三维测量将有助于描绘和分析动态过程中物体表面形态的变化，并进一步提取与被测物体相关的结构、形变、应力等物理参数，在科学研究和工程应用领域具有重要意义(吴春才,苏显渝.动态过程的三维面形测量[J].光电子：激光,1996,(5):273-278.)。此外，高速，高分辨率成像与投影器件的迅速发展也催使人们将视野从二维高速成像转向了三维快速传感领域。高速三维形貌测量可以满足从高新技术领域(如冲击、爆轰、弹道飞行等)到一般民用的技术领域(如实验力学、材料力学、生物医学、高速旋转物体、瞬态过程等)的动态领域分析需要，具有重要的科学意义和广阔的应用背景。因此，必须将结构光三维测量系统进行高速化。

想要实现快速三维测量，必须实现快速条纹投影，如基于四幅光栅条纹图像的相位求解与去包裹方法(国家发明专利，201410027275.4)所述，快速三维测量需要尽可能快地向待测场景投射条纹图案，然后通过采集被物体反射的条纹图案求解相位，再通过系统标定后就可最后转换为三维数据。在此过程中，快速条纹投影是实现快速三维测量的基础与根本前提，而投影仪是实现快速条纹投影的关键部件。传统商业投影仪一般包括两个重要组成部件：一块数字微透镜阵列器件(DMD)芯片和一个色轮(彩色滤镜)。传统商用DLP(DigitalLightProcession)投影仪的工作原理如图2所示。数字微透镜阵列器件上共有数十万个小反射镜，每个镜子代表一个像素，每一个小反射镜都具有独立控制光线的开关能力。小反射镜反射光线的角度受视频信号控制，视频信号受数字光处理器DLP调制，把视频信号调制成等幅的脉宽调制信号，用脉冲宽度大小来控制小反射镜开、关光路的时间，在屏幕上产生不同亮度的灰度等级图像。DLP投影仪能够产生色彩是由于放在光源路径上的色轮，DLP视频处理器将要显示的彩色图像分成RGB三幅单色图像来顺序显示，其中这利用了由DMD显示的RGB图像与旋转色轮的同步。传统商用DLP投影仪色轮正常工作频率是120Hz，并且划分为红、绿、蓝、青，黄，白六个区域。其中青、黄是为了增加色彩的对比与饱和。白色区域是为了增加图像的整体亮度。DMD与色轮直接的同步是由一个频率为120Hz的同步信号实现的，这个信号时由色轮里面一个光电二极管产生的。人眼的视觉暂留现象则会把这些顺序投影的单色图像重组为彩色图像。

通过上述背景介绍，我们可以知道传统商业投影仪最快投影频率为120Hz。此外，即使这样，现有三维测量系统也很难达到这样的投影速度。根本原因是现有的三维测量系统一般仅仅直接将投影仪作为计算机的一个屏幕，通过在计算机上显示所需投影的条纹图案来达到条纹投影的目的(潘伟,赵毅,阮雪榆.采用光栅投影的三维测量方法[J].光电工程,2003,02期(2):28-31.)。计算机上显示所需投影的条纹图案一般由软件控制，切换速度一般在毫秒级甚至毫秒级，这就极大地限制了条纹投影的速度。这是导致目前商品化的结构光三维测量系统难以对于动态物体或者变化场景进行实时三维测量。

发明内容

本发明的目的在于提供一种基于DLP投影仪的快速条纹投影系统，能够实现高达360Hz的高速条纹投影。

实现本发明目的的技术解决方案为：一种基于DLP投影仪的快速条纹投影系统，包括图像发生与同步电路、改进DLP投影仪、待测物体、分光镜、彩色摄像机、高速摄像机、计算机，图像发生与同步电路连接改进DLP投影仪，为其提供投影图像信号与同步信号，同时图像发生与同步电路还连接彩色摄像机与高速摄像机，并为它们分别提供同步信号；改进DLP投影仪向待测物体投出指定的光栅条纹，经过待测物体反射的光线被分光镜一分为二，分别被彩色摄像机与高速摄像机所拍摄，图像信号分别传输入计算机进行处理分析；其中该改进DLP投影仪的光轴与高速摄像机水平放置。

本发明与现有技术相比，其显著优点：(1)对商用DLP投影仪进行改进，并采用FPGA直接为其提供高速投影视频信号，并设计时序使CCD相机与投影仪之间达到同步，即可实现高达360Hz的高速条纹投影与采集。(2)仅需要传统商用DLP投影仪进行改装即可实现高达360Hz的高速条纹投影，非常适用于对于动态物体或者变化场景进行实时三维测量。而传统三维测量系统中的条纹投影速度仅仅为几Hz，难以实现实时三维测量。(3)本发明所提出的系统成本低廉，实现方便，且可同时获取待测物体的纹理信息。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于DLP投影仪的快速条纹投影系统结构示意图。

图2是改进DLP投影仪的内部结构原理图。

图3是图像发生与同步电路的硬件模块图。

图4是本发明中改进DLP投影仪投影的基本原理示意图。

图5是VGA时序信号原理示意图。

图6是本发明基于DLP投影仪的快速三维测量的时序图。

图7是本发明高速相机采集到的四幅光栅条纹图像。

具体实施方式

结合图1，本发明基于DLP投影仪的快速条纹投影系统包括图像发生与同步电路1、改进DLP投影仪2、待测物体3、分光镜4、彩色摄像机5、高速摄像机6、计算机7，该图像发生与同步电路1连接改进DLP投影仪2，为其提供DLP投影仪的投影图像信号与同步信号。此外，图像发生与同步电路1还连接彩色摄像机5与高速摄像机6，并为它们分别提供同步信号。改进DLP投影仪2向待测物体3投出指定的光栅条纹，经过待测物体3反射的光线被分光镜4一分为二，分别被彩色摄像机5与高速摄像机6所拍摄，图像信号分别传输入计算机7进行处理分析。改进DLP投影仪2的光轴与高速摄像机6水平放置，它们的光轴夹角在5°-40°之间。彩色摄像机5具备外同步功能，帧频需大于120Hz。彩色摄像机6具备外同步功能，帧频需大于360Hz。

结合图2，改进DLP投影仪2是基于传统商用DLP投影仪改装而来。其主要包括灯泡8，冷凝镜头9，调整镜头10，DMD11与投影镜头12。灯泡8发出的光经过冷凝镜头9后将光均匀化后，直接调整镜头10成像在DMD11上，经过DMD11调制后最后经过投影镜头12投影成像。此外，还需利用图像发生与同步电路1产生一个120Hz的同步信号给改进DLP投影仪2，这样改进DLP投影仪2在接收到这个同步信号后，就会顺序地将下一帧视频信号通过DMD11以脉宽调制的形式显示出来。

如背景技术所示所述，商用DLP投影仪收到同步信号后，即将所输入的投影图像信号(彩色图像)分成RGB三幅单色图像来顺序显示。所以在快速三维测量中，DLP投影仪必须高速地按顺序反复投影多幅光栅条纹，因此必须产生相对应的循环往复的多幅光栅条纹送入DLP投影仪，作为其投影图像信号。DLP投影仪接收到了该视投影图像信号，且收到同步信号后，这几幅光栅条纹就能被DLP投影仪视频处理系统解码，然后以正确的顺序将它们投出。然而如背景技术中所述，将投影仪作为普通计算机的一个显示器，直接通过计算机去控制条纹投影(潘伟,赵毅,阮雪榆.采用光栅投影的三维测量方法[J].光电工程,2003,02期(2):28-31.)，这样条纹的切换的速度远远达不到技术使用的要求。因此这里需要图像发生与同步电路1直接为DLP投影仪提供投影图像信号。

图像发生与同步电路1为了实现以下功能：提供改进DLP投影仪2的投影图像信号；提供彩色摄像机5的同步信号；提供高速摄像机6的同步信号，需要确定以下内容，即第一部分：确定图像发生与同步电路1所需要的投影图像信号；第二部分：将图像发生与同步电路1所需要的投影图像信号以VGA形式发送给DLP投影仪；第三部分：图像发生与同步电路1的同步时序设计。

结合图4，图像发生与同步电路1主要包括FPGA芯片(型号可以但不仅限于IVEP4CE15)及其相应的外围电路，外围电路主要包括用户IO、SRAM(静态存储器)、SDRAM(动态存储器)、PL2303(串口转USB芯片)、ADV7123(高速RGB数字模拟转换器(DAC))以及EPCS16(串行FLASH存储器)。它们都直接连接在FPGA芯片上。ADV7123是实现高速投影的关键器件，其中有三个10比特精度的视频DAC通道，它们各自用来实现RGB数字信号三个通道的数模转换。采用ADV7123来产生VGA格式的视频信号，从而提供修改后的商用DLP投影仪2的投影图像信号。图像发生与同步电路1采用PL2303(串口转USB芯片)进行了电平协议转换，并连接计算机7的USB接口实现相互通信，SDRAM与SRAM用于提供图像发生与同步电路1的数据存储空间，EPCS16(串行FLASH存储器)用于固化图像发生与同步电路1的用户逻辑，实现上电自启动。FPGA的用户IO用于产生修改后的商用DLP投影仪2的同步信号以及高速摄像机6的同步信号。因此，图像发生与同步电路1所实现的功能主要有三个：提供修改后的商用DLP投影仪2的投影图像信号；提供彩色摄像机5的同步信号；提供高速摄像机6的同步信号。

结合图4，第一部分：确定图像发生与同步电路1所需要的投影图像信号的内容如下。

第一步：首先确定需要投影的光栅条纹信号(灰度图像)。这里以N幅条纹为例，分别记作I1，I2，I3，…，IN。这N幅光栅条纹信号可实现一次三维重构，光栅条纹信号I1，I2，I3，…，IN的具体灰度图像一般为频率不同的正弦条纹(如图4)，也可以是其它图案。

第二步：计算N与3的最小公倍数M＝LCM(N,3)，这里LCM代表求最小公倍数，此时K＝M/N即为循环投影数。

第三步，将I1，I2，I3，…，IN，循环写K次形成一个图像序列。然后以3幅图像为一组，合成一幅彩色图像，即I1，I2，I3分别以R,G,B分量合成一副彩色图像I123，I4，I5，I6分别以R,G,B分量合成一副彩色图像I456，依次类推。这样就完成了投影图像信号的预先设定，最后获得所需要的投影图像信号共计M/3幅。

为了具体说明上述步骤，图4给出了一个具体的例子，如我们所需要投影的光栅条纹信号(灰度图像)为I1，I2，I3，I4四幅光栅条纹信号。4与3的最小公倍数为12，所以循环投影数K＝12/4＝3，所以把I1，I2，I3，I4循环写三次：即I1，I2，I3，I4，I1，I2，I3，I4，I1，I2，I3，I4

然后三幅图像为一组合成，最后生成图像为I123，I412，I341，I234共计4幅彩色图像，这即为所需要的投影图像信号。

第二部分，将图像发生与同步电路1所需要的投影图像信号以VGA形式发送给DLP投影仪。结合图5，VGA信号的格式除了红绿蓝三路图像信号外，其关键信号在于水平同步(HSYNC)与垂直同步(VSYNC)。水平同步是用来表示新一行的开始，垂直同步则是用来指明新一帧的开始。其中信号的关键参数TS,TDP,TPW,TFP,TBP的含义如图5所示。为了能同步投影仪且让其正确投射光栅条纹，设计的VGA信号必须遵守一些工业标准。考虑到所用的投影仪的最大投影速率和分辨率，本发明采用分辨率800×600，频率120Hz的工业标准VGA信号格式。800×600120HzVGA时序信号表如表1所示。其列出了水平同步(HSYNC)与垂直同步(VSYNC)两个关键信号的频率，极性以及TS,TDP,TPW,TFP,TBP这些关键参数的时间间隔。一般而言，由于选用的是光栅条纹为横/竖光栅条纹，其每一列/行的像素都是一样的。所以实际上在FPGA芯片中只需要存储一行光栅条纹的像素即可，投影时，只需将这一行像素重复投满一帧即可。

表1.800×600120HzVGA时序信号表

第三部分，图像发生与同步电路1的同步时序设计。图像发生与同步电路1除了要完成光栅条纹的生成和传输外，它还必须完成改进DLP投影仪2与彩色摄像机5，高速摄像机6之间的同步，这些是通过FPGA的用户IO口控制实现的。为了能够让高速摄像机6完整无误的采集到每一帧投影图像，必须严格控制改进DLP投影仪2与高速摄像机6之间的时序与CCD的曝光时间，使得投影仪的一个图像投影周期完整无误的包括在CCD的曝光时间中。

商用DLP投影仪的投影时序一般如下：工作频率是120Hz，即8.335ms一个循环周期，其中绿色通道占用1.7ms，蓝色通道占用1.5ms，红色通道占用2ms，信号间具体关系见图6所示的投影仪时序一行。因此，采用VSYNC信号取反作为改进DLP投影仪2的同步信号以及彩色摄像机5的同步信号，而高速摄像机6的同步信号分别在投影图像信号每个分量通道(绿，蓝，红)初始时产生一个脉冲即可(合计3个)，其余时间保持为低电平。改进DLP投影仪2的同步信号以及彩色摄像机5的同步信号均为120Hz，而高速摄像机6的同步信号为360Hz，高速摄像机6的曝光时间设为2ms。通过该时序，投影仪即可以高达360Hz实现高速条纹投影，高速摄像机亦可以同步采集到相对应360Hz条纹信号，同时彩色摄像机可同时以120Hz获取待测物体的纹理信息。

图7是采用本发明方法构建的高速相机采集到的四幅光栅条纹图像，高速相机工作频率为360Hz。该结果说明本发明可有效实现高速光栅条纹投影，非常适用于对于动态物体或者变化场景进行实时三维测量。

Claims (8)

1.一种基于DLP投影仪的快速条纹投影系统，其特征在于包括图像发生与同步电路(1)、改进DLP投影仪(2)、待测物体(3)、分光镜(4)、彩色摄像机(5)、高速摄像机(6)、计算机(7)，图像发生与同步电路(1)连接改进DLP投影仪(2)，为其提供投影图像信号与同步信号，同时图像发生与同步电路(1)还连接彩色摄像机(5)与高速摄像机(6)，并为它们分别提供同步信号；改进DLP投影仪(2)向待测物体(3)投出指定的光栅条纹，经过待测物体(3)反射的光线被分光镜(4)一分为二，分别被彩色摄像机(5)与高速摄像机(6)所拍摄，图像信号分别传输入计算机(7)进行处理分析；其中该改进DLP投影仪(2)的光轴与高速摄像机(6)水平放置。

2.根据权利要求1所述的基于DLP投影仪的快速条纹投影系统，其特征在于改进DLP投影仪(2)的光轴与高速摄像机(6)的光轴夹角为5°-40°。

3.根据权利要求1所述的基于DLP投影仪的快速条纹投影系统，其特征在于彩色摄像机(5)具备外同步功能，帧频需大于120Hz，彩色摄像机(6)具备外同步功能，帧频需大于360Hz。

4.根据权利要求1所述的基于DLP投影仪的快速条纹投影系统，其特征在于改进DLP投影仪(2)包括灯泡(8)、冷凝镜头(9)、调整镜头(10)、DMD(11)和投影镜头(12)，灯泡(8)发出的光经过冷凝镜头(9)后将光均匀化后，直接调整镜头(10)成像在DMD11(11)，经过DMD11调制后最后经过投影镜头(12)投影成像；同时利用图像发生与同步电路(1)产生一个120Hz的同步信号给改进DLP投影仪(2)，这样改进DLP投影仪(2)在接收到这个同步信号后，就会顺序地将下一帧视频信号通过DMD(11)以脉宽调制的形式显示出来。

5.根据权利要求1所述的基于DLP投影仪的快速条纹投影系统，其特征在于图像发生与同步电路(1)由FPGA及其外围电路组成，该外围电路包括用户IO、静态存储器SRAM、动态存储器SDRAM、串口转USB芯片PL2303、高速RGB数字模拟转换器DAC以及串行FLASH存储器，它们都直接连接在FPGA芯片上；高速RGB数字模拟转换器用来产生VGA格式的视频信号，从而提供改进DLP投影仪(2)的投影图像信号；串口转USB芯片进行电平协议转换，并连接计算机(7)的USB接口实现相互通信，SDRAM与SRAM提供数据存储空间，串行FLASH存储器用于固化用户逻辑，实现上电自启动，用户IO产生改进DLP投影仪(2)的同步信号以及高速摄像机(6)的同步信号。

6.根据权利要求5所述的基于DLP投影仪的快速条纹投影系统，其特征在于确定图像发生与同步电路(1)所需要的投影图像信号过程为：首先确定需要投影的光栅条纹信号，即灰度图像，以N幅条纹为例，分别记作I1，I2，I3，…，IN；其次，计算N与3的最小公倍数M＝LCM(N,3)，LCM代表求最小公倍数，此时K＝M/N即为循环投影数；将I1，I2，I3，…，IN，循环写K次形成一个图像序列，然后以3幅图像为一组，合成一幅彩色图像，即I1，I2，I3分别以R,G,B分量合成一副彩色图像I123，I4，I5，I6分别以R,G,B分量合成一副彩色图像I456，依次类推，这样就完成了投影图像信号的预先设定，最后获得所需要的投影图像信号共计M/3幅。

7.根据权利要求5所述的基于DLP投影仪的快速条纹投影系统，其特征在于将图像发生与同步电路(1)所需要的投影图像信号以VGA形式发送给DLP投影仪时，VGA信号采用分辨率800×600，频率120Hz的工业标准VGA信号格式，在FPGA中存储一行光栅条纹的像素即可，投影时，将这一行像素重复投满一帧即可。

8.根据权利要求5所述的基于DLP投影仪的快速条纹投影系统，其特征在于图像发生与同步电路(1)的同步时序设计过程为：采用VSYNC信号取反作为改进DLP投影仪(2)的同步信号以及彩色摄像机(5)的同步信号，而高速摄像机(6)的同步信号分别在投影图像信号每个分量通道绿，蓝，红初始时产生一个脉冲。