CN102074045A - 一种投影重建的系统和方法 - Google Patents

Abstract

本发明涉及一种投影重建的系统和方法，所述系统包括：投影单元，包括光源和镜面反射装置，用于在目标区域形成预设的结构光图案；图像传感器，用于逐步曝光以拍摄目标区域内至少部分区域的结构光图案的投影图像；同步控制单元，用于控制图像传感器连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与镜面反射装置反射的结构光的投影区域同步；以及数据处理单元，实时接收并对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，并计算三维点云数据。本发明可以根据需要在目标区域内投射出预设的结构光图案，并控制图像传感器有偏移地曝光以去除背景光提高精度，从而计算出目标区域内物体的三维深度数据实现投影重建。

Description

一种投影重建的系统和方法

技术领域

本发明涉及三维立体图像重建技术，更具体地说，涉及一种投影重建的系统和方法。

背景技术

点云数据是利用三维扫描设备对物体表面投影进行直接采样而得到的点,这些点是三维模型投影最初的，也是最直接的表示。通过分析点云数据，可以对模型的几何投影进行重建。

物体点云获取的方法很多，常见的方法有利用结构光图像信息来获取点云数据，也有采用双目可见光图像信息来获取数据。现有基于散斑的方法投影出来的散斑结构光进行三维重建的方法，其散斑图案在其图案生成器中固定没有变化，图像传感器必须扫描到整个散斑图案所在的目标区域，才能获取散斑尺寸，同时由于散斑的特点，对图像传感器的设备要求较高，且设备的灵活性较差。

此外，在使用结构光投影的三维重建技术中，对环境的要求比较严格，很容易受到背景光线的干扰，使重建出现错误。所以目前大多数的结构光投影重建只能使用在小范围内使用。

发明内容

本发明要解决的技术问题在于，针对现有基于散斑的方法投影出来的散斑结构光固定不变从对图像传感器的设备要求较高且易受背景光线干扰的缺陷，提供一种可以根据需要控制镜面反射装置，从而生成适于测量对象的结构光图案，并同步控制图像传感器对所需的区域进行重复曝光的投影重建的系统和方法。

本发明解决其技术问题所采用的技术方案是：构造一种投影重建的系统，包括：投影单元，包括光源和镜面反射装置，所述镜面反射装置用于通过调整镜面姿态，将所述光源发出的光线反射到目标区域形成预设的结构光图案；图像传感器，用于逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像；同步控制单元，用于控制所述图像传感器连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与所述镜面反射装置反射的结构光的投影区域同步；以及数据处理单元，与所述图像传感器连接，实时接收所述结构光图案的投影图像，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值，计算出所述目标区域内物体的三维点云数据。

在本发明所述的投影重建的系统中，所述光源采用点光源时，所述镜面反射装置采用二维振镜，生成的结构光图案为线阵状图案或点阵状图案；所述光源采用线光源时，所述镜面反射装置采用一维振镜，生成的结构光图案为线阵状图案。

在本发明所述的投影重建的系统中，所述一维振镜或二维振镜采用MEMS振镜。

在本发明所述的投影重建的系统中，所述数据处理单元包括图像差分模块、图像整合模块和投影重建模块；所述图像差分模块将连续两小帧图像中分别在同一投影区域拍摄的部分图像进行差分，得到该投影区域的去除背景光后的小帧图像；所述图像整合模块将经过图像差分模块处理的所述多个小帧图像组合后得所述目标区域内至少部分区域的投影图像；所述投影重建模块获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值，计算出所述目标区域内物体的三维点云数据。

在本发明所述的投影重建的系统中，所述镜面反射装置采用一维振镜生成线阵状的结构光图案时，所述数据处理单元通过以下公式计算结构光图案位移值为△X _n 的目标点的距离z；

其中，B为图像传感器与振镜装置的中心的距离，f为所述图像传感器的设备镜头焦距，L为选取的基准图像所在的标准平面的距离。

本发明还相应提供了一种投影重建的方法，包括以下步骤：

S1、通过控制镜面反射装置，将光源发出的光线反射到目标区域并形成预设的结构光图案；

S2、利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像，且控制所述图像传感器连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与所述镜面反射装置反射的结构光的投影区域同步；

S3、实时接收所述结构光图案的投影图像，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，并获取所述投影图像和预先拍摄的基准图像中的位移值，计算出所述目标区域内物体的三维点云数据。

在本发明所述的投影重建的方法中，所述步骤S1中所述光源采用点光源时，所述镜面反射装置采用二维振镜，生成的结构光图案为线阵状图案或点阵状图案；所述光源采用线光源时，所述镜面反射装置采用一维振镜，生成的结构光图案为线阵状图案。

在本发明所述的投影重建的方法中，所述步骤S1中所采用的一维振镜或二维振镜为MEMS振镜。

在本发明所述的投影重建的方法中，所述步骤S3中对投影图像中的多个小帧图像进行差分处理具体为：将连续两小帧图像中分别在同一投影区域拍摄的部分图像进行差分，得到该投影区域的去除背景光后的小帧图像，将所述多个小帧图像进行上述处理后组合得所述目标区域内至少部分区域的投影图像。

在本发明所述的投影重建的方法中，所述步骤S1中所采用的镜面反射装置为一维振镜生成线阵状的结构光图案时，所述步骤S3中通过以下公式计算结构光图案位移值为△X _n 的目标点的距离z；

其中，B为图像传感器与振镜装置的中心的距离，f为所述图像传感器的设备镜头焦距，L为选取的基准图像所在的标准平面的距离。

实施本发明的投影重建的系统和方法，具有以下有益效果：本发明可以根据需要通过控制镜面反射装置投射出预设的结构光图案，并控制图像传感器有偏移地曝光以去除背景光线，获取目标区域内至少部分区域的投影图像，然后与基准图像进行比较利用三角测量原理计算出目标区域内物体的三维深度数据，该三维深度数据可以实时更新，从而获取运动物体的实时运动数据，且本发明的系统和方法可以在大范围背景光线干扰较多的环境下使用。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为根据本发明优选实施例的投影重建的系统的光路图；

图2a为根据本发明优选实施例的投影重建的系统拍摄的基准图像的示意图；

图2b为根据本发明优选实施例的投影重建的系统拍摄的投影图像的示意图；

图3为根据本发明优选实施例中投影区域和视场区域的示意图；

图4为根据本发明优选实施例中连续两小帧图像的示意图；

图5为根据本发明优选实施例的投影重建的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

请参阅图1，为根据本发明优选实施例的投影重建的系统的光路图。如图1所示，该实施例提供的投影重建的系统主要包括投影单元10、图像传感器20、数据处理单元30和同步控制单元40。

投影单元10包括光源11和镜面反射装置12。本方案的光源优选采用半导体激光二级管。

镜面反射装置12可以由同步控制单元40控制其镜面姿态，将所述光源11发出的光线反射到目标区域形成预设的结构光图案。优选地，镜面反射装置可以采用一维振镜或二维振镜，对应生成的结构光图案分别为线阵状图案或点阵状图案。光源采用点光源时，镜面反射装置可以采用二维振镜，生成的结构光图案为线阵状图案或点阵状图案。光源采用线光源时，镜面反射装置可以采用一维振镜，生成的结构光图案为线阵状图案。此外，当光源采用点光源时，还可以先通过光学元件将点光源转换为线光，再通过一维振镜生成线阵状图案。一维振镜或二维振镜也可以采用MEMS（Micro-Electro-Mechanical Systems，微机电系统）振镜，转轴式振镜等能够实现控制镜面运动的装置。MEMS是一种全新的必须同时考虑多种物理场混合作用的研发领域，相对于传统的机械，它们的尺寸更小，最大的不超过一个厘米，甚至仅仅为几个微米，其厚度就更加微小。采用以硅为主的材料，电气性能优良，硅材料的强度、硬度和杨氏模量与铁相当，密度与铝类似，热传导率接近钼和钨。采用与集成电路类似的生成技术，可大量利用IC生产中的成熟技术、工艺 ，进行大批量、低成本生产，使性价比相对于传统“机械”制造技术大幅度提高。一维振镜或二维振镜构成的镜面反射装置中的镜面121的姿态可以通过同步控制单元40进行控制，通过调整镜面121的姿态，将光源11照射到镜面121上的光线反射到目标区域，并且在目标区域投影形成已设计结构光的图案.例如二维振镜投射出点阵状图案，一维振镜为线阵状图案。其中，振镜或者MEMS振镜可以连续的旋转或振动。旋转或振动的频率或者幅度由同步控制单元40调节。

图像传感器20用于逐步曝光以拍摄目标区域内至少部分区域的结构光图案的投影图像。由于本发明的系统在首次使用前需要采集一次结构光的基准图像。在本系统中图像传感器20、镜面反射装置12和光源11的相对位置姿态需要与在拍摄基准图像时保持不变，这里包括偏移与旋转。如果相对位置出现了变化，就需要重新采集基准图像。图像传感器20配有配套的光学器件如镜头，对图像传感器20参数进行设置可以使图像传感器上只有光源、镜面反射和激光反射等较少情况的光线成像。图像传感器的曝光时间，曝光区域等参数可以由同步控制单元40调节。本发明的独特之处在于由同步控制单元40控制图像传感器20连续两小帧的曝光区域至少部分重叠，且所述重叠部分与镜面反射装置12反射的结构光的投影区域同步。同步控制单元40一方面控制图像传感器20曝光采集区域与投影图案成像的区域重合，也就是说，当线形的结构光逐步投影在目标区域上时，图像传感器12也同时曝光该线形光投射的区域，因此图像传感器12能够仅在目标区域内至少部分区域，例如预先估计的目标物体所在的特定区域采集投影图像，而不需要采集所有目标区域内的图像。并且可以选择配置相对较低的图像传感器来采集线形光的图案。同步控制单元40另一方面，控制图像传感器20的曝光时间满足成像要求，从而对同一投影区域分别在两次曝光中采集包括该投影区域在内的图像以去除背景光线，具体的拍摄步骤将在后续进行详细描述。同步控制单元40可以由FPGA（Field-Programmable Gate Array，现场可编程门阵列），DSP（Digital Signal Processing，数字信号处理）等部件构成。

数据处理单元30与图像传感器20连接，实时接收图像传感器20拍摄的结构光图案的投影图像，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，且数据处理单元30内存储有预先拍摄的基准图像，利用图像算法获取所述去除背景光的投影图像和基准图像中的结构光图案的位移值，计算出所述目标区域内物体的三维点云数据。因此，数据处理单元30可以进一步包括存储器31和处理器32，且数据处理单元30还具有输入/输出装置33。其中存储器31可用于存储在没有目标物体时拍摄的基准图像信息。处理器32则可以通过输入/输出装置33接收图像传感器拍摄的投影图像，并从存储器31中获取上述基准图像信息，进行上述计算和处理，获取三维点云数据，实现物体表面点云数据重建。数据处理单元30的处理器32中设有图像差分模块、图像整合模块和投影重建模块这三个功能模块，可以通过软件来实现。其中，图像差分模块将连续两小帧图像中分别在同一投影区域拍摄的部分图像进行差分，得到该投影区域的去除背景光后的小帧图像。图像整合模块将经过图像差分模块处理的所述多个小帧图像组合后得所述目标区域内至少部分区域的投影图像。投影重建模块获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值，计算出所述目标区域内物体的三维点云数据。

下面对本发明的投影重建的系统中各个部件的位置结构进行说明。建立如图1所示的三维坐标系，在此坐标系内对各装置进行安装。图1中坐标系满足右手定则。

a. 坐标系的X轴方向是如图所示初始状态的振镜镜面中心P和图像传感器的镜头光心C的连线，正方向为CP，即如图1中向上为X轴正方向，其中B为PC的距离。

b. Z轴方向是穿过镜面中心P，并垂直于镜面，正方向为由镜面中心P指向目标区域，如图1中向右为Z轴正方向。

c. Y轴方向是按照右手定则进行确定，在图1中为垂直纸面向里。

d. 光源11发射出准直激光，激光轴线在平面XPZ上，并且穿过反射面的中心。激光轴线和Z轴的夹角与目标区域有关，本系统设置为45度。

e. 将图像传感器20的光心轴线设置为与Z轴平行，并且保证图像传感器的视场与投影目标区域存在交集，出射光线转动范围和图像传感器镜头的视角范围的重叠部分为测量区域。且图像传感器的设备镜头焦距为f。

f. 如果该系统的镜面反射装置采用一维振镜，镜面121可以绕XP轴或者绕YP轴旋转或者振动；如果采用二维振镜，则镜面可以绕两轴同时旋转或者同时振动。为了获取上述振动特性，可以采用现有的MEMS一维或者二维振镜来实现，其出射光线转动范围覆盖整个被测物体。

g. 图像传感器20的数据通过现有常见的数据传输方式，传输到数据处理单元30.

下面对本发明的投影重建的系统的实现流程和原理进行说明。

1)按照上述位置结构对各部件进行组装。同时可以进行一定程度的集成封装，例如将光源11和镜面反射装置12集成在一起构成投影单元10。

2)投影图案的设计：由于本发明采用的振镜系统能够利用振镜高速的姿态变换特性，在目标区域内投射出点阵状，线阵状等等图像。这里主要采用一维振镜照射出线阵或者采用二维振镜投射出点阵。

3)采集图像信息步骤：

a.拍摄基准图像。例如，在距离系统L=2000mm处，设置与Z轴垂直的3*3m标准平面T，选取该平面T上拍摄的图像为基准图像。虽然该实施例中给出了具体的基准图像的距离，但是本发明并不限于此，本领域基础技术人员可以根据实际情况选取合适的平面拍摄基准图像。利用图像传感器20采集投影单元10投影出来的线阵状或点阵状图案在标准平面的成像作为基准图像，并保存在数据处理单元30的存储器31中。

b.拍摄目标的投影图像。在物体进入目标区域后，投影图案照射到物体表面上，此时利用图像传感器20采集目标区域的投影图案，例如线阵状图案，发送到数据处理单元30；

4)表面点云数据重建步骤：

请参阅图2a和图2b，分别为根据本发明优选实施例的投影重建的系统拍摄的基准图像和投影图像的示意图。如图2a和图2b所示，该结构光图案为线阵状，线的高度为H，宽度为W。则相应可以计算出线阵中n条线之间的线距为Wn。图3中可以看到当目标物体进入画面时，线阵中目标物体所在区域中的线条将发生偏移，偏移量为S。所有的投射图案随着距离L的增大，图案会出现朝固定方向发生偏移，且偏移量S逐渐变小。而偏移S的最大值必须小于周期图案的最小周期Wn。偏移量S可以通过数据处理单元针对投影图像与基准图像进行分析来计算获得。

a.设采集到的投影图像与基准图像均为m*n个像素的图像。下面以投射的结构光图案为线阵光为例，对获取的投影图像进行分析，采用点阵状的结构光图案的分析方法与之相同。

首先，利用图像算法分别计算出投影图像和基准图像中线阵中每条线的坐标数组Pn(i,j)和Qn(i,j)，其中n代表线阵中线的编号，(i,j)是线上每一点的坐标。在此，由于图像中结构光线条的像素灰度值大于周围像素灰度值，所以能够在背景中分辨出结构光线条。本发明可以采用阈值分割的办法将结构光线条分割出来。由于阈值设定的原因，结构光线条宽度可能会由一个或者一个以上的像素组成，所以可以采用线宽的重心或者线宽内最亮像素坐标来代表结构光线条的坐标。其中，在第一种方法中，在结构光线条宽度方向，计算最大灰度值像素的重心坐标，作为线条坐标。第二种方法中，在结构光线条宽度方向，直接计算线宽的中心坐标，作为线条的坐标。在投影图像和基准图像对齐后分别逐列的计算出结构光线条的坐标。如果为点阵状图案，则对于点阵中每点的轮廓超过一个像素的情况，计算按灰度阈值做权重的重心坐标，作为点的坐标。

b.利用线条像素数组计算线条的位移量△Xn(i,j)= Pn(i,j)- Qn(i,j)。可以将两个结构光线条对齐逐列的计算坐标的位移值。图3中目标物体区域中线条的偏移量S与△Xn(i,j)相对应。

c.利用结构光测量的基本原理，数据处理单元通过以下公式计算结构光图案位移值为△X _n 的目标点的距离z；

 

其中，B为图像传感器与振镜装置的中心的距离，f为所述图像传感器的设备镜头焦距，L为选取的基准图像所在的标准平面的距离。投影图案中不同点的距离z即为计算出来的物体三维点云数据。

由于上述公式中B、f和L可以针对不同大小的目标物体和距离预先设置好，因此上述公式中的X’为设置好的特定值。当需要针对不同目标物体设计结构光图案时，只需要调整一维或二维振镜的镜面状态，就可以获得不同的结构光，例如线阵光或点阵光，还可以对线阵光的线距进行调整，从而便于在采集的投影图像中识别出目标物体所在的区域。

下面对本发明的系统去除背景光的拍摄方法和原理进行介绍。请参阅图3，为根据本发明优选实施例中投影区域和视场区域的示意图。如图3所示，投影单元在目标区域内的整个投影区域为A，而图像传感器在目标区域内的整个视场区域为B，可以看到投影区域A与视场区域B都在与Z轴垂直的基准平面T上有W*H大小的共同区域，如图2a和2b中所示。

在本发明的系统中，设置采集一大帧数据需T，{t1,t2,……,tn-1,tn}属于一个周期T。设置投影单元10能够在t1,t2,……,tn-1,tn时刻，分别将投影图案投射到a1,a2,……,an-1,an区域内，或者一直能够在照射在上述区域内，其区域宽分别为a1_w,a2_w,……,an-1_w,an_w。并设投影区域a1,a2,……,an-1,an分别对应CMOS上的成像区域a1_img，a2_img，……, an-1_img,an_img。

因此，本发明系统中的同步控制单元可以控制图像传感器在t1,t2,……,tn-1,tn时刻，分别在CMOS上的b1,b2,……,bn-1,bn区域曝光获取各自的图像，存成一小帧图像，而每个区域与前一区域有共同的区域。例如，图像传感器在t1时刻第一次曝光的区域b1包括成像区域a1_img，也就是采集了投影区域a1的小帧图像；图像传感器在t2时刻第二次曝光的区域b2包括成像区域a1_img和a2_img，也就是采集了投影区域a1和投影区域a2的小帧图像；……以此类推，图像传感器在tn-2时刻第n-2次曝光的区域bn-2包括成像区域an-2_img和an-1_img，也就是采集了投影区域an-2和投影区域an-1的小帧图像；图像传感器在tn-1时刻第n-1次曝光的区域bn-1包括成像区域an-1_img和an_img，也就是采集了投影区域an-1和投影区域an的小帧图像；图像传感器在tn时刻第n次曝光的区域bn包括成像区域an_img，也就是采集了投影区域an的小帧图像。也就是将第一次曝光的区域b1向下偏移offset1得b2区域，b2区域偏移offset2得到b3区域，……,bn-1区域偏移offsetn-1得到bn区域。

通过上述过程，就可以对每个投影区域采集两次图像，而其中一次为结构光投影时夹杂背景光的图像，另一次为单纯背景光呈现的图像，因此将两次图像进行差分即可得投影图像。

请参阅图4，为根据本发明优选实施例中连续两小帧图像的示意图。本发明以线形光为例，对图像传感器的曝光区域和去除背景光的原理进行说明。如图4所示，通过上述曝光方法可知，结构光图案的投影图像是由多个小帧图像构成，即在一大帧数据内由连续采集n次的小帧图像组成一大帧原始投影图像，该图像中包含背景干扰光的成像。调整设备运行参数可以实时采集原始图像。每次采集的原始图像保存到数据处理单元，供后续处理。

本方案设小帧图像宽高为(b_w,b_h)，每小帧图像沿高方向分别偏移offset1,offset2,……,offsetn0-1,offset。在对图像进行处理时，先将连续两小帧图像中分别在同一投影区域拍摄的部分图像进行差分，得到该投影区域的去除背景光后的小帧图像，然后将所述多个小帧图像进行上述处理后再组合，就能得到在该目标区域内拍摄到的至少部分区域的投影图像。例如，将图像分为前一小帧和后一小帧，前一小帧图像被分为上部分图像和下部分图像，后一小帧图像也被分为上部分图像和下部分图像。如图4中所示，曝光区域bn-1所分的上部分图像和下部分图像分别对应成像区域an-2_img和成像区域an-1_img，而曝光区域bn所分的上部分图像和下部分图像分别对应成像区域an-1_img和成像区域an_img，因此，可以对这两个小帧图像在同一投影区域an-1所拍摄的图像an-1_img进行差分，得到该投影区域an-1的去除背景光后的小帧图像newbn-1。对所有的小帧图像逐个计算获得newb1,newb3,……,newbn-1后，再加上an_img，就可以获得完整的去除背景光的图像。虽然上述给出了具体的差分方式，但是本发明的系统可以采用本领域技术人员熟知的各种方式对上述图像进行处理，例如对前后几帧图像进行差分，或者隔几帧图像对共同进行差分，以去除背景图案。在此，可以对差分后的图像newb1,newb2,……,newbn，进行图像中值滤波处理，改善差分后的图像效果。

本发明还相应地提供了一种投影重建的方法。请参阅图5，为根据本发明优选实施例中投影重建的方法流程图。如图5所示，该方法开始于步骤S502：

随后，在下一步骤S504中，通过控制镜面反射装置，将光源发出的光线反射到目标区域并形成预设的结构光图案。该步骤主要采用投影单元来实现，如图1所示，投影单元10包括光源11和镜面反射装置12本方案的光源优选采用半导体激光二级管。

镜面反射装置12可以由同步控制单元40控制其镜面姿态，将所述光源11发出的光线反射到目标区域形成预设的结构光图案。优选地，镜面反射装置可以采用一维振镜或二维振镜，对应生成的结构光图案分别为线阵状图案或点阵状图案。光源采用点光源时，镜面反射装置可以采用二维振镜，生成的结构光图案为线阵状图案或点阵状图案。光源采用线光源时，镜面反射装置可以采用一维振镜，生成的结构光图案为线阵状图案。此外，当光源采用点光源时，还可以先通过光学元件将点光源转换为线光，再通过一维振镜生成线阵状图案。一维振镜或二维振镜也可以采用MEMS（Micro-Electro-Mechanical Systems，微机电系统）振镜，转轴式振镜等能够实现控制镜面运动的装置。一维振镜或二维振镜构成的镜面反射装置中的镜面121的姿态可以通过同步控制单元40进行控制，通过调整镜面121的姿态，将光源11照射到镜面121上的光线反射到目标区域，并且在目标区域投影形成已设计结构光的图案。例如二维振镜投射出点阵状图案，一维振镜为线阵状图案。其中，振镜或者MEMS振镜可以连续的旋转或振动。旋转或振动的频率或者幅度由同步控制单元40调节。

建立如图1所示的三维坐标系，在此坐标系内对各装置进行安装。图1中坐标系满足右手定则。坐标系的X轴方向是如图所示初始状态的振镜镜面中心P和图像传感器的镜头光心C的连线，正方向为CP，即如图1中向上为X轴正方向，其中B为PC的距离。Z轴方向是穿过镜面中心P，并垂直于镜面，正方向为由镜面中心P指向目标区域，如图1中向右为Z轴正方向。Y轴方向是按照右手定则进行确定，在图1中为垂直纸面向里。光源11发射出准直激光，激光轴线在平面XPZ上，并且穿过反射面的中心。激光轴线和Z轴的夹角与目标区域有关，本方法中设置为45度。如果该方法的镜面反射装置采用一维振镜，镜面121可以绕XP轴或者绕YP轴旋转或者振动；如果采用二维振镜，则镜面可以绕两轴同时旋转或者同时振动。为了获取上述振动特性，可以采用现有的MEMS一维或者二维振镜来实现，其出射光线转动范围覆盖整个被测物体。

随后，在下一步骤S506中，利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像，且控制所述图像传感器的连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与所述镜面反射装置反射的结构光的投影区域同步。同步控制单元40一方面控制图像传感器20曝光采集区域与投影图案成像的区域重合，也就是说，当线形的结构光逐步投影在目标区域上时，图像传感器12也同时曝光该线形光投射的区域，因此图像传感器12能够仅在目标区域内至少部分区域，例如预先估计的目标物体所在的特定区域采集投影图像，而不需要采集所有目标区域内的图像。并且可以选择配置相对较低的图像传感器来采集线形光的图案。同步控制单元40另一方面，控制图像传感器20的曝光时间满足成像要求，从而对同一投影区域分别在两次拍摄中采集包括该投影区域在内的图像，以去除背景光线，具体的拍摄步骤将在后续进行详细描述。同步控制单元40可以由FPGA（Field-Programmable Gate Array，现场可编程门阵列），DSP（Digital Signal Processing，数字信号处理）等部件构成。

如图1所示，由于本发明的方法在首次使用前需要采集一次结构光的基准图像，因此在该步骤中图像传感器20、镜面反射装置12和光源11的相对位置姿态需要与在拍摄基准图像时保持不变，这里包括偏移与旋转。如果相对位置出现了变化，就需要重新采集基准图像。图像传感器20配有配套的光学器件如镜头，对图像传感器20参数进行设置可以使图像传感器上只有光源、镜面反射和激光反射等较少情况的光线成像。图像传感器的曝光时间，曝光区域等参数可以由同步控制单元40调节。将图像传感器20的光心轴线设置为与Z轴平行，并且保证图像传感器的视场与投影目标区域存在交集，出射光线转动范围和图像传感器镜头的视角范围的重叠部分为测量区域。且图像传感器的设备镜头焦距为f。图像传感器20的数据通过现有常见的数据传输方式，传输到数据处理单元30。

随后，在下一步骤S508中，实时接收图像传感器20拍摄的结构光图案的投影图像，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，并利用图像算法获取所述去除背景光的投影图像和预先拍摄的基准图像中的位移值，计算出所述目标区域内物体的三维点云数据。可以采用如图1所示的数据处理单元来实现该步骤。数据处理单元30与图像传感器20连接，接收图像传感器20拍摄的结构光图案的投影图像，且数据处理单元30内存储有预先拍摄的基准图像，利用图像算法获取所述投影图像和基准图像中的结构光图案的位移值，计算出所述目标区域内物体的三维点云数据。因此，数据处理单元30可以进一步包括存储器31和处理器32，且数据处理单元30还具有输入/输出装置33。其中存储器31可用于存储在没有目标物体时拍摄的基准图像信息。处理器32则可以通过输入/输出装置33接收图像传感器拍摄的投影图像，并从存储器31中获取上述基准图像信息，进行上述计算和处理，获取三维点云数据，实现物体表面点云数据重建。

最后，方法结束于步骤S510。

下面对本发明的投影重建的方法的具体操作过程进行说明。

1)按照上述位置结构对各部件进行组装。同时可以进行一定程度的集成封装，例如将光源11和镜面反射装置12集成在一起构成投影单元10。

2)投影图案的设计：由于本发明方法采用的振镜系统能够利用振镜高速的姿态变换特性，在目标区域内投射出点阵状，线阵状等等图像。这里主要采用一维振镜照射出线阵或者采用二维振镜投射出点阵。

3)采集图像信息步骤：

a.拍摄基准图像。例如，在距离系统L=2000mm处，设置与Z轴垂直的3*3m标准平面T，选取该平面T上拍摄的图像为基准图像。虽然该实施例中给出了具体的基准图像的距离，但是本发明并不限于此，本领域基础技术人员可以根据实际情况选取合适的平面拍摄基准图像。利用图像传感器20采集投影单元10投影出来的线阵状或点阵状图案在标准平面的成像作为基准图像，并保存在数据处理单元30的存储器31中。

b.拍摄目标的投影图像。在物体进入目标区域后，投影图案照射到物体表面上，此时利用图像传感器20采集目标区域的投影图案，例如线阵状图案，发送到数据处理单元30；

4)表面点云数据重建步骤：

请参阅图2a和图2b，分别为根据本发明优选实施例的投影重建的系统拍摄的基准图像和投影图像的示意图。如图2a和图2b所示，该结构光图案为线阵，线的高度为H，宽度为W。则相应可以计算出线阵中n条线之间的线距为Wn。图3中可以看到当目标物体进入画面时，线阵中目标物体所在区域中的线条将发生偏移，偏移量为S。所有的投射图案随着距离L的增大，图案会出现朝固定方向发生偏移，且偏移量S逐渐变小。而偏移S的最大值必须小于周期图案的最小周期Wn。偏移量S可以通过数据处理单元针对投影图像与基准图像进行分析来计算获得。

a.设采集到的投影图像与基准图像均为m*n个像素的图像。下面以投射的结构光图案为线阵光为例，对获取的投影图像进行分析，采用点状的结构光图案的分析方法与之相同。

首先，利用图像算法分别计算出投影图像和基准图像中线阵中每条线的坐标数组Pn(i,j)和Qn(i,j)，其中n代表线阵中线的编号，(i,j)是线上每一点的坐标。在此，由于图像中结构光线条的像素灰度值大于周围像素灰度值，所以能够在背景中分辨出结构光线条。本发明可以采用阈值分割的办法将结构光线条分割出来。由于阈值设定的原因，结构光线条宽度可能会由一个或者一个以上的像素组成，所以可以采用线宽的重心或者线宽内最亮像素坐标来代表结构光线条的坐标。其中，在第一种方法中，在结构光线条宽度方向，计算最大灰度值像素的重心坐标，作为线条坐标。第二种方法中，在结构光线条宽度方向，直接计算线宽的中心坐标，作为线条的坐标。在投影图像和基准图像对齐后分别逐列的计算出结构光线条的坐标。如果为点阵状图案，则对于点阵中每点的轮廓超过一个像素的情况，计算按灰度阈值做权重的重心坐标，作为点的坐标。

b.利用线条像素数组计算线条的位移量△Xn(i,j)= Pn(i,j)- Qn(i,j)。可以将两个结构光线条对齐逐列的计算坐标的位移值。图3中目标物体区域中线条的偏移量S与△Xn(i,j)相对应。

c.利用结构光测量的基本原理，数据处理单元通过以下公式计算结构光图案位移值为△X _n 的目标点的距离z；

其中，B为图像传感器与振镜装置的中心的距离，f为所述图像传感器的设备镜头焦距，L为选取的基准图像所在的标准平面的距离。投影图案中不同点的距离z即为计算出来的物体三维点云数据。

由于上述公式中B、f和L可以针对不同大小的目标物体和距离预先设置好，因此上述公式中的X’为设置好的特定值。当需要针对不同目标物体设计结构光图案时，只需要调整一维或二维振镜的镜面状态，就可以获得不同的结构光，例如线阵光或点阵光，还可以对线阵光的线距进行调整，从而便于在采集的投影图像中识别出目标物体所在的区域。

下面对本发明的方法去除背景光的拍摄方法和原理进行介绍。请参阅图3，为根据本发明优选实施例中投影区域和视场区域的示意图。如图3所示，投影单元在目标区域内的整个投影区域为A，而图像传感器在目标区域内的整个视场区域为B，可以看到投影区域A与视场区域B都在与Z轴垂直的基准平面T上有W*H大小的共同区域，如图2a和2b中所示。

在本发明方法的投影结构光和采集投影图案的步骤中，设置采集一大帧数据需T，{t1,t2,……,tn-1,tn}属于一个周期T。设置投影单元10能够在t1,t2,……,tn-1,tn时刻，分别将投影图案投射到a1,a2,……,an-1,an区域内，或者一直能够在照射在上述区域内，其区域宽分别为a1_w,a2_w,……,an-1_w,an_w。并设投影区域a1,a2,……,an-1,an分别对应CMOS上的成像区域a1_img，a2_img，……, an-1_img,an_img。

因此，本发明方法中采用的同步控制单元可以控制图像传感器在t1,t2,……,tn-1,tn时刻，分别在CMOS上的b1,b2,……,bn-1,bn区域曝光获取各自的图像，存成一小帧图像，而每个区域与前一区域有共同的区域。例如，图像传感器在t1时刻第一次曝光的区域b1包括成像区域a1_img，也就是采集了投影区域a1的小帧图像；图像传感器在t2时刻第二次曝光的区域b2包括成像区域a1_img和a2_img，也就是采集了投影区域a1和投影区域a2的小帧图像；……以此类推，图像传感器在tn-2时刻第n-2次曝光的区域bn-2包括成像区域an-2_img和an-1_img，也就是采集了投影区域an-2和投影区域an-1的小帧图像；图像传感器在tn-1时刻第n-1次曝光的区域bn-1包括成像区域an-1_img和an_img，也就是采集了投影区域an-1和投影区域an的小帧图像；图像传感器在tn时刻第n次曝光的区域bn包括成像区域an_img，也就是采集了投影区域an的小帧图像。也就是将第一次曝光的区域b1向下偏移offset1得b2区域，b2区域偏移offset2得到b3区域，……,bn-1区域偏移offsetn-1得到bn区域。

通过上述过程，就可以对每个投影区域采集两次图像，而其中一次为结构光投影时夹杂背景光的图像，另一次为单纯背景光呈现的图像，因此将两次图像进行差分即可得投影图像。

请参阅图4，为根据本发明优选实施例中连续两小帧图像的示意图。本发明的方法以线形光为例，对图像传感器的曝光区域和去除背景光的原理进行说明。如图4所示，通过上述曝光方法可知，结构光图案的投影图像是由多个小帧图像构成，即在一大帧数据内由连续采集n次的小帧图像组成一大帧原始投影图像，该图像中包含背景干扰光的成像。调整设备运行参数可以实时采集原始图像。每次采集的原始图像保存到数据处理单元，供后续处理。

本方案设小帧图像宽高为(b_w,b_h)，每小帧图像沿高方向分别偏移offset1,offset2,……,offsetn0-1,offset。在对图像进行处理时，先将连续两小帧图像中分别在同一投影区域拍摄的部分图像进行差分，得到该投影区域的去除背景光后的小帧图像，然后将所述多个小帧图像进行上述处理后再组合，就能得到在该目标区域内拍摄到的至少部分区域的投影图像。例如，将图像分为前一小帧和后一小帧，前一小帧图像被分为上部分图像和下部分图像，后一小帧图像也被分为上部分图像和下部分图像。如图4中所示，曝光区域bn-1所分的上部分图像和下部分图像分别对应成像区域an-2_img和成像区域an-1_img，而曝光区域bn所分的上部分图像和下部分图像分别对应成像区域an-1_img和成像区域an_img，因此，可以对这两个小帧图像在同一投影区域an-1所拍摄的图像an-1_img进行差分，得到该投影区域an-1的去除背景光后的小帧图像newbn-1。对所有的小帧图像逐个计算获得newb1,newb3,……,newbn-1后，再加上an_img，就可以获得完整的去除背景光的图像。虽然上述给出了具体的差分方式，但是本发明的方法可以采用本领域技术人员熟知的各种方式对上述图像进行处理，例如对前后几帧图像进行差分，或者隔几帧图像对共同进行差分，以去除背景图案。在此，可以对差分后的图像newb1,newb2,……,newbn，进行图像中值滤波处理，改善差分后的图像效果。

综上所述，本发明的投影重建的系统和方法，首先将光源照射出的点光或者线光，照射到镜面反射装置上。通过控制镜面反射装置旋转和偏移将光线反射到目标区域上，形成结构光图案。利用图像传感器获取无物体时目标区域内标准平面上结构光的图案作为基准图案。在物体进入目标区域后，再利用图像传感器控制图像传感器的连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与所述镜面反射装置反射的结构光的投影区域同步，来获取目标区域内至少部分区域的结构光投影图案。将数据存储到数据处理单元，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，计算两种图案的位移信息，然后利用三角测量原理计算出物体的三维深度数据。这种三维深度数据可以实时更新，从而获取运动物体的实时运动数据。因此本发明不仅可以对同一套设备，根据不同的方法调整投射出结构光的图案，还可以通过控制投影单元和图像传感器，采用特定的曝光时序有偏移地曝光以去除背景光线，得到清晰的结构光图案，提高了检测精度。该方法和系统可以应用到物体的实时重建中，能够在人机交互的领域使用，如虚拟鼠标，健身的人机交互，博弈的人机界面，移动装置前方物体的检测，人体运动分析，距离估计和报警，入侵报警等等方面。

本发明是根据特定实施例进行描述的，但本领域的技术人员应明白在不脱离本发明范围时，可进行各种变化和等同替换。此外，为适应本发明技术的特定场合或材料，可对本发明进行诸多修改而不脱离其保护范围。因此，本发明并不限于在此公开的特定实施例，而包括所有落入到权利要求保护范围的实施例。   

Claims (10)

1.一种投影重建的系统，其特征在于，包括：

投影单元，包括光源和镜面反射装置，所述镜面反射装置用于通过调整镜面姿态，将所述光源发出的光线反射到目标区域形成预设的结构光图案；

图像传感器，用于逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像；

同步控制单元，用于控制所述图像传感器连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与所述镜面反射装置反射的结构光的投影区域同步；

数据处理单元，与所述图像传感器连接，实时接收所述结构光图案的投影图像，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，并获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值，计算出所述目标区域内物体的三维点云数据。

2.根据权利要求1所述的投影重建的系统，其特征在于，所述光源采用点光源时，所述镜面反射装置采用二维振镜，生成的结构光图案为线阵状图案或点阵状图案；所述光源采用线光源时，所述镜面反射装置采用一维振镜，生成的结构光图案为线阵状图案。

3.根据权利要求2所述的投影重建的系统，其特征在于，所述一维振镜或二维振镜采用MEMS振镜。

4.根据权利要求2所述的投影重建的系统，其特征在于，所述数据处理单元包括图像差分模块、图像整合模块和投影重建模块；

所述图像差分模块将连续两小帧图像中分别在同一投影区域拍摄的部分图像进行差分，得到该投影区域的去除背景光后的小帧图像；

所述图像整合模块将经过图像差分模块处理的所述多个小帧图像组合后得所述目标区域内至少部分区域的投影图像；

所述投影重建模块获取所述投影图像和预先拍摄的基准图像中的结构光图案位移值，计算出所述目标区域内物体的三维点云数据。

5.根据权利要求2所述的投影重建的系统，其特征在于，所述镜面反射装置采用一维振镜生成线阵状的结构光图案时，所述数据处理单元通过以下公式计算结构光图案位移值为△X _n 的目标点的距离z；

 其中，B为图像传感器与振镜装置的中心的距离，f为所述图像传感器的设备镜头焦距，L为选取的基准图像所在的标准平面的距离。

6.一种投影重建的方法，其特征在于，包括以下步骤：

S1、通过控制镜面反射装置，将光源发出的光线反射到目标区域并形成预设的结构光图案；

S2、利用图像传感器逐步曝光以拍摄所述目标区域内至少部分区域的结构光图案的投影图像，且控制所述图像传感器连续两小帧图像的曝光区域至少部分重叠，且所述重叠部分与所述镜面反射装置反射的结构光的投影区域同步；

S3、实时接收所述结构光图案的投影图像，对投影图像中的多个小帧图像进行差分处理后得到去除背景光的投影图像，并获取所述投影图像和预先拍摄的基准图像中的位移值，计算出所述目标区域内物体的三维点云数据。

7.根据权利要求6所述的投影重建的方法，其特征在于，所述步骤S1中所述光源采用点光源时，所述镜面反射装置采用二维振镜，生成的结构光图案为线阵状图案或点阵状图案；所述光源采用线光源时，所述镜面反射装置采用一维振镜，生成的结构光图案为线阵状图案。

8.根据权利要求7所述的投影重建的方法，其特征在于，所述步骤S1中所采用的一维振镜或二维振镜为MEMS振镜。

9.根据权利要求7所述的投影重建的方法，其特征在于，所述步骤S3中。

10.根据权利要求7所述的投影重建的方法，其特征在于，所述步骤S1中所采用的镜面反射装置为一维振镜生成线阵状的结构光图案时，所述步骤S3中通过以下公式计算结构光图案位移值为△X _n 的目标点的距离z；

 其中，B为图像传感器与振镜装置的中心的距离，f为所述图像传感器的设备镜头焦距，L为选取的基准图像所在的标准平面的距离。

Images