CN106871783A - 一种基于fpga的关节臂激光扫描测头激光光条图像采集系统 - Google Patents

Abstract

本发明提供了一种基于FPGA的关节臂激光扫描测头激光光条图像采集系统，包括以下步骤：采用FPGA+CMOS的设计方法进行图像的采集；采用FPGA+DSP的设计方法进行图像的处理；使用外扩双口RAM在FPGA和DSP之间进行图像数据高速缓存；最终将得到的三维点信息通过串行接口传送给上位机。与已有技术相比，本发明采用FPGA和DSP组合来进行图像采集和处理，替换了PC的工作，其中FPGA不仅是采集部分的逻辑控制中心，而且能完成部分简单的图像预处理，其中FPGA和DSP之间图像数据传输是通过使用外扩双口RAM做数据高速缓存，既能满足系统实时图像处理的需要，又能够使系统有较小的体积、较低的功耗和较高的性能。

Description

一种基于FPGA的关节臂激光扫描测头激光光条图像采集系统

技术领域

本发明涉及精密仪器检测技术领域，特别涉及关节臂激光扫描测头激光光条图像采集系统。

背景技术

关节臂坐标测量机是由多个臂和关节组成，通过末端臂上安装的测头构成测量系统，由人控制实现对零部件表面信息的测量。在测量过程中，安装在关节上的角度编码器会实时记录关节臂转动过的角度，结合关节臂的长度，就可以计算出被测物上测量点的三维坐标信息。

测头作为关节臂激光扫描测量机的一部分，主要分为接触式和光学非接触式两种。在诸多的光学非接触式视觉测量方法中，结构光三维视觉测量方法以其大量程、大视场、较高精度、光条图像信息易于提取、实时性强及主动受控等特点，近年来在工业环境中得到了广泛的应用，它主要用于实现较软材料或一些特征表面进行非接触测量。

结构光三维视觉测量是基于激光三角法测量原理，线激光器将线激光投射到被测物表面，在被测物表面形成由被测物表面形状所调制的光条，然后通过摄像机拍摄得到光条的二维畸变图像。当线激光器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标即可重现被测物的三维轮廓。根据光学投射器所投射的光束模式的不同，结构光模式又可以分为点结构光模式、线结构光模式、多线结构光模式、多线结构光模式及网格结构光模式等。

在诸多的结构光模式中，由线结构光方法开发的视觉传感器配以一定的机械结构，能够比较容易地获得被测物体的三维信息，且精度适中，结构相对简单，故在工业领域得到了广泛应用。而且线结构光和单目相机的组合，还克服了双目视觉测量方法中的立体匹配问题，在商品的加工制造、逆向工程、物体识别、文物保护和修复等方面有着广阔的应用前景。

因此，需要一种能够进一步缩小关节臂激光扫描测头的体积并使关节臂激光扫描测头的运算速度更快的高质量的激光光条图像的采集、存储和处理的基于FPGA的关节臂激光扫描测头激光光条图像采集系统。

发明内容

本发明的目的在于提供一种基于FPGA的关节臂激光扫描测头激光光条图像采集系统，包括以下步骤：

步骤一：采用FPGA+CMOS的设计方法进行图像的采集；

步骤二：采用FPGA+DSP的设计方法进行图像的处理；

步骤三：使用外扩双口RAM在FPGA和DSP之间进行图像数据高速缓存；

步骤四：最终将得到的三维点信息通过串行接口传送给上位机。

所述步骤一采用FPGA+CMOS的设计方法，包括CMOS图像传感器和图像采集控制部分，其中，所述CMOS图像传感器进行图像采集，图像采集控制部分采用了FPGA，即现场可编程门阵列，选用FPGA作为主控单元，使用Verilog语言对其进行逻辑化设计，所述FPGA不仅是采集部分的逻辑控制中心，而且具有完成部分简单的图像预处理功能，能有效的为图像处理器减轻负担，能大大减少电路板尺寸，增强了系统可靠性和灵活性。

具体步骤是：光入射到CMOS图像传感器的感光区域，光强信息被转换为电荷量，通过驱动信号的控制，模拟信号被A/D采样后转换成数字信号，CMOS图像传感器将接收到的光信号转换为电信号，并进行模数转换，将数字信号传送给FPGA，(FPGA为图像传感器提供驱动信号，驱动图像传感器，获取图像数据并存储到存储器)FPGA接收到这些信号后转存入储存模块，得到一帧已传完的信号后，FPGA向图像处理器DSP传送采集完毕信号。

其中，CMOS图像传感器的时序和图像成像原理如下:

在FPGA内部，产生OV5640 CMOS图像传感器所需要的上电时序，CMOS图像传感器驱动模块通过模拟I²C总线时序，对OV5640 CMOS图像传感器寄存器值进行初始化配置，CMOS图像传感器初始化完成后，利用光电效应将接收到的光信号转化为电信号，经过A/D转换后，以数字信号形式将图像信号传送给FPGA。

所述步骤二采用FPGA+DSP的设计方法，包括DSP图像处理器，其中DSP图像处理器接收到图像采集部分的传送采集完毕信号后，从储存模块读取图像信息，对图像进行处理，最终将处理结果上传给上位机。

其中，在DSP中，对采集到的图像进行处理包括以下步骤：摄像机的标定，光条中心的提取和解算。其中摄像机的标定使用的方法是张正友的方法，使用的光条中心提取算法是Steger算法，解算是由摄像机模型和光平面模型联立方程组可以得到系统的解算模型。

所述步骤三，FPGA和DSP之间图像数据传输是通过使用外扩双口RAM做数据高速缓存，其中双口RAM即共享式多端口存储器，即在一个SRAM存储器上具有两套完全独立的数据线、地址线和读写控制线，并允许两个独立的系统同时对该存储器进行随机性的访问。具体流程是：图像采集模块控制CMOS，以25帧/s的速率向FPGA输送图像数据，通过FPGA的控制将图像数据缓存在片外的SDRAM(帧存模块)中，FPGA存储完一帧图像后，FPGA通过逻辑控制打开数据高速缓冲通道，使图像数据从帧存模块移至高速缓冲模块中，DSP再读取双口RAM中的图像数据，进行图像处理。这种缓存方式既能满足系统实时图像处理的需要，又能够使系统有较小的体积、较低的功耗和较高的性能。

本发明的基本原理是：在激光三角法的基础上，采用线结构光和单目相机组合，再加上一定的机械结构和处理电路，最终得到被测物的三维点坐标。具体实现功能如下：线激光器将激光打到靶标平面，经靶标平面的反射进入到摄像机中形成二维图像，通过对二维图像进行光条中心提取进而确定光平面方程，由相机内参数和光平面方程，可以计算得出图像上的点的二维坐标和相机坐标系下的三维点的坐标的转换关系。

与已有技术相比，本发明采用FPGA和DSP组合来进行图像采集和处理，替换了PC的工作，其中FPGA不仅是采集部分的逻辑控制中心，而且具有完成部分简单的图像预处理功能，其中FPGA和DSP之间图像数据传输是通过使用外扩双口RAM做数据高速缓存，既能满足系统实时图像处理的需要，又能够使系统有较小的体积、较低的功耗和较高的性能，从而实现进一步缩小关节臂激光扫描测头的体积并使关节臂激光扫描测头的运算速度更快的技术效果。

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示意性示出激光三角法的工作结构原理图。

图2示意性示出本发明的工作系统整体结构图。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本发明在激光三角法的基础上，采用线结构光和单目相机组合，再加上一定的机械结构和处理电路，最终得到被测物的三维点坐标。线结构光视觉测量方法利用的是激光三角法，激光三角法的工作结构原理是：在进行测量时，相机和激光器的相对位置是固定不变的，一旦两者的相对位置发生变化，就要重新进行相机标定，相机标定是为了得到相机的内外参数。如图1所示为本发明中激光三角法工作结构图，线激光器将激光打到靶标平面，经靶标平面的反射进入到摄像机中形成二维图像，通过对二维图像进行光条中心提取进而确定光平面方程，由相机内参数和光平面方程，可以计算得出图像上的点的二维坐标和相机坐标系下的三维点的坐标的转换关系。

如图2所示为本发明工作整体结构图。本发明的图像采集系统包括图像采集，图像缓存、图像处理和顶层控制模块。图中标号为1、2、3的实线方框内分别为图像采集、图像缓存、图像处理三个部分，中间虚线框内是FPGA的内部逻辑设计部分。其中顶层控制模块将图像采集、图像缓存和图像显示这三部分连接起来。

本发明的图像采集工作，采用FPGA+CMOS的设计方法，包括CMOS图像传感器和图像采集控制部分，其中，所述CMOS图像传感器进行图像采集，图像采集控制部分采用了FPGA，即现场可编程门阵列，选用FPGA作为主控单元，不仅是采集部分的逻辑控制中心，而且完成部分简单的图像预处理功能，能有效的为图像处理器减轻负担，能大大减少电路板尺寸，增强了系统可靠性和灵活性。

具体步骤是：光入射到CMOS图像传感器的感光区域，光强信息被转换为电荷量，通过驱动信号的控制，模拟信号被A/D采样后转换成数字信号，即CMOS图像传感器将接收到的光信号转换为电信号，并进行模数转换，将数字信号传送给FPGA，(FPGA为图像传感器提供驱动信号，驱动图像传感器，获取图像数据并存储到存储器)FPGA接收到这些信号后转存入储存模块，得到一帧已传完的信号后，FPGA向图像处理器DSP传送采集完毕信号。

进一步地，CMOS图像传感器的时序和图像成像原理如下:

在FPGA内部，产生OV5640 CMOS图像传感器所需要的上电时序，CMOS图像传感器驱动模块通过模拟I²C总线时序，对OV5640 CMOS图像传感器寄存器值进行初始化配置，CMOS图像传感器初始化完成后，利用光电效应将接收到的光信号转化为电信号，经过A/D转换后，以数字信号形式将图像信号传送给FPGA。

本发明的图像处理工作，采用FPGA+DSP的设计方法，包括DSP图像处理器，其中DSP图像处理器接收到图像采集部分的传送采集完毕信号后，从储存模块读取图像信息，对图像进行处理。

具体地，如图2所示，FPGA接收到数字信号后，对图像信号进行初步处理，再将经过初步处理的图像数据传送给WFIFO(FIFO，先进先出队列)进行缓存，在写SDRAM使能控制信号的控制下，将图像数据传输给外部SDRAM芯片进行缓存。当一帧图像数据缓存完成后，FPGA控制SDRAM读/写状态信号进行电平转换，将SDRAM读/写状态改为读，开始读取已经缓存在SDRAM中的图像数据，传送给RFIFO，图像处理模块产生控制信号，将RFIFO内的图像数据读取出来，并进行图像处理，最后将处理结果传送给计算机。

进一步地，FPGA和DSP之间图像数据传输是通过使用外扩双口RAM做数据高速缓存，具体流程是：图像采集模块控制CMOS，以25帧/s的速率向FPGA输送图像数据，通过FPGA的控制将图像数据缓存在片外的SDRAM(帧存)中，FPGA存储完一帧图像后，FPGA通过逻辑控制打开数据高速缓冲通道，使图像数据从帧存模块移至高速缓冲模块中，DSP再读取双口RAM中的图像数据，进行图像处理。这种缓存方式既能满足系统实时图像处理的需要，又能够使系统有较小的体积、较低的功耗和较高的性能。

进一步地，在DSP中，进行相机标定，激光光条中心提取和解算的工作，其中，摄像机标定使用的是张正友的方法，该方法是基于2D平面靶标的摄像机标定方法，假设标定用平面靶标在世界坐标系中，通过线性模型分析计算得出摄像机参数的优化解，然后用基于最大似然法进行非线性求解，在这个过程中标定出考虑镜头畸变的目标函数，最后求出所需的摄像机内外参数。这种方法既具有较好的鲁棒性，又不需要昂贵的精制标定块，很有实用性。

其中，使用的光条中心提取算法是Steger算法，利用Hessian矩阵得到图像中光条纹的法线方向，在光条图像中，Hessian矩阵表示为

图像中点的法线方向由该点的Hessian矩阵最大特征值的绝对值对应的特征向量给出，通过在法线方向上求极值点得到光条纹中心的亚像素位置。公式中g(x,y)是二维高斯卷积模板，z(x,y)是以图像点为中心，大小与二维高斯卷积模板相等的图像矩阵。该方法具有精度高，稳定性好等优点。

其中，解算由摄像机模型和光平面模型联立方程组可以得到系统的解算模型。摄像机模型如式(2)

光平面方程如式(3)

Ax+By+Cz+1＝0 (3)

两式联立得到的结算模型为

本发明提供一种能够进一步缩小关节臂激光扫描测头的体积并使关节臂激光扫描测头的运算速度更快的高质量的激光光条图像的采集、存储和处理的关节臂激光扫描测头激光光条图像采集系统，与已有技术相比，本发明的有益效果体现在：

(1)采用FPGA和DSP组合来进行图像采集和处理，替换了PC的工作，使整个复杂的处理系统体积变小、成本降低，但却使用灵活、功耗小、性能高。

(2)FPGA和DSP之间图像数据传输是通过使用外扩双口RAM做数据高速缓存，既能满足系统实时图像处理的需要，又能够使系统有较小的体积、较低的功耗和较高的性能。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims (6)

1.一种基于FPGA的关节臂激光扫描测头激光光条图像采集系统，包括以下步骤：

步骤一：采用FPGA+CMOS的设计方法进行图像的采集；

步骤二：采用FPGA+DSP的设计方法进行图像的处理；

步骤三：使用外扩双口RAM在FPGA和DSP之间进行图像数据高速缓存；

步骤四：将得到的三维点信息通过串行接口传送给上位机。

2.根据权利要求1所述的图像采集系统，其特征在于，所述步骤一包括CMOS图像传感器和图像采集控制部分，其中，所述CMOS图像传感器进行图像采集，图像采集控制部分采用FPGA作为主控单元，所述FPGA使用Verilog语言对其进行逻辑化设计，具体步骤是：光入射到CMOS图像传感器的感光区域，CMOS图像传感器将接收到的光信号转换为电信号，并进行模数转换，将数字信号传送给FPGA，FPGA接收到这些信号后转存入储存模块，得到一帧已传完的信号后，FPGA向图像处理器DSP传送采集完毕信号。

3.根据权利要求1或2所述的图像采集系统，其特征在于，所述CMOS图像传感器的时序和图像成像原理如下:

在FPGA内部，产生OV5640CMOS图像传感器所需要的上电时序，CMOS图像传感器驱动模块通过模拟I²C总线时序，对OV5640CMOS图像传感器寄存器值进行初始化配置，CMOS图像传感器初始化完成后，利用光电效应将接收到的光信号转化为电信号，经过A/D转换后，以数字信号形式将图像信号传送给FPGA。

4.根据权利要求1所述的图像采集系统，其特征在于，所述步骤二包括DSP图像处理器，其中DSP图像处理器接收到图像采集部分的传送采集完毕信号后，从储存模块读取图像信息，对图像进行处理。

5.根据权利要求1或4所述的图像采集系统，其特征在于，在DSP中，对采集到的图像进行处理的具体的步骤如下：

①摄像机标定

摄像机标定使用的是张正友的方法，这种方法是基于2D平面靶标的摄像机标定方法，假设标定用平面靶标在世界坐标系中，通过线性模型分析计算得出摄像机参数的优化解，然后用基于最大似然法进行非线性求解，在这个过程中标定出考虑镜头畸变的目标函数，最后求出所需的摄像机内外参数；

②光条中心提取

使用的光条中心提取算法是Steger算法，该算法利用Hessian矩阵得到图像中光条纹的法线方向，在光条图像中，Hessian矩阵表示为

$H\left(x,y\right)=\left[\begin{array}{cc}\frac{{\∂}^{2}g\left(x,y\right)}{\∂x^2}& \frac{{\∂}^{2}g\left(x,y\right)}{\∂x\∂y}\\ \frac{{\∂}^{2}g\left(x,y\right)}{\∂x\∂y}& \frac{{\∂}^{2}g\left(x,y\right)}{\∂y^2}\end{array}\right]\⊗z\left(x,y\right)=\left[\begin{array}{cc}{r}_{xx}& r_{xy}\\ r_{xy}& r_{yy}\end{array}\right]---\left(1\right)$

图像中点的法线方向由该点的Hessian矩阵最大特征值的绝对值对应的特征向量给出，通过在法线方向上求极值点得到光条纹中心的亚像素位置；公式中g(x,y)是二维高斯卷积模板，z(x,y)是以图像点为中心，大小与二维高斯卷积模板相等的图像矩阵；

③解算

由摄像机模型和光平面模型联立方程组可以得到系统的解算模型，

摄像机模型如式(2)

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(2\right)$

光平面方程如式(3)

Ax+By+Cz+1＝0 (3)

两式联立得到的结算模型为

$s\left[\begin{array}{c}u\\ v\\ 1\\ 0\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\\ A& B& C& -1\end{array}\right]\·\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(4\right)$

6.根据权利要求1所述的图像采集系统，其特征在于，所述步骤三中，图像采集模块控制CMOS，以25帧/s的速率向FPGA输送图像数据，通过FPGA的控制将图像数据缓存在片外的SDRAM(帧存模块)中，FPGA存储完一帧图像后，FPGA通过逻辑控制打开数据高速缓冲通道，使图像数据从帧存模块移至高速缓冲模块中，DSP再读取双口RAM中的图像数据，进行图像处理。