CN117635849B - 一种动态实时高精度三维成像系统 - Google Patents

Abstract

本发明属于计算机视觉技术领域，涉及一种动态实时高精度三维成像系统，包括双目图像采集装置、三散斑投射模组与FPGA实时计算系统；三散斑投射模组上刻蚀有三种散斑图片的玻璃膜片；FPGA实时计算系统包括散斑光场投影控制单元、双目图像成像控制单元、同步控制单元、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元与接口单元。本发明能够提高建模精度与拍摄速度，三散斑投射模组的光投影结构，能够有效提高建模精度，满足三维人脸识别的要求，应用范围更广；采用双目图像采集装置能够保证三维成像装置拍摄速度；采用FPGA实时计算系统能够实现设备小型化改进，能够保证大量数据实时并行计算能力。

Description

一种动态实时高精度三维成像系统

技术领域

本发明属于计算机视觉技术领域，具体而言，涉及一种基于时空散斑结构光场的高精度动态实时三维成像系统。

背景技术

人脸识别已经从二维人脸识别发展到三维人脸识别阶段，而三维人脸识别能否大规模应用取决于能否高效快速准确地获取三维人脸模型。近几年，光学三维测量方法得到了快速发展，其具有非接触、速度快等特点，这种方法通常将多张的特殊结构光场投射到被拍摄物体上，然后利用双目或者单目相机将被拍摄物体拍摄下来，通过计算还原出物体实际的三维结构信息。

目前，这种三维光学测量方法有多种实现途径，比如基于正弦条纹投影的三维测量方法，这种方式具有较高的测量精度，该方法采用的是DLP（Digital Light Processing，数字光处理）或者LCOS（Liquid Crystal on Silicon，硅基液晶）作为正弦条纹投影设备，但是由于DLP和LCOS价格高、体积大、功耗高等缺点，无法实现设备小型化改进，导致其无法大规模应用在三维人脸识别产品中。还有一种基于散斑投影的三维测量方法，该方法将特定编码的散斑图案刻蚀在投射器件模板上，用这种固定图案的投射器替代DLP或者LCOS。该方案成本低、体积小，比如RealSense深度相机与Gemini光增强双目相机但是目前这些产品的建模精度都偏低，同样也无法满足三维人脸识别的要求。

发明内容

为了解决上述技术问题，本发明提供一种动态实时高精度三维成像系统，包括双目图像采集装置、三散斑投射模组与FPGA实时计算系统；

三散斑投射模组上刻蚀有三种散斑图片的玻璃膜片；

FPGA实时计算系统包括散斑光场投影控制单元、双目图像成像控制单元、同步控制单元、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元与接口单元；

散斑光场投影控制单元的输出端与三散斑投射模组的输入端电信号连接；双目图像成像控制单元的输出端与双目图像采集装置的控制输入端电信号连接；接口单元与同步控制单元电信号连接；接口单元用于输出物体三维数据与外部控制指令；

双目图像采集装置的输出端、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元、接口单元依次连接；接口单元连接有存储单元；存储单元存储校正参数；

三散斑投射模组工作时，刻蚀有三种散斑图片的玻璃膜片上的图案分时依次投影到被拍摄物体上，图像采集单元采集投射到被拍摄物体的三对带有散斑图案的图像，同时，双目图像成像控制单元控制双目图像采集装置工作，采集投射到被拍摄物体的三对带有散斑图案的图像，当三对散斑图像进入FPGA实时计算系统后，经过极线校正单元、立体匹配单元、亚像素视差计算单元与视差后处理单元后，得到亚像素视差数据，然后通过接口单元将物体三维数据发送出去。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，三散斑投射模组包括依次设置的LED光源、放大镜片、散斑模板与光学镜头；散斑模板上刻蚀有三种散斑图片的玻璃膜片；LED光源发光时，光穿过放大镜片，将散斑模板上的图案通过光学镜头投影出去，在被拍摄物体表面形成散斑图案。

进一步，图像采集单元包括解码单元与串行/并行转换器；解码单元对双目图像采集装置采集的图像数据进行解码，由串行/并行转换器将串行数据转换为并行数据后，通过AXI总线将转换后的图像数据存储至存储器的图像缓存区中。

进一步，在存储器中分配两块图像缓存区，当写入第一块图像缓存区后，从另一块缓存区读取图像数据。

进一步，极线校正单元包括第一极线校正子单元与第二极线校正子单元，对双目相机采集的两组散斑图像分别校正；校正过程中，上位机发送校正参数通过接口单元并存储在存储单元，第一极线校正子单元与第二极线校正子单元分别读取存储器中的校正参数对图像进行极线校正。

进一步，立体匹配单元包括初始代价计算单元与代价筛选单元；

初始代价计算单元从存储单元读取极线校正后的多行图像数据到FPGA内部的RAM中，然后将这多行图像数据读出到FPGA的寄存器阵列中，按照census变换的方式进行流水线操作，得到census数据，然后将census数据输入到初始代价计算单元；初始代价计算单元内设置若干个计算子单元并行计算census数据，在每个计算子单元中完成数据的异或操作并统计结果为1的个数，并将结果输出到代价筛选单元；

代价筛选单元，用于找到初始代价计算单元输出的16组数据中的最小值，把最小值对应的坐标以及初始代价作为结果输出。

进一步，亚像素视差计算单元输入的数据为像素坐标和像素坐标对应的初始代价值，以及图像像素的初始代价值；

亚像素视差计算单元包括相邻代价缓存单元与亚像素视差计算子单元；

相邻代价缓存单元以初始代价计算单元输出的16组初始代价值和立体匹配单元立体匹配的结果作为输入，内部由三级流水线构成，输出为立体匹配的匹配点的初始代价值、坐标以及相邻像素的初始代价值；

亚像素视差计算子单元包括第一计算数据通道与第二计算数据通道；输入的数据为匹配点的坐标、匹配点坐标对应的初始代价值，以及相邻匹配点的初始代价值；

设相邻代价缓存单元的第三级流水线输出的第一相邻代价值为，相邻代价缓存单元的第三级流水线输出的中间代价值为/>，相邻代价缓存单元的第三级流水线输出的第二相邻代价值为/>，第一计算数据通道的输出值为path1，第二计算数据通道的输出值为path2，pdisp为中间量，l1refinecast为第一相邻代价值/>与中间代价值/>的差值，r1refinecast为第二相邻代价值/>与中间代价值/>的差值，/>为第一图像待匹配点坐标，相邻代价缓存单元输出的代价值对应的坐标为A坐标与B坐标，则：

；

；

；

则第一计算数据通道的输出值的计算公式为：

；

则第二计算数据通道的输出值的计算公式为：

；

将第一计算数据通道的输出值与第二计算数据通道的输出值进行比较得到最大值作为数据选择器的输出值。

进一步，视差后处理单元包括依次连接的缓存子单元、写控制状态机、行缓存器、读控制状态机、寄存器阵列与双边滤波器。

本发明的有益效果是：本发明能够提高建模精度与拍摄速度，三散斑投射模组的光投影结构，能够有效提高建模精度，满足三维人脸识别的要求，应用范围更广；采用双目图像采集装置能够保证三维成像装置拍摄速度；采用FPGA实时计算系统能够实现设备小型化改进，能够保证大量数据实时并行计算能力。

附图说明

图1为本发明实施例1提供的一种动态实时高精度三维成像系统的系统原理图；

图2为三散斑投射模组的结构原理图；

图3为初始代价计算单元的顶层结构的原理图；

图4为census变换单元的结构原理图；

图5为初始代价计算阵列的结构原理图；

图6为图像搜索匹配的参考图；

图7为图像搜索匹配的目标图；

图8为最小代价筛选单元的结构原理图；

图9为相邻代价缓存单元的结构原理图；

图10为亚像素视差计算子单元的结构原理图；

图11为视差后处理单元结构的结构原理图。

图标：1-LED光源；2-放大镜片；3-散斑模板；4-光学镜头。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

作为一个实施例，如附图1所示，为解决上述技术问题，本实施例提供一种动态实时高精度三维成像系统，包括双目图像采集装置、三散斑投射模组与FPGA实时计算系统；

三散斑投射模组上刻蚀有三种散斑图片的玻璃膜片；

FPGA实时计算系统包括散斑光场投影控制单元、双目图像成像控制单元、同步控制单元、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元与接口单元；

散斑光场投影控制单元的输出端与三散斑投射模组的输入端电信号连接；双目图像成像控制单元的输出端与双目图像采集装置的控制输入端电信号连接；接口单元与同步控制单元电信号连接；接口单元用于输出物体三维数据与外部控制指令；

双目图像采集装置的输出端、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元、接口单元依次连接；接口单元连接有存储单元；存储单元存储校正参数。

三散斑投射模组工作时，刻蚀有三种散斑图片的玻璃膜片上的图案分时依次投影到被拍摄物体上，图像采集单元采集投射到被拍摄物体的三对带有散斑图案的图像，同时，双目图像成像控制单元控制双目图像采集装置工作，采集投射到被拍摄物体的三对带有散斑图案的图像，当三对散斑图像进入FPGA实时计算系统后，经过极线校正单元、立体匹配单元、亚像素视差计算单元与视差后处理单元后，得到亚像素视差数据，然后通过接口单元将物体三维数据发送出去。

本发明采用一种三投射电子散斑结构，能够有效避免机械投影装置导致的不稳定性因素，提高建模精度。

在实际应用过程中，双目图像采集装置采用两片CMOS图像传感器，选择240帧/秒的高速红外双目相机，采用例如ZYNQ-7000系列FPGA使系统能够输出分辨率为1000*800，搜索视差范围为：-128至+128，速度为40帧/秒，精度为0.2mm的亚像素视差图像，并在芯片内部实现FPGA实时计算系统，提高大量数据实时并行计算能力。接口单元采用usb3.0接口。

该动态实时高精度三维成像系统的工作流程为：当FPGA实时计算系统通过usb3.0接口接收到采集三维数据命令时，FPGA实时计算系统控制三散斑投射模组工作，将刻蚀有三种散斑图片的玻璃膜片上的图案分时依次投影到被拍摄物体上；同时，FPGA实时计算系统内部的双目相机成像控制单元开始工作，FPGA实时计算系统外部的两片CMOS图像传感器开始工作，采集投射到待测物体的三对带有散斑图案的图像，当三对散斑图像进入FPGA实时计算系统后，经过极线校正单元、立体匹配单元、亚像素视差计算单元与视差后处理单元处理后，得到亚像素视差数据，然后通过usb3.0控制单元将计算结果发送出去。

可选的，如附图2所示，三散斑投射模组包括依次设置的LED光源1、放大镜片2、散斑模板3与光学镜头4。散斑模板3上刻蚀有三种散斑图片的玻璃膜片。LED光源1发光时，光穿过放大镜片2，将散斑模板3上的图案通过光学镜头4投影出去，在被拍摄物体表面形成散斑图案。

可选的，图像采集单元包括解码单元与串行/并行转换器；解码单元对双目图像采集装置采集的图像数据进行解码，由串行/并行转换器将串行数据转换为并行数据后，通过AXI总线将转换后的图像数据存储至存储器的图像缓存区中。

在实际应用过程中，采用的双目相机图像传感器输出的图像分辨率为1280*1024，帧率为240帧/秒，输出数据接口为LVDS接口。图像采集单元首先对双目相机图像传感器的图像数据解码，将8bit串行数据变为8bit的并行数据，然后通过FPGA内部的AXI总线写入到FPGA外连接的DDR存储器中，将数据保存到DDR图像缓存区中。

可选的，在存储器中分配两块图像缓存区，当写入第一块图像缓存区后，从另一块缓存区读取图像数据。

本发明中采用双缓存方式，对所拍摄的三对图片在DDR存储器中分配两块缓存区，当写入第一块缓存区的时候，后续计算模块从另一块缓存区读取图像数据，缓存区通过这种乒乓操作的方式，能够保证整个系统输出视差数据的速度。

可选的，极线校正单元包括第一极线校正子单元与第二极线校正子单元，对双目相机采集的两组散斑图像分别校正；校正过程中，上位机发送校正参数通过接口单元并存储在存储单元，第一极线校正子单元与第二极线校正子单元分别读取存储器中的校正参数对图像进行极线校正。

在实际应用过程中，极线校正是通过对双目图像采集装置的两个相机拍摄的图像进行对齐操作，并定义新的像平面，让极线对共线且平行于像平面的水平轴，该操作同时建立了新的立体像对，采用两个独立极线校正子单元分别对左右相机的散斑图像分别校正，能够保证计算速度。

校正参数由上位机通过usb3.0接口发送到极线校正单元，通过极线校正单元写入到FPGA连接的存储器如SD存储器中，当系统上电工作时，FPGA将SD存储器中双目相机的校正参数读出并保存至DDR存储器中。

当极线校正单元接收到工作指令时，首先将DDR存储器中的校正参数读出，同时取出缓存在DDR存储器中的三对图像数据，通过两个独立的极线校正子单元完成图像的极线校正，并将结果写回到DDR存储器中。

可选的，立体匹配单元包括初始代价计算单元与代价筛选单元；

初始代价计算单元从存储单元读取极线校正后的多行图像数据到FPGA内部的RAM中，然后将这多行图像数据读出到FPGA的寄存器阵列中，按照census变换的方式进行流水线操作，得到census数据，然后将census数据输入到初始代价计算单元；初始代价计算单元内设置若干个计算子单元并行计算census数据，在每个计算子单元中完成数据的异或操作并统计结果为1的个数，并将结果输出到代价筛选单元；

代价筛选单元，用于找到初始代价计算单元输出的16组数据中的最小值，把最小值对应的坐标以及初始代价作为结果输出。

在实际应用过程中，通过连续采集三对图像并参与到立体匹配计算过程中，采用初始代价计算单元与代价筛选单元对大量数据进行快速处理，能够达到较高的建模精度。立体匹配单元由两部分构成：初始代价计算单元以及代价筛选单元。

初始代价计算单元的顶层结构如附图3所示，该顶层结构由census变换单元和初始代价计算阵列两部分组成。一组三幅图的五行数据进入第一行缓存集，另一组三幅图的五行数据进入第二行缓存集，第一行缓存集与第二缓存集均设置有若干个片内缓存（片内缓存1、片内缓存2、片内缓存3与片内缓存4）；第一行缓存集的数据经过第一census变换单元，第二行缓存集的数据经过第二census变换单元；第一census变换单元与第二census变换单元输出的数据通过缓存器进入初始代价计算阵列。如附图3所示初始代价计算阵列内部一共包含4个初始代价计算单元。

census变换单元如附图4所示，在census变换单元中，由于需要用5*5窗口对图像做滑动操作，所以在顶层结构中设置一个状态机从DDR存储器中读取极线校正后的图片并缓存。该状态机首先将三对图像的前5行数据通过ZYNQ芯片内部的高速AXI总线读出并且存储到ZYNQ芯片内部的RAM中，缓存一组中三对图像的5行数据共设置15片RAM，同理缓存另一组中三幅图像的5行数据也设置15片RAM；对每幅图像的5行数据做轮询写操作，每当片内RAM写完第5行数据后，又开始向第一片RAM写数据。当图像数据不断用内部RAM缓存的同时，通过设置另一个状态机开始读取缓存的图像数据，并将读出的图像输入到census变换单元中。在census变换单元中，首先将数据读取到5*5的寄存器阵列中，通过比较5*5寄存器阵列中固定位置的数值大小，将5*5寄存器窗口转换成1个12bit的二进制串，例如比较r(1,2)与r(3,2)、比较r(0,2)与r(4,2)、比较r(4,1)与r(0,3)、……、比较r(0,0)与r(4,4)，将每一个比较结果作为一个位，依次对应位bit0、bit1、bit2、……、bit11，得到1个12bit的二进制串。由于是同时计算三幅图片，所以一个5*5窗口可以得到36bit的二进制串，将这些数据缓存起来供后面的初始代价计算阵列使用。初始代价计算阵列如附图5所示，在单个初始代价计算阵列内部共有16个计算单元（计算单元1、计算单元2、……计算单元16），每个计算单元将两侧图像的5*5窗口先进行异或操作，再求和统计异或操作结果里面1的个数。1个初始代价计算单元可以输出16组初始代价值（初始代价1、初始代价2、……初始代价15、初始代价16）并存储在寄存器缓存中。整个初始代价计算阵列一次可以输出64组初始代价值。

设双目相机的一个相机为第一相机，另一个相机为第二相机，第一相机得到的图像为第一图像，将双目相机第二相机所拍摄的图像称为待匹配图像。如附图6所示，从DDR中取出第一图像的5行，如附图6中的1、2、3、4、5、6、7、8共计8列census变换后的图像数据，1为起始序号，由于采用的立体匹配滑动窗口大小是5*5，所以这些数据可以得到4个5*5窗口，命名为、/>、/>、/>，/>对应的列为1、2、3、4、5，/>对应的列为2、3、4、5、6，/>对应的列为3、4、5、6、7，/>对应的列为4、5、6、7、8，式中的下标start代表第一图像的起始匹配点，在图7中，把第二图像的5行，1024列census变换后的图像分成64块图像区，每一块图像数据区由16列构成，定义搜索视差搜索范围：[d1，d2], d1∈(0,1,2…32)，d2=d1+31,Floor为取整数，则：

。

将第二相机得到的图像搜索视差范围内的第1块图像数据和额外缓存的4列图像从DDR中读取到缓存区，这块缓存区一共能够得到16个5*5窗口表示为R1、R2……R16；R1的列为1、2、3、4、5，R2的列为2、3、4、5、6，R3的列为3、4、5、6、7，R4的列为4、5、6、7、8，R5的列为5、6、7、8、9，R6的列为6、7、8、9、10，R7的列为7、8、9、10、11，R8的列为8、9、10、11、12，R9的列为9、10、11、12、13，R10的列为10、11、12、13、14，R11的列为11、12、13、14、15，R12的列为12、13、14、15、16，R13的列为13、14、15、16、17，R14的列为14、15、16、17、18，R15的列为15、16、17、18、19，R16的列为16、17、18、19、20。

接下来将这些窗口输入到初始代价计算阵列中。

如附图5所示，将、/>、/>、/>窗口分别和R1、R2……R16窗口分别做异或和求和操作，得到4组初始代价值，每组16个，共64个初始代价值，然后再求每组初始代价值的最小值及其序号，并将其缓存，设/>为最小代价值，L表示/>、、/>、/>中的一个窗口，/>表示搜索视差范围的内块序号，本系统的视差搜索范围是[d1，d2],中间共搜索32块数据区，所以/>的编号从1至32，表示16个初始代价值中最小代价值的序号，/>表示16个初始代价值中最小代价值的序号,则通过下面公式表示图5计算的结果：

；

于是可以得到如下数据：

；

；

；

；

当、/>、/>、/>窗口保持不动，取第二图像搜索视差范围内的第2块图像数据区做同样的操作，得到：

；

；

；

；

那么第32块图像数据区计算结果为：

；

；

；

；

此时，按照如下公式，便可以找到、/>、/>、/>窗口在右图的匹配点，设/>为/>的匹配点，/>为/>的匹配点，/>为的匹配点，/>为/>的匹配点，则：

；

；

；

。

得到、/>、/>、/>后，取出里面的/>和，这样就能得到/>、/>、/>、/>窗口在第二图像中匹配点的最小代价值及其对应的位置。

代价筛选单元用于获得初始代价计算单元输出的16组数据中的最小值，代价筛选单元结构如附图8所示。经过初始代价计算阵列后得到4组初始代价值的集合，每组有16个初始代价值，共64个初始代价值。代价筛选单元由4级流水线构成，在第一级流水线，向该代价筛选单元输入16个初始代价值，经过比较计算后可以得到8组最小代价值及其对应的坐标，以此类推，通过最后一级流水线时，可以得到16组初始代价值中的最小值及其对应的坐标，然后把这个最小代价值对应的坐标以及初始代价值作为结果输出。

可选的，亚像素视差计算单元输入的数据为像素坐标和像素坐标对应的初始代价值，以及图像像素的初始代价值；

亚像素视差计算单元包括相邻代价缓存单元与亚像素视差计算子单元；

如附图9所示，相邻代价缓存单元以初始代价计算单元输出的16组初始代价值和立体匹配单元立体匹配的结果作为输入，内部由三级流水线构成，输出为立体匹配的匹配点的初始代价值、坐标以及相邻像素的初始代价值。三级流水线包括第一级流水线、第二级流水线与第一级流水线。例如，假如立体匹配单元输出的是最小值是第10个初始代价值，那么通过相邻代价缓存单元的计算，则将第9个初始代价值和第11个初始代价值并且将初始代价9和初始代价10的值对应的坐标作为相邻代价缓存单元的输出。

亚像素视差计算子单元包括第一计算数据通道与第二计算数据通道；输入的数据为匹配点的坐标、匹配点坐标对应的初始代价值，以及相邻匹配点的初始代价值。

设相邻代价缓存单元的第三级流水线输出的第一相邻代价值为，相邻代价缓存单元的第三级流水线输出的中间代价值为/>，相邻代价缓存单元的第三级流水线输出的第二相邻代价值为/>，第一计算数据通道的输出值为path1，第二计算数据通道的输出值为path2，pdisp为中间量，l1refinecast为第一相邻代价值/>与中间代价值/>的差值，r1refinecast为第二相邻代价值/>与中间代价值/>的差值，/>为第一图像待匹配点坐标，相邻代价缓存单元输出的代价值对应的坐标为A坐标与B坐标，则：

；

；

；

则第一计算数据通道的输出值的计算公式为：

；

则第二计算数据通道的输出值的计算公式为：

；

将第一计算数据通道的输出值与第一计算数据通道的输出值进行比较得到最大值作为数据选择器的输出值，即如果l1refinecast大于r1refinecast，则选择器输出第一计算数据通道的输出值path1，否则，选择器输出第二计算数据通道的输出值path2。

上述计算过程对应的亚像素视差计算子单元如附图10所示，通过设置加法器、减法器、乘法器、除法器、比较器实现。

可选的，视差后处理单元包括依次连接的缓存子单元、写控制状态机、行缓存器、读控制状态机、寄存器阵列与双边滤波器。

视差后处理单元结构如附图11所示，接收的数据为亚像素视差数据。在视差后处理单元中，输入的数据首先进入缓存子单元，通过写控制状态机来管理进入缓存的数据。写控制状态机负责管理行缓冲器，写控制状态机从缓存子单元中读取缓存数据，并将这些数据写入由7片FPGA内部RAM（RAM1-RAM7）组成的行缓冲器中。在写控制状态机工作的同时，使用另一个状态机来读取行缓冲器的数据，即读控制状态机。使用读控制状态机将数据从行缓冲器读取到7*7窗口的寄存器阵列中，当写控制状态机与读控制状态机同时工作时，把这个7*7窗口按照从左到右、从上到下的方向在亚像素视差图上面移动，从而完成对整个图像的滤波。视差后处理单元采用双边滤波方式，该滤波方式可以有效保护图像的边界，具体可选的，首先用7*7模板中心的值减去周围的值，并对结果取绝对值，然后再把所有结果的绝对值和设定阈值相比较，并统计小于该设定阈值的个数，得到邻域内像素与中心点像素的相似度，如果相似度小于20%，则将中心点的像素值设为零，否则使用周边像素的均值。

在实际应用过程中，接口单元采用USB3.0控制单元，完成整个系统与外部接口的命令与数据交互。作为一种可选的实施方式，通过FPGA外部挂接CYUSB3014芯片，该芯片内置USB3.0协议，外部数据通信接口直接与FPGA相连接。可选的，FPGA采用zynq-xc7z100芯片，该芯片内部设计有一个双核ARM处理器，该处理器处理所有来自外界的控制命令。当系统上电时，ARM处理器为USB3.0接口的通信数据分配所需内存。每当USB3.0接口有数据发送至本系统时，通过AXI总线将数据缓存到DDR存储器中，然后再向ARM处理器发送中断信号，ARM处理器处理来自于USB3.0接口的数据或者向上位机发送数据。

本发明能够提高建模精度与拍摄速度，三散斑投射模组的光投影结构，能够有效提高建模精度，满足三维人脸识别的要求，应用范围更广；采用双目图像采集装置能够保证三维成像装置拍摄速度；采用FPGA实时计算系统能够实现设备小型化改进，能够保证大量数据实时并行计算能力。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种动态实时高精度三维成像系统，其特征在于，包括双目图像采集装置、三散斑投射模组与FPGA实时计算系统；

三散斑投射模组上刻蚀有三种散斑图片的玻璃膜片；

FPGA实时计算系统包括散斑光场投影控制单元、双目图像成像控制单元、同步控制单元、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元与接口单元；

散斑光场投影控制单元的输出端与三散斑投射模组的输入端电信号连接；双目图像成像控制单元的输出端与双目图像采集装置的控制输入端电信号连接；接口单元与同步控制单元电信号连接；接口单元用于输出物体三维数据与外部控制指令；

双目图像采集装置的输出端、图像采集单元、极线校正单元、立体匹配单元、亚像素视差计算单元、视差后处理单元、接口单元依次连接；接口单元连接有存储单元；存储单元存储校正参数；

立体匹配单元包括初始代价计算单元与代价筛选单元；初始代价计算单元从存储单元读取极线校正后的多行图像数据到FPGA内部的RAM中，然后将这多行图像数据读出到FPGA的寄存器阵列中，按照census变换的方式进行流水线操作，得到CENSUS数据，然后将CENSUS数据输入到初始代价计算单元；初始代价计算单元内设置若干个计算子单元并行计算CENSUS数据，在每个计算子单元中完成数据的异或操作并统计结果为1的个数，并将结果输出到代价筛选单元；代价筛选单元，用于找到初始代价计算单元输出的16组数据中的最小值，把最小值对应的坐标以及初始代价作为结果输出；

三散斑投射模组工作时，刻蚀有三种散斑图片的玻璃膜片上的图案分时依次投影到被拍摄物体上，图像采集单元采集投射到被拍摄物体的三对带有散斑图案的图像，同时，双目图像成像控制单元控制双目图像采集装置工作，采集投射到被拍摄物体的三对带有散斑图案的图像，当三对散斑图像进入FPGA实时计算系统后，经过极线校正单元、立体匹配单元、亚像素视差计算单元与视差后处理单元后，得到亚像素视差数据，然后通过接口单元将物体三维数据发送出去。

2.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，三散斑投射模组包括依次设置的LED光源、放大镜片、散斑模板与光学镜头；散斑模板上刻蚀有三种散斑图片的玻璃膜片；LED光源发光时，光穿过放大镜片，将散斑模板上的图案通过光学镜头投影出去，在被拍摄物体表面形成散斑图案。

3.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，图像采集单元包括解码单元与串行/并行转换器；解码单元对双目图像采集装置采集的图像数据进行解码，由串行/并行转换器将串行数据转换为并行数据后，通过AXI总线将转换后的图像数据存储至存储器的图像缓存区中。

4.根据权利要求3所述一种动态实时高精度三维成像系统，其特征在于，在存储器中分配两块图像缓存区，当写入第一块图像缓存区后，从另一块缓存区读取图像数据。

5.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，极线校正单元包括第一极线校正子单元与第二极线校正子单元，对双目相机采集的两组散斑图像分别校正；校正过程中，上位机发送校正参数通过接口单元并存储在存储单元，第一极线校正子单元与第二极线校正子单元分别读取存储器中的校正参数对图像进行极线校正。

6.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，亚像素视差计算单元输入的数据为像素坐标和像素坐标对应的初始代价值，以及图像像素的初始代价值；

亚像素视差计算单元包括相邻代价缓存单元与亚像素视差计算子单元；

相邻代价缓存单元以初始代价计算单元输出的16组初始代价值和立体匹配单元立体匹配的结果作为输入，内部由三级流水线构成，输出为立体匹配的匹配点的初始代价值、坐标以及相邻像素的初始代价值;

亚像素视差计算子单元包括第一计算数据通道与第二计算数据通道；输入的数据为匹配点的坐标、匹配点坐标对应的初始代价值，以及相邻匹配点的初始代价值；

设相邻代价缓存单元的第三级流水线输出的第一相邻代价值为，相邻代价缓存单元的第三级流水线输出的中间代价值为/>，相邻代价缓存单元的第三级流水线输出的第二相邻代价值为/>，第一计算数据通道的输出值为path1，第二计算数据通道的输出值为path2，pdisp为中间量，l1refinecast为第一相邻代价值/>与中间代价值/>的差值，r1refinecast为第二相邻代价值/>与中间代价值/>的差值，/>为第一图像待匹配点坐标，相邻代价缓存单元输出的代价值对应的坐标为A坐标与B坐标，则：

；

；

；

则第一计算数据通道的输出值的计算公式为：

；

则第二计算数据通道的输出值的计算公式为：

；

将第一计算数据通道的输出值与第一计算数据通道的输出值进行比较得到最大值作为数据选择器的输出值。

7.根据权利要求1所述一种动态实时高精度三维成像系统，其特征在于，视差后处理单元包括依次连接的缓存子单元、写控制状态机、行缓存器、读控制状态机、寄存器阵列与双边滤波器。