CN116485990A - 一种高速结构光3d重建的装置及方法 - Google Patents

Abstract

本发明涉及一种高速结构光3D重建的装置及方法，重建装置包括投影装置、存储和传输装置、拍摄装置和计算机，投影装置包括DLP控制模块，存储和传输装置包括FPGA模块和相机同步模块，拍摄装置包括工业相机模块，DLP控制模块、FPGA模块和相机同步模块之间相互连接设置，相机同步模块与工业相机模块相连接。本发明通过利用DLP控制模块，针对DLP芯片通过视频流方式持续传输图片的功能，极大地提高DLP控制模块接收图片的速度，满足工业情况下多图高帧率的应用场景。

Description

一种高速结构光3D重建的装置及方法

技术领域

本发明涉及工业视觉测量相关技术领域，尤其涉及一种高速结构光3D重建的装置及方法。

背景技术

在结构光3D重建技术中，光机投影频率和工业相机拍照频率一直是限制3D重建效率的关键参数。近年来，工业相机的拍摄速率飞速提升，光机的投影速率的增加却远远跟不上工业相机的拍照速率，为此，提升光机的投影速率是增加3D重建速率和效率的首要条件。

有鉴于上述的缺陷，本设计人积极加以研究创新，以期创设一种高速结构光3D重建的装置及方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种高速结构光3D重建的装置及方法。

为实现上述目的，本发明采用如下技术方案：

本发明目的之一：

一种高速结构光3D重建的装置，重建装置包括投影装置、存储和传输装置、拍摄装置和计算机，其中，

投影装置用于接收待投射图片，进行光源投射，并反馈信号；

存储和传输装置连接投影装置、拍摄装置和计算机，用于存储与传输待测目标物体的信息与数据；

拍摄装置连接存储和传输装置，用于拍摄待测目标物体；

计算机连接存储和传输装置，用于反馈测试结果；

投影装置包括DLP控制模块，存储和传输装置包括FPGA模块和相机同步模块，拍摄装置包括工业相机模块，DLP控制模块、FPGA模块和相机同步模块之间相互连接设置，相机同步模块与工业相机模块相连接。

作为本发明的进一步改进，投影装置还包括DMD投影模块、LED光源、光机和放大投影镜头，DLP控制模块分别与DMD投影模块和LED光源相连接，DMD投影模块和LED光源分别与光机相连接，光机与放大投影镜头相连接。

作为本发明的进一步改进，存储和传输装置还包括ISP模块，ISP模块与相机同步模块相连接。

作为本发明的进一步改进，拍摄装置还包括与工业相机模块相连接的放大拍摄镜头。

作为本发明的进一步改进，DLP控制模块为DLP投影设备，FPGA模块为FPGA控制器，工业相机模块为工业相机。

本发明目的之二：

一种高速结构光3D重建方法，依次包括以下步骤：

步骤1、存储和传输装置中的FPGA模块通过接口传输待投射图片至投影装置中的DLP控制模块；

步骤2、投影装置中的DLP控制模块将图片数据写入投影缓存后输出至DMD投影模块，同时点亮LED光源；

步骤3、调节LED光源亮度开始投射并向存储和传输装置中的相机同步模块发送同步信号；

步骤4、存储和传输装置中的相机同步模块接收同步信号做适当延时，控制拍摄装置中的工业相机模块开始拍摄待测目标物体；

步骤5、检测过程；

步骤6、图像数据发送至ISP模块；

步骤7、ISP模块对图像数据进行处理后发送至计算机。

作为本发明的进一步改进，投影装置、存储和传输装置和拍摄装置之间的结构光投影步骤依次如下：

步骤1、FPGA控制器算法生成包含调制信息和灰度信息的结构光第一图像；

步骤2、FPGA控制器将第一图像传输到DLP投影设备中，每帧第一图像中的垂直同步信号作为与DLP投影设备之间的同步信号，作为DLP投影设备的曝光参考和触发参考；

步骤3、DLP投影设备将接收到的包含调制信息和灰度信息的结构光第一图像通过DMD投影模块反射LED光源再经过放大投影镜头投射到待测目标物体上；

步骤4、同时，FPGA控制器控制工业相机在DLP投影设备投图的时间内曝光拍照，得到包含调制信息和相位信息的第二图像；

步骤5、工业相机将第二图像传输到FPGA控制器；

步骤6、FPGA控制器对包含调制信息和相位信息的第二图像进行计算，得到包含各个像素D信息的第三图像；

步骤7、FPGA控制器将第三图像传输到计算机中，通过上位机软件对第三图像进行显示和提取D信息。

作为本发明的进一步改进，FPGA控制器将第一图像通过LVDS接口运用视频流的方法传输到DLP投影设备中。

作为本发明的进一步改进，FPGA控制器与DLP投影设备通信接口采用HDMI高清多媒体接口或者FDP平板显示接口。

作为本发明的进一步改进，工业相机将第二图像通过接口或者GigE传输到FPGA控制器。

借由上述方案，本发明至少具有以下优点：

本发明通过利用DLP控制模块，针对DLP芯片通过视频流方式持续传输图片的功能，极大地提高DLP控制模块接收图片的速度，满足工业情况下多图高帧率的应用场景。

本发明区别于传统的将DLP投射图片存于FLASH之中，DLP与FLASH通信读取图片数据传输至DMD投射模块进行投射。

本发明方法利用DLP控制模块的视频序列模式，针对DLP芯片通过视频流方式持续传输图片的功能，利用FPGA作为主控，主动的向DLP控制模块输入图像数据，并以行同步信号VSYNC作为与DLP模块之间的同步时钟，避免了传统方法DLP控制芯片与FLASH之间的握手时间，以及FLASH向DLP以8位图为单位的加载时间。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明一种高速结构光3D重建的装置的结构示意图；

图2是本发明中结构光投影步骤的流程结构示意图；

图3是本发明一种高速结构光3D重建方法的流程图；

图4是本发明结构光投影步骤的流程图。

其中，图中各附图标记的含义如下。

1 投影装置 2 存储和传输装置

3 拍摄装置 4 计算机

11 DLP控制模块 12 DMD投影模块

13 LED光源 14 光机

15 放大投影镜头 21 FPGA模块

22 ISP模块 23 相机同步模块

31 工业相机模块 32 放大拍摄镜头

111 DLP投影设备 211 FPGA控制器

311 工业相机

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1～图4所示，

如图1，

本发明目的之一：

一种高速结构光3D重建的装置，重建装置包括投影装置1、存储和传输装置2、拍摄装置3和计算机4，其中，

投影装置1用于接收待投射图片，进行光源投射，并反馈信号；

存储和传输装置2连接投影装置1、拍摄装置3和计算机4，用于存储与传输待测目标物体5的信息与数据；

拍摄装置3连接存储和传输装置2，用于拍摄待测目标物体5；

计算机4连接存储和传输装置2，用于反馈测试结果；

投影装置1包括DLP控制模块11，存储和传输装置2包括FPGA模块21和相机同步模块23，拍摄装置3包括工业相机模块31，DLP控制模块11、FPGA模块21和相机同步模块23之间相互连接设置，相机同步模块23与工业相机模块31相连接。

优选的，投影装置1还包括DMD投影模块12、LED光源13、光机14和放大投影镜头15，DLP控制模块11分别与DMD投影模块12和LED光源13相连接，DMD投影模块12和LED光源13分别与光机14相连接，光机14与放大投影镜头15相连接。

优选的，存储和传输装置2还包括ISP模块22，ISP模块22与相机同步模块23相连接。

优选的，拍摄装置3还包括与工业相机模块31相连接的放大拍摄镜头32。

优选的，DLP控制模块11为DLP投影设备111，FPGA模块21为FPGA控制器211，工业相机模块31为工业相机311。

本发明目的之二：

如图1和图3，

一种高速结构光3D重建方法，依次包括以下步骤：

步骤1、存储和传输装置2中的FPGA模块21通过接口传输待投射图片至投影装置1中的DLP控制模块11；

步骤2、投影装置1中的DLP控制模块11将图片数据写入投影缓存后输出至DMD投影模块12，同时点亮LED光源13；

步骤3、调节LED光源13亮度开始投射并向存储和传输装置2中的相机同步模块23发送同步信号；

步骤4、存储和传输装置2中的相机同步模块23接收同步信号做适当延时，控制拍摄装置3中的工业相机模块31开始拍摄待测目标物体5；

步骤5、检测过程；

步骤6、图像数据发送至ISP模块22；

步骤7、ISP模块22对图像数据进行处理后发送至计算机4。

如图2和图4，

优选的，投影装置1、存储和传输装置2和拍摄装置3之间的结构光投影步骤依次如下：

步骤1、FPGA控制器211算法生成包含调制信息和灰度信息的结构光第一图像；

步骤2、FPGA控制器211将第一图像传输到DLP投影设备111中，每帧第一图像中的垂直同步信号作为与DLP投影设备111之间的同步信号，作为DLP投影设备111的曝光参考和触发参考；

步骤3、DLP投影设备111将接收到的包含调制信息和灰度信息的结构光第一图像通过DMD投影模块12反射LED光源13再经过放大投影镜头15投射到待测目标物体5上；

步骤4、同时，FPGA控制器211控制工业相机311在DLP投影设备111投图的时间内曝光拍照，得到包含调制信息和相位信息的第二图像；

步骤5、工业相机311将第二图像传输到FPGA控制器211；

步骤6、FPGA控制器211对包含调制信息和相位信息的第二图像进行计算，得到包含各个像素3D信息的第三图像；

步骤7、FPGA控制器211将第三图像传输到计算机4中，通过上位机软件对第三图像进行显示和提取3D信息。

其中，具体DMD投影模块12尺寸及LED光源13光强根据实际应用场景确定，不作限制。

FPGA控制器211与工业相机311和DLP投影设备111相连并有同步信号。

FPGA控制器211与计算机4连接并有数据传输。

优选的，FPGA控制器211将第一图像通过LVDS接口运用视频流的方法传输到DLP投影设备111中。

优选的，FPGA控制器211与DLP投影设备111通信接口采用HDMI高清多媒体接口或者FDP平板显示接口，以适合不同的应用环境，增强了投影装置的适用性。

优选的，工业相机311将第二图像通过接口或者GigE传输到FPGA控制器211。

本发明工作原理简述：

FPGA模块21通过LVDS(或者HDMI)接口传输待投射图片至DLP控制模块11；

DLP控制模块11将图片数据写入投影缓存后输出至DMD投影模块12；

同时点亮LED光源13，调节LED光源13亮度开始投射并向相机同步模块23发送同步信号；

相机同步模块23接收同步信号做适当延时开始控制工业相机模块31开始拍摄待测目标物体5；

图像数据发送至ISP模块22，ISP模块22对图像数据进行处理后发送至计算机4。

本发明通过利用DLP控制模块，针对DLP芯片通过视频流方式持续传输图片的功能，极大地提高DLP控制模块接收图片的速度，满足工业情况下多图高帧率的应用场景。

本发明区别于传统的将DLP投射图片存于FLASH之中，DLP与FLASH通信读取图片数据传输至DMD投射模块进行投射。

本发明方法利用DLP控制模块的视频序列模式，针对DLP芯片通过视频流方式持续传输图片的功能，利用FPGA作为主控，主动的向DLP控制模块输入图像数据，并以行同步信号VSYNC作为与DLP模块之间的同步时钟，避免了传统方法DLP控制芯片与FLASH之间的握手时间，以及FLASH向DLP以8位图为单位的加载时间。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或竖直，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指咧所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接：可以是机械连接，也可以是电连接：可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通.对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种高速结构光3D重建的装置，其特征在于，所述重建装置包括投影装置(1)、存储和传输装置(2)、拍摄装置(3)和计算机(4)，其中，

所述投影装置(1)用于接收待投射图片，进行光源投射，并反馈信号；

所述存储和传输装置(2)连接投影装置(1)、拍摄装置(3)和计算机(4)，用于存储与传输待测目标物体(5)的信息与数据；

所述拍摄装置(3)连接存储和传输装置(2)，用于拍摄待测目标物体(5)；

所述计算机(4)连接存储和传输装置(2)，用于反馈测试结果；

所述投影装置(1)包括DLP控制模块(11)，所述存储和传输装置(2)包括FPGA模块(21)和相机同步模块(23)，所述拍摄装置(3)包括工业相机模块(31)，所述DLP控制模块(11)、FPGA模块(21)和相机同步模块(23)之间相互连接设置，所述相机同步模块(23)与工业相机模块(31)相连接。

2.如权利要求1所述的一种高速结构光3D重建的装置，其特征在于，所述投影装置(1)还包括DMD投影模块(12)、LED光源(13)、光机(14)和放大投影镜头(15)，所述DLP控制模块(11)分别与DMD投影模块(12)和LED光源(13)相连接，所述DMD投影模块(12)和LED光源(13)分别与光机(14)相连接，所述光机(14)与放大投影镜头(15)相连接。

3.如权利要求1所述的一种高速结构光3D重建的装置，其特征在于，所述存储和传输装置(2)还包括ISP模块(22)，所述ISP模块(22)与相机同步模块(23)相连接。

4.如权利要求1所述的一种高速结构光3D重建的装置，其特征在于，所述拍摄装置(3)还包括与工业相机模块(31)相连接的放大拍摄镜头(32)。

5.如权利要求1所述的一种高速结构光3D重建的装置，其特征在于，所述DLP控制模块(11)为DLP投影设备(111)，所述FPGA模块(21)为FPGA控制器(211)，所述工业相机模块(31)为工业相机(311)。

6.如权利要求1～5任一所述的一种高速结构光3D重建方法，其特征在于，依次包括以下步骤：

步骤1、所述存储和传输装置(2)中的FPGA模块(21)通过接口传输待投射图片至投影装置(1)中的DLP控制模块(11)；

步骤2、投影装置(1)中的DLP控制模块(11)将图片数据写入投影缓存后输出至DMD投影模块(12)，同时点亮LED光源(13)；

步骤3、调节LED光源(13)亮度开始投射并向存储和传输装置(2)中的相机同步模块(23)发送同步信号；

步骤4、存储和传输装置(2)中的相机同步模块(23)接收同步信号做适当延时，控制拍摄装置(3)中的工业相机模块(31)开始拍摄待测目标物体(5)；

步骤5、检测过程；

步骤6、图像数据发送至ISP模块(22)；

步骤7、ISP模块(22)对图像数据进行处理后发送至计算机(4)。

7.如权利要求6所述的一种高速结构光3D重建方法，其特征在于，所述投影装置(1)、存储和传输装置(2)和拍摄装置(3)之间的结构光投影步骤依次如下：

步骤1、FPGA控制器(211)算法生成包含调制信息和灰度信息的结构光第一图像；

步骤2、FPGA控制器(211)将第一图像传输到DLP投影设备(111)中，每帧所述第一图像中的垂直同步信号作为与DLP投影设备(111)之间的同步信号，作为DLP投影设备(111)的曝光参考和触发参考；

步骤3、DLP投影设备(111)将接收到的包含调制信息和灰度信息的结构光第一图像通过DMD投影模块(12)反射LED光源(13)再经过放大投影镜头(15)投射到待测目标物体(5)上；

步骤4、同时，FPGA控制器(211)控制工业相机(311)在DLP投影设备(111)投图的时间内曝光拍照，得到包含调制信息和相位信息的第二图像；

步骤5、工业相机(311)将所述第二图像传输到FPGA控制器(211)；

步骤6、FPGA控制器(211)对包含调制信息和相位信息的第二图像进行计算，得到包含各个像素3D信息的第三图像；

步骤7、FPGA控制器(211)将所述第三图像传输到计算机(4)中，通过上位机软件对所述第三图像进行显示和提取3D信息。

8.如权利要求7所述的一种高速结构光3D重建方法，其特征在于，所述FPGA控制器(211)将第一图像通过LVDS接口运用视频流的方法传输到DLP投影设备(111)中。

9.如权利要求7所述的一种高速结构光3D重建方法，其特征在于，所述FPGA控制器(211)与DLP投影设备(111)通信接口采用HDMI高清多媒体接口或者FDP平板显示接口。

10.如权利要求7所述的一种高速结构光3D重建方法，其特征在于，所述工业相机(311)将所述第二图像通过接口或者GigE传输到FPGA控制器(211)。