CN111238389B - 一种基于双目视觉的箱体检测系统及方法 - Google Patents

Abstract

本发明提供一种基于双目视觉的箱体检测系统，包含：若干个第一测量工装，分别设置在箱体内部的隔板、第一腹板、第二腹板、底板上，工装第一段外侧面非均匀的设置有若干个标志点；若干个第二测量工装，固定设置在箱体第一/第二腹板的外侧壁，第二测量工装顶部设有一个标志点；两台工业相机，用于自箱体上方采集测量单元内所有第一测量工装标志点的图像，采集第一/第二腹板上所有第二测量工装标志点的图像；信号处理单元，根据测量单元内所有第一测量工装的图像，检测隔板间距、隔板垂直度、第一/第二腹板垂直度,根据第二测量工装标志点的图像,生成第一/第二腹板与底板根部直线度的检测结果。本发明还包含一种基于双目视觉的箱体检测方法。

Description

一种基于双目视觉的箱体检测系统及方法

技术领域

本发明涉及机械制造领域，特别涉及一种基于双目视觉的箱体检测系统及方法。

背景技术

大尺寸箱体是大型起重机械、海洋工程装备、船舶等建造中最为关键部件，其制造质量和性能的优劣直接影响到装备的安全和使用效果，其制造效率也直接影响装备的制造周期。众所周知，箱梁结构形式复杂、隔板多、尺寸大、空间狭窄，易产生焊接变形，而焊前构件装配精度及焊后变形监测在箱梁制造过程中尤为关键。目前，我国大型箱体的焊前装配精度检测基本采用人工测量方式，检测效率低、环境压力大、工人劳动强度大，测量结果不够客观，测量信息集成度不高。

由于大型箱梁构件三维坐标测量具有测量范围大、精度高和现场实时测量等特点，所以要求测量技术及设备必须同时满足精度和环境适应性等条件，传统的测量方法大都采用人工靠尺测量和经纬仪测量方式，测量周期长、耗费大量人工，且测量数据无法实时反馈，常常导致装配精度不合格、焊接变形大等质量问题，造成大量的返工和返修工作。同时，人工测量方式无法真正满足自动化生产对高精度、大尺寸三维整体现场测试技术需求。

随着制造过程自动化、制造数据信息化的发展，当前落后的测量方式成为大型复杂结构件装备制造生产中的共性检测技术瓶颈。如何实现在大尺寸复杂结构、光线变化、混叠大场景条件下，在线检测箱梁构件的三维坐标、及时在结构件制造过程发现变形、满足智能化生产对大型装备在线三维尺寸的测量要求，成为日趋迫切的问题。

发明内容

本发明的目的是提供一种基于双目视觉的箱体检测系统及方法，能够在大型箱体装配成三面成型结构体，以及焊接所述三面成型结构体后，实时自动检测箱体的变形度，减少返工和返修。

本发明提供一种基于双目视觉的箱体检测系统，用于检测箱体三面成型结构件的变形度，箱体相邻两个隔板以及该两个隔板之间的第一腹板、第二腹板、底板所包围形成的空间作为一个测量单元，所述箱体检测系统包含：

若干个第一测量工装，分别固定的设置在所述三面成型结构件内部的隔板、第一腹板、第二腹板、底板上；所述第一测量工装由板状钣金件的两端向中部折弯形成，其包含相交于第一折边的工装第一段和工装第二段；所述工装第一段与工装第二段之间形成一个设定的锐角；工装第一段外侧面非均匀的设置有若干个标志点；

若干个相同的第二测量工装，其具有一字形结构，固定设置在箱体第一/第二腹板的外侧壁，所述第二测量工装顶部设有一个标志点；

两台工业相机，用于自箱体上方采集测量单元内所有第一测量工装标志点的图像，采集第一/第二腹板上所有第二测量工装标志点的图像；

信号处理单元，信号连接工业相机，根据所述测量单元内所有第一测量工装标志点的图像实时生成测量单元的隔板间距、隔板垂直度、第一/第二腹板垂直度的检测结果,根据所述第一/第二腹板上所有第二测量工装标志点的图像,生成第一/第二腹板与底板根部直线度的检测结果。

优选的，所述基于双目视觉的箱体检测系统，还包含相机支架，其顶部包含一根水平设置横杆，两台工业相机分开的固定设置在所述横杆上，通过移动相机支架，实现采集不同测量单元内的图像、以及第一/第二腹板外侧壁的图像。

优选的，所述相机支架的底部设有若干个万向轮。

所述的基于双目视觉的箱体检测系统，还包含显示屏，其信号连接所述信号处理单元，用于显示所述检测结果。

优选的，所述标志点由反光材料涂覆形成。

本发明还提供一种基于双目视觉的箱体检测方法，采用本发明所述的基于双目视觉的箱体检测系统实现的，包含步骤：

S1、装配箱体的第一/第二腹板、底板、隔板，形成三面成型结构件；

S2、将两台工业相机按照预定的位置固定设置在横杆上；移动相机支架，使得横杆位于测量单元上方；将若干个第一测量工装设置在箱体内部的隔板、第一腹板、第二腹板、底板上；将若干个第二测量工装设置在第一/第二腹板的外侧壁；

S3、通过工业相机采集测量单元内包含所有第一测量工装的第一图像；信号处理单元从第一图像的第一测量工装的若干个标志点中选择一个特定标志点，计算得到所述特定标志点在工装第二段投影的三维位置信息；根据所述三维位置信息，分别拟合得到与测量单元的两个隔板、底板、第一/第二腹板对应的第一至第五平面；

S4、信号处理单元根据所述第一至第五平面自动生成测量单元的隔板间距、隔板垂直度、第一/第二腹板垂直度的检测结果；

S5、通过工业相机分别采集包含第一、第二腹板外侧壁上所有第二测量工装的第二、第三图像，信号处理单元分别根据所述第二、第三图像中第二测量工装标志点在底板的投影点，拟合得到对应的第一腹板拟合直线、第二腹板拟合直线，计算所述第一腹板拟合直线的直线度、第二腹板拟合直线的直线度分别作为第一、第二腹板与底板根部直线度；

S6、焊接所述三面成型结构件，重复S1～S5。

步骤S2中，所述工业相机位于第一腹板、第二腹板之间，工业相机的光轴指向测量单元的底板中心。

步骤S2中，所述将若干个第一测量工装标志点的图像箱体内部的隔板、第一腹板、第二腹板、底板上，具体为：

S21、在测量单元的第一腹板顶边与第一腹板上距地最高的角钢之间设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

S22、在测量单元的第二腹板顶边与第二腹板距地最高的角钢之间设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

S23、在测量单元的底板中心设置至少四个第一测量工装，并保证工装第一段外侧面朝向工业相机；

S24、在隔板每个侧面分别固定设置至少四个第一测量工装，并保证所述锐角的开口端朝下。

与现有技术相比，本发明的有益效果在于：

1)本发明实现在大型箱体三面成型过程中，实时检测装配精度及焊接变形度，测量结果准确、测量效率高、操作方便、测量结果反馈及时，避免了传统技术中，采用人工靠尺测量和经纬仪测量箱体，测量周期长、耗费大量人工，且测量数据无法实时反馈的问题，能够及时发现箱体变形，大大减少量生产箱体时的返工和返修。

2)与传统的人工靠尺测量、经纬仪设备测量箱体变形度相比，本发明可同时实现对箱体的腹板与底板根部直线度、隔板垂直度、隔板间距、腹板垂直度的实时监测，进一步提升了箱体的制造质量和自动化生产水平，缩短了大型箱体生产周期，为大型箱体构件制造过程自动化、智能化提供了技术保障。从而提高生产效率，降低生产成本，具有很高的使用价值和经济效益。

附图说明

为了更清楚地说明本发明技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图：

图1为通过本发明的基于双目视觉的箱体检测系统检测箱体示意图；

图2为本发明的第一测量工装结构示意图；

图3A为第一实施例中，本发明第一测量工装设置在第一腹板示意图；

图3B为本发明第一测量工装设置在测量单元示意图；

图3C为第二实施例中，本发明第一测量工装设置在第一腹板示意图；

图4为箱体检测结果示意图；

图5为本发明的基于双目视觉的箱体检测方法流程示意图；

图中：1、测量单元；11；隔板；12、第一腹板；13、第二腹板；14、底板；15、角钢；

2、第一测量工装；21、工装第一段；22、工装第二段；23、延伸臂；

3、第二测量工装；

41、横杆；42、相机支架；43、工业相机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，大型箱体在完全装配之前，首先将底板14、第一腹板12、第二腹板13、若干个框形结构的隔板11装配形成三面成型的结构件，其中底板14放置在地面，第一腹板12、第二腹板13相对设置在底板两侧，若干个隔板11依序设置在底板第一端至底板第二端之间，且隔板11位于第一腹板12、第二腹板13之间。如图1所示，通常在第一腹板12、第二腹板13、底板14上还设置有若干根角钢15以提高大型箱体的牢固度。

大型箱体生产过程中，三面成型测量是保证大型箱体装配精度，检测大型箱体是否产生变形的关键步骤，其主要通过隔板间距、隔板垂直度、腹板垂直度、腹板与底板根部直线度等指标来判断。理想状态下，第一腹板12、第二腹板13、隔板11均垂直于底板14，隔板11垂直于第一腹板12、第二腹板13，同时隔板间距、隔板垂直度、腹板垂直度、腹板与底板根部直线度满足如表1所示的检测标准：

序号	检测内容	检测标准
			1	隔板间距	≤0.2％D(D为设计要求隔板距离)
2	隔板垂直度	H/500，允许最大3mm(H为隔板高度)
			3	腹板垂直度	H/500，允许最大3mm(H为腹板高度)
4	腹板与底板根部直线度	≤1mm/2m

表1

现有技术中，对于大型箱体的检测分为两步：首先将第一腹板12、第二腹板13、隔板11、底板14装配至如图1所示的三面成型工位，形成一个三面成型结构件。装配完成后通过人工测量第一腹板12、第二腹板13、隔板11、底板14的装备精度。然后焊接固定第一腹板12、第二腹板13、隔板11、底板14，在焊接完成后，再次通过三面成型测量检测第一腹板12、第二腹板13、隔板11、底板14等结构件是否产生变形。

现有技术中的三面成型测量方法大都通过人工借助卷尺、经纬仪测量，费时费力，且测量数据无法实时反馈，一旦大型箱体产生装配精度不合格、焊接变形等问题只能大量的返工和返修。

本发明提供一种基于双目视觉的箱体检测系统，用于检测箱体三面成型结构件的变形度，箱体相邻两个隔板11以及该两个隔板11之间的第一腹板12、第二腹板13、底板14所包围形成的空间作为一个测量单元1，所述箱体检测系统包含：若干个第一测量工装2、若干个相同的第二测量工装3、两台工业相机43、信号处理单元(图中未示出)、相机支架42、显示屏(图中未示出)。

所述若干个第一测量工装2，分别固定的设置在箱体内部的隔板11、第一腹板12、第二腹板13、底板14上。如图2所示，第一测量工装2由板状钣金件的两端向中部折弯形成，其包含相交于第一折边的工装第一段21和工装第二段22。所述工装第一段21与工装第二段22之间形成一个锐角，在本发明的实施例中所述锐角优选为45°±5°。工装第二段22的外侧面设有磁性材质(图中未示出)，将所述第一测量工装2固定吸附在箱体上。工装第一段外侧面由反光材料涂覆形成若干个非均匀分布的标志点，所述反光材料具有较高的回光反射率。

在本发明的第一实施例中，隔板11、第一腹板12、第二腹板13、底板14上的标志点分别具有不同的颜色。例如：测量单元1两个隔板11中的前隔板(对应于底板第一端)的标志点为红色，两个隔板11中的后隔板(对应于底板第二端)的标志点为紫色，第一腹板12的标志点为黄色，第二腹板13的标志点为蓝色，底板14的标志点为绿色。

在本发明的第二实施例中，测量单元1的前后两个隔板11、第一腹板12、第二腹板13、底板14上的标志点分别具有互不相同的第一图案至第五图案。

所述第二测量工装3具有一字形结构，固定设置在箱体第一/第二腹板的外侧壁。第二测量工装3顶部设有一个由反光材料涂覆形成的标志点。

在本发明的实施例中，第二测量工装3第一端端部设有磁性图层(图中未示出)，用于将第二测量工装3吸附在箱体上。

所述工业相机43的像幅不小于2×2米。通过两台工业相机43自箱体上方采集测量单元1内所有第一测量工装标志点的图像，采集第一/第二腹板上所有第二测量工装标志点的图像；

所述相机支架42，其顶部包含一根水平设置横杆41，两台工业相机43分开的固定设置在所述横杆41上。相机支架42的底部设有若干个万向轮(图中未示出)，通过移动相机支架42，实现采集不同的测量单元1内的图像、以及第一/第二腹板外侧壁的图像。

易于想到的，两台工业相机43的安装位置要考虑被检测箱体的实际宽度和高度，满足箱体宽度方向(所述箱体宽度方向既垂直于第一腹板12、第二腹板13的方向)、箱体高度的检测要求。现有技术中，三面成型结构件的宽和高最大为3.2m，因此在本发明的实施例中根据工业相机43的测量距离、视场角大小、三面成型结构件最大高度需求，设置横杆41的距地高度为5m。为保证每台工业相机43的视场都可以覆盖测量单元1，设置工业相机43距离横杆中点的间距为0.75m，两台工业相机43的间距为1.5m，详细布设图如图1所示。

所述信号处理单元连接工业相机43，通过内部预置的双目图像处理算法(此为现有技术)，根据采集的测量单元1内所有第一测量工装标志点的图像实时生成测量单元1的隔板间距、隔板垂直度、第一/第二腹板垂直度的检测结果,根据采集的第一/第二腹板上所有第二测量工装标志点的图像,生成第一/第二腹板与底板根部直线度的检测结果。

所述显示屏信号连接所述信号处理单元，用于显示所述检测结果，检测结果如图4所示。

本发明还提供一种基于双目视觉的箱体检测方法，采用本发明所述的基于双目视觉的箱体检测系统实现的，如图5所示，包含步骤：

S1、装配箱体的第一/第二腹板、底板14、隔板11，形成三面成型结构件；

S2、将两台工业相机43按照预定的位置固定设置在横杆41上；移动相机支架42，使得横杆41位于测量单元1上方，且横杆41大致垂直于第一腹板12；在本发明的实施例中，横杆41与测量单元1的两个隔板11具有相同的间距，横杆41上工业相机43的光轴指向测量单元1的底板中心；

将若干个第一测量工装标志点的图像箱体内部的隔板11、第一腹板12、第二腹板13、底板14上，如图3A、3B所示，具体为：

S21、如图3A所示，在本发明的第一实施例中，在测量单元1的第一腹板12顶边与第一腹板12上距地最高的角钢15之间设置至少四个第一测量工装2，并保证所述锐角的开口端朝下；

S22、在测量单元1的第二腹板顶边与第二腹板距地最高的角钢15之间设置至少四个第一测量工装2，并保证所述锐角的开口端朝下；

如图3B、图3C所示，在本发明的第二实施例中，在工装第二段22外侧与第一腹板12之间设有一个延伸臂23，延伸臂第一端固定连接工装第二段22外侧面，且垂直于工装第二段22，延伸臂第二端端面设有磁性材质，通过吸附固定的方式固定连接第一腹板12。通过该延伸臂，可以将第一测量工装2设置在第一腹板12的底部，且不被第一腹板12上的角钢15遮挡。由于第一腹板顶部与底部的第一测量工装2在竖直方向上具有较大的间距，因此测量第一腹板垂直度的结果更为准确；同样的，设置在第二腹板13上的第一测量工装2与第二腹板13之间也设有一个延伸臂23；

S23、在测量单元1的底板中心设置至少四个第一测量工装2，并保证工装第一段外侧面朝向工业相机43；

S24、在隔板11每个侧面分别固定设置至少四个第一测量工装2，并保证所述锐角的开口端朝下。

将若干个第二测量工装3设置在第一/第二腹板的外侧壁；在本发明的实施例中，第二测量工装标志点放置在距离底板14为100mm±10mm。

S3、通过工业相机43采集测量单元1内包含所有第一测量工装2的第一图像；

在本发明的第一实施例中，信号处理单元根据第一图像中标志点的颜色识别第一测量工装2具体是设置在前隔板、后隔板、第一腹板12、第二腹板13或底板14上；在本发明的第二实施例中，信号处理单元根据第一图像中，第一测量工装标志点的图案识别该标志点具体是设置在前隔板、后隔板、第一腹板12、第二腹板13或底板14上；在本发明的第三实施例中，信号处理单元根据第一图像中，第一测量工装2的位置信息识别第一测量工装2具体是设置在前隔板、后隔板、第一腹板12、第二腹板13或底板14上；此均为现有技术。

在本发明的第一实施例中，信号处理单元根据第一图像，为每个第一测量工装2选择一个特定标志点(如图2中的A点所示)，通过双目图像处理算法计算得到所述特定标志点在工装第二段22投影(如图2中的B点所示)的三维位置信息；

信号处理单元根据对应于测量单元1的前/后隔板、底板14、第一/第二腹板的所述三维位置信息，分别拟合得到对应的第一至第五平面；

如图3C所示，在本发明的第二实施例中，信号处理单元对于设置在第一/第二腹板上的第一测量工装2，通过将选择的特定标志点(如图3C中的A点所示)投影到第一/第二腹板的C点，由C点的三维位置信息拟合得到第一/第二腹板的第一/第二平面；

S4、信号处理单元根据所述第一至第五平面自动生成测量单元1的隔板间距、隔板垂直度、第一/第二腹板垂直度的检测结果；

S5、通过工业相机43分别采集包含第一、第二腹板外侧壁上所有第二测量工装3的第二、第三图像，信号处理单元分别根据所述第二、第三图像中第二测量工装标志点在底板14的投影点，拟合得到对应的第一腹板拟合直线、第二腹板拟合直线，计算所述第一腹板拟合直线的直线度、第二腹板拟合直线的直线度分别作为第一、第二腹板与底板根部直线度；

S6、焊接所述三面成型结构件，重复S1～S5。

由于箱体本身没有特定的特征，本发明第一、第二测量工装3上由反光材料涂覆形成的标志点作为箱体的特征点，检测箱体变形度。本发明通过采集第一测量工装2上由反光材料涂覆形成的标志点的三维坐标，生成对应于测量单元1前/后隔板、底板14、第一/第二腹板的第一至第五平面，通过第一至第五平面检测箱体变形。然而若直接在箱体上设置标志点，由于箱体内部结构复杂，标志点容易被遮挡，不能同时采集到前/后隔板、底板14、第一/第二腹板的标志点的图像，因此通过本发明的第一测量工装2，使得工装第一段21不贴合在箱体上，工装第一段21的标志点不易被遮挡。且通过选取第一测量工装2的一个标志点的计算在工装第二段22投影，使得拟合生成的第一至第五平面更为精确。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于双目视觉的箱体检测系统，用于检测箱体三面成型结构件的变形度，箱体相邻两个隔板以及该两个隔板之间的第一腹板、第二腹板、底板所包围形成的空间作为一个测量单元，其特征在于，包含：

若干个第一测量工装，所述第一测量工装由板状钣金件的两端向中部折弯形成，其包含相交于第一折边的工装第一段和工装第二段；所述工装第一段与工装第二段之间形成一个设定的锐角；工装第一段外侧面非均匀的设置有若干个标志点；所述若干个第一测量工装分别固定的设置在所述三面成型结构件内部的隔板、第一腹板、第二腹板、底板上，包含：

在测量单元的第一腹板顶边与第一腹板上距地最高的角钢之间设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

在测量单元的第二腹板顶边与第二腹板距地最高的角钢之间设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

在测量单元的底板中心设置至少四个第一测量工装，并保证工装第一段外侧面朝向工业相机；

在隔板每个侧面分别固定设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

若干个相同的第二测量工装，其具有一字形结构，固定设置在箱体第一/第二腹板的外侧壁，所述第二测量工装顶部设有一个标志点；

两台工业相机，用于自箱体上方采集测量单元内所有第一测量工装标志点的图像，采集第一/第二腹板上所有第二测量工装标志点的图像；

信号处理单元，信号连接工业相机，根据所述测量单元内所有第一测量工装标志点的图像实时生成测量单元的隔板间距、隔板垂直度、第一/第二腹板垂直度的检测结果,根据所述第一/第二腹板上所有第二测量工装标志点的图像,生成第一/第二腹板与底板根部直线度的检测结果。

2.如权利要求1所述的基于双目视觉的箱体检测系统，其特征在于，还包含相机支架，相机支架的顶部包含一根水平设置横杆，两台工业相机分开的固定设置在所述横杆上，通过移动相机支架，实现采集不同测量单元内的图像、以及第一/第二腹板外侧壁的图像。

3.如权利要求2所述的基于双目视觉的箱体检测系统，其特征在于，所述相机支架的底部设有若干个万向轮。

4.如权利要求1所述的基于双目视觉的箱体检测系统，其特征在于，还包含显示屏，信号连接所述信号处理单元，用于显示所述检测结果。

5.如权利要求1所述的基于双目视觉的箱体检测系统，其特征在于，所述标志点由反光材料涂覆形成。

6.一种基于双目视觉的箱体检测方法，采用如权利要求1至5任一所述的基于双目视觉的箱体检测系统实现的，其特征在于，包含步骤：

S1、装配箱体的第一/第二腹板、底板、隔板，形成三面成型结构件；

S2、将两台工业相机按照预定的位置固定设置在横杆上；移动相机支架，使得横杆位于测量单元上方；

将若干个第一测量工装设置在箱体内部的隔板、第一腹板、第二腹板、底板上，包含：

S21、在测量单元的第一腹板顶边与第一腹板上距地最高的角钢之间设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

S22、在测量单元的第二腹板顶边与第二腹板距地最高的角钢之间设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

S23、在测量单元的底板中心设置至少四个第一测量工装，并保证工装第一段外侧面朝向工业相机；

S24、在隔板每个侧面分别固定设置至少四个第一测量工装，并保证所述锐角的开口端朝下；

将若干个第二测量工装设置在第一/第二腹板的外侧壁；

S3、通过工业相机采集测量单元内包含所有第一测量工装的第一图像；信号处理单元从第一图像的第一测量工装的若干个标志点中选择一个特定标志点，计算得到所述特定标志点在工装第二段投影的三维位置信息；根据所述三维位置信息，分别拟合得到与测量单元的两个隔板、底板、第一/第二腹板对应的第一至第五平面；

S4、信号处理单元根据所述第一至第五平面自动生成测量单元的隔板间距、隔板垂直度、第一/第二腹板垂直度的检测结果；

S5、通过工业相机分别采集包含第一、第二腹板外侧壁上所有第二测量工装的第二、第三图像，信号处理单元分别根据所述第二、第三图像中第二测量工装标志点在底板的投影点，拟合得到对应的第一腹板拟合直线、第二腹板拟合直线，计算所述第一腹板拟合直线的直线度、第二腹板拟合直线的直线度分别作为第一、第二腹板与底板根部直线度。

7.如权利要求6所述的基于双目视觉的箱体检测方法，其特征在于，还包含步骤：

S6、焊接所述三面成型结构件，重复S1～S5。

8.如权利要求6所述的基于双目视觉的箱体检测方法，其特征在于，步骤S2中，所述工业相机位于第一腹板、第二腹板之间，工业相机的光轴指向测量单元的底板中心。

Images