CN114414487B - 一种二维与三维融合的圆钢表面成像系统 - Google Patents

Abstract

本发明提供一种二维与三维融合的圆钢表面成像系统，装置包括2D相机、3D相机；所述两种相机各6台在同一平面均匀分布在钢管的一周且一一对应，2D相机与竖直方向的夹角可调，3D相机角度竖直向下，拍摄范围和2D相机基本重合；2D相机成像采用两组分布在相机两侧的绿色环形光源进行照明，光源发光角度与圆钢的法线方向的夹角为20°～40°且采用明暗场照明方式进行二维图像成像；3D相机自带高亮度激光，通过激光三角反射式原理进行三维成像，成像范围覆盖整个钢管表面；本系统针对测量件的不同尺寸，设计有高精度调节机构，自动调整成像系统的高度；圆钢表面成像系统可同时获取圆钢表面的二维与三维图像，有利于提取圆钢表面缺陷特征。

Description

一种二维与三维融合的圆钢表面成像系统

技术领域

本发明涉及一种金属表面检测领域的设备与成像方式技术领域，尤其涉及一种二维与三维融合的圆钢表面成像系统。

背景技术

钢铁是国民经济命脉产业，圆钢作为一种特种钢材，是汽车、航空等工业制造重要的原材料，圆钢产品的质量决定了以其为原材料的工业制造产品质量。在圆钢生产过程中，其生产工艺流程复杂且较多，因扎制等工艺造成材裂纹、轧痕、翘皮、耳子、凹凸等表面缺陷。

当前，圆钢外表面缺陷检测还主要是人工检测，误差很大，不能全方位检测。而圆钢表面质量检测尤为重要，若能提前检测出缺陷，对生产质量问题进行预警并改进生产工艺能极大地保障圆钢生产质量。因此，圆钢表面缺陷检测实现自动化、信息化、智能化和钢铁制造深度融合，通过“少人化”、“自动化”、“高效率”、“高质量”，实现高效安全生产对提升企业产品竞争力具有重要意义。

随着钢铁生产线不断智能化，生产节奏不断提升，有必要设计用于圆钢表面缺陷在线检测的成像系统。但是，由于圆钢成像相较于普通钢板成像系统的设计更为复杂，结构设计需要更具有针对性、对成像质量的需求更高。首先，需要针对圆钢生产线进行环形成像系统结构设计、均匀分布在圆钢一周表面实现图像采集；其次，仅依靠单一的二维灰度图像很难判断凹凸、不平整等高度变化信息，而依靠三维图像数据可以有效判别三维缺陷，但是三维数图像据缺少对图像纹理等二维图像特征信息的表达。

发明内容

本发明实施例提供了一种二维与三维融合的圆钢表面成像系统，不仅可以同时获取圆钢表面的二维与三维图像又可以提高缺陷和无缺陷区域像素的对比度且可以测量缺陷的长宽高，能够使缺陷在图像中清晰可见，并获得圆钢表面的点云数据，以及缺陷的深度信息，为后续算法提取裂纹、轧痕、翘皮、耳子、凹凸等圆钢表面缺陷特征提供二维和三维数据。二维图像通过识别颜色、纹理、边缘信息特征等进行识别缺陷有无，3D图像则可以通过空间特征来判断出缺陷高度或者深度，二者的结合更好的检出裂纹，轧痕，翘皮，耳子，凹凸等缺陷。

为解决上述发明目的，本发明实施例提供的技术方案如下一种二维与三维融合的圆钢表面成像系统，包括机架、2D相机、3D相机和调节机构，在所述机架上安装有所述2D相机和所述3D相机；所述2D相机和3D相机在同一平面均匀分布在钢管的一周且一一对应；

所述2D相机与圆钢的法线之间的夹角可调，角度在5°～15°之间，所述2D相机成像采用两组环形LED光源进行照明，两组所述环形LED光源分布在所述2D相机的两侧，所述环形LED光源的发光角度与所述圆钢的法线向的夹角为20°～40°且采用明暗场照明方式，所述2D相机采集所述圆钢的二维图像；

所述3D相机拍摄范围和2D相机基本重合，激光照明角度竖直向下，钢管通过检测位置时，将激光投射在目标物表面形成漫反射通过激光三角反射式原理进行三维成像，成像范围覆盖整个钢管表面，所述3D相机采集所述圆钢的三维轮廓信息；

调节机构调节所述机架的高度，自动调整所述成像系统的高度。

示例性的，所述2D相机为4096pixels高分辨率的线扫描相机，所述2D相机有6台均布安装在2D相机安装固定支架上且相互成60°均匀分布在钢管的一周；所述3D相机有6台均安装在3D相机安装固定支架上，相互成60°均匀分布在钢管的一周；所述2D相机安装固定支架与所述3D相机安装固定支架均安装在所述机架上。

示例性的，所述环形LED光源采用绿色环型光源，两组所述环形LED光源独立频闪照明，两组所述环形LED光源包括环形光源A和环形光源B，所述环形光源A和所述环形光源B切换照明，所述环形光源A与所述圆钢的法线之间的夹角为20°、所述环形光源B与所述圆钢的法线之间的夹角为30°。

示例性的，所述2D相机安装与所述圆钢的法线的角度为5°，所述3D相机分别与两组所述环形光源成25°夹角。

示例性的，所述圆钢表面成像系统还包括激光线投影仪，所述激光线投影仪发出激光，激光角度与圆钢的法线平行，垂直投射于圆钢表面；激光被放大形成一条激光线投射到被测物体表面上，反射光透过高质量成像透镜；激光被投射到二维数字传感器(CMOS)，经过计算得到传感器到被测表面的距离(竖直方向Z轴)和沿着激光线的位置信息(水平方向X轴)。

示例性的，所述3D相机自带激光，所述3D相机发出激光，激光角度与圆钢的法线平行，垂直投射于圆钢表面；激光被放大形成一条激光线投射到被测物体表面上，反射光透过高质量成像透镜；激光被投射到二维数字传感器(CMOS)，经过计算得到传感器到被测表面的距离(竖直方向Z轴)和沿着激光线的位置信息(水平方向X轴)。

示例性的，所述3D相机获取圆钢表面三维点云数据，钢管在移动过程中，每隔一段距离进行一次轮廓测量，得到一组轮廓表面点云，将这些轮廓表面组成了圆钢表面3D片点云数据，将每片轮廓3D点云组合形成整个钢管表面3D点云。

示例性的，所述调节机构包括升降台，所述机架安装在所述升降台上，通过所述升降台自动调整成像系统的高度以适配轧件变径；

景深小于200mm，所述2D相机拍摄直径为100mm以下的钢管；2D相机的景深相对较小，调节设备的上升或者下降以改变工作距离，适应钢管的直径变化，工作距离越远则景深相对较大；3D相机的景深相对较大，得以适应钢厂正常生产的直径规格变化。

上述技术方案，与现有技术相比至少具有如下有益效果：

1、上述方案，设计二维与三维融合的成像系统，同时获取圆钢表面的二维与三维图像，可以充分利用颜色、纹理等二维图像特征与高度、深度等三维空间分布特征进行融合，更有助于提取裂纹、轧痕、翘皮、耳子、凹凸等圆钢表面缺陷特征。

2、设计所述环形绿光源、并采用明暗场照明方式，该照明方法可以有效提高圆钢表面二维图像的背景和缺陷像素灰度值的对比度，易于后续检测缺陷。

3、所述3D相机均匀分布在钢管、芯棒四周，检测范围覆盖整个钢管、芯棒表面，每隔一段距离进行一次表面测量，得到多片3D表面点云，这些3D点云片组成了整个圆钢表面3D点云，可以满足测量缺陷长宽高的需求。

4、针对测量钢管、芯棒的不同尺寸，本发明的所述高精度调节机构为自动升降模式，通过自动调整成像系统测量的高度可以适配轧件变径的需求和提升成像质量。

5、本发明可以同步实现二维图像数据和三维点云数据的获取，该成像系统获取的数据不仅给后续缺陷分析提供二维图像特征信息并提供缺陷的3D空间分布特征信息。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种二维与三维融合的圆钢表面成像系统结构图；

图2是本发明二维与三维融合的圆钢表面成像系统的实施例提供的绿色环形光源示意图：(a)绿色光源，(b)环形光源结构，(c)两组环形光源照明；

图3是本发明二维与三维融合的圆钢表面成像系统的实施例提供的3D相机高亮度激光示意图；

图4是本发明二维与三维融合的圆钢表面成像系统的实施例提供的二维相机固定支架结构示意图；

图5是本发明二维与三维融合的圆钢表面成像系统的实施例提供的场照明方式示意图；

图6是本发明二维与三维融合的圆钢表面成像系统的实施例提供的圆钢表面3D点云获取示意图，(a)3D相机点云成像原理，(b)圆钢3D点云成像效果；

图7是本发明二维与三维融合的圆钢表面成像系统的实施例提供的3D轮廓仪固定支架结构示意图；

图8是本发明二维与三维融合的圆钢表面成像系统的实施例提供的高精度调节机构示意图：(a)升降台装置(b)自动升降原理示意图。

附图标记：

1、2D相机；2、3D相机；3、LED光源；4、圆钢；5、法线；6、环形光源A；7、环形光源B；8、升降台；9、激光线；10、2D相机支架；11、明暗场；12、激光线投影仪；13、成像透镜；14、二维数字传感器；15、激光线图像；16、3D相机支架；

A不在同一中心线需要升降台；B在同一中心线不需要升降台。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

需要说明的是，本发明中使用的“上”、“下”、“左”、“右”“前”“后”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明针对如今市场上圆钢表面缺陷在线检测成像系统成像质量不高、仅依靠单一的二维或三位图像数据采集导致很难判断凹凸、不平整等高度变化信息或缺少对图像纹理等二维图像特征信息表达等问题提供了一种融合了二维成像与三维成像、能够测量缺陷长宽高、可以提升成像质量的二维与三维融合的圆钢表面成像系统。

如图1-8所示，本发明实施例提供了一种二维与三维融合的圆钢表面成像系统，包括机架、2D相机安装固定支架10、3D相机安装固定支架16、4096pixels分辨率的2D高分辨率线扫描相机1、3D相机2、高亮度环形LED光源3、高精度调节机构，本发明实施例设计的6台线扫描相机1进行二维图像成像、6套3D相机2采集圆钢表面三维轮廓信息。

本发明实施例提供的二维与三维融合的圆钢表面成像系统的2D相机1、3D相机2安装在各自固定支架上并在同一平面相互成60°均匀分布在钢管、芯棒的一周且一一对应，以便于拍摄钢管、芯棒的表面图像，提高采集效果；所述2D相机安装固定支架10与所述3D相机安装固定支架16均安装在所述机架上；所述2D相机1与圆钢4的法线方向夹角可调，角度在5°～15°之间，所述3D相机2激光照明角度竖直向下，拍摄范围和2D相机1基本重合。

所述2D相机二维图像成像采用两组分布在所述2D相机1两侧的绿色环形LED光源6和7进行独立频闪照明，所述照明光源发光角度与所述圆钢的法线5方向的夹角为20°～40°，每组光源与法线5有不同的夹角，两组环形LED光源包括环形光源A6和环形光源B7，所述环形光源A6和所述环形光源B7切换照明，其中所述环形光源A6与所述圆钢4的法线5之间的夹角为20°、所述环形光源B7与所述圆钢4的法线5之间的夹角为30°，所述2D相机1的拍摄角度与圆钢4的法线5之间夹角为5°～15°；本发明实施例所述环形光源6和7的发光角度与2D相机1形成明暗场照明；所述2D相机1安装与法线5角度为5°，使得所述相机分别与两组环形光源6和7成25°夹角；每台相机1拍摄钢管的六分之一，六个相机正好将整个钢管的表面拍摄完整；光源3发出的光线经过钢管反射，大部分光线进入相机1，由于有缺陷和无缺陷对光的反射不同，从而反映到相机1的灰度值不一样，缺陷更容易分辨。

所述6套3D相机2均匀的分布在钢管、芯棒四周，检测范围覆盖整个钢管、芯棒表面；所述3D相机2的高亮度激光，激光照明角度竖直向下，钢管通过检测位置时，将激光投射在目标物表面形成漫反射通过激光三角反射式原理进行三维成像；首先，通过激光线投影仪12发出激光，激光角度与圆钢4的法线5平行，垂直投射于圆钢4表面；然后，激光束被放大形成一条激光线9投射到被测物体表面上，反射光透过高质量成像透镜13；最后，激光束被投射到二维数字传感器(CMOS)14，经过计算得到传感器14到被测表面的距离(竖直方向Z轴)和沿着激光线9的位置信息(水平方向X轴)，且所述成像范围覆盖整个钢管表面。

所述3D相机2能够获取圆钢4表面三维点云数据，钢管在移动过程中，激光线9的位置及形状也跟着变化，每隔一段距离进行一次轮廓测量，得到一组轮廓表面点云，将这些轮廓表面组成了圆钢4表面3D片点云数据，将每片轮廓3D点云组合形成整个钢管表面的3D点云，从而测量出钢管的位移和形状，进而检测处缺陷的长宽深、就可以得到一组三维测量值。

本发明实施例的成像系统针对测量钢管、芯棒的不同尺寸，设计有高精度调节机构，机架安装在升降台8上，通过升降台8自动调整成像系统的高度以适配轧件变径。

对于2D相机1来说当景深小于200mm，所述2D相机1拍摄直径为100mm以下的钢管时，相机清晰成像；当拍摄直径大于300mm的钢管时，此时成像不清晰，则通过所述高精度调节机构来满足300mm以上的圆钢4成像需求。钢管直径变化范围226mm，2D相机1需要在100mm内的调节范围来适应钢管直径的变化。2D相机1的景深相对较小，调节设备的上升或者下降以改变工作距离，适应钢管的直径变化，工作距离越远则景深相对较大；3D相机2的景深相对较大，得以适应钢厂正常生产的直径规格变化。

本发明实施例提供的一种二维与三维融合的圆钢4表面成像系统，能够同时同时获取圆钢4表面的二维图像数据和三维点云数据，可以充分利用颜色、纹理等二维图像特征与高度、深度等三维空间分布特征进行融合，更有助于提取圆钢4表面缺陷特征，给后续缺陷分析提供二维图像特征信息和3D空间分布特征信息，且本成像系统采用环形绿色光源及明暗场照明方式能够有效提高圆钢4表面二维图像的背景和缺陷像素灰度值的对比度，易于后续检测缺陷；本成像系统的3D相机2检测范围覆盖整个钢管、芯棒表面且能够获取圆钢4表面三维点云数据从而满足测量缺陷长宽高的需求；本成像系统还可以针对测量件的不同尺寸，使自动升降模式的高精度调节机构调整成像系统测量的高度以适配轧件变径的需求和提升成像质量。

本发明的一种二维与三维融合的圆钢表面成像系统的工作过程如下：

实施例1：

如图1所示，在一种圆钢钢管的生产过程中，需要对其表面质量进行检测，主要影响圆钢表面质量的缺陷有裂纹、轧痕、翘皮、耳子、凹凸等圆钢表面缺陷。首先，针对圆钢检测表面成像的需求、以及圆钢表面成像像素灰白等特点，进行二维与三维的成像照明设计；然后分别进行二维成像方式设计与3D轮廓点云获取方式设计；最后，针对多种生产规格、型号钢管的生产需求，设计高精度调节机构；具体地，还包括以下步骤：

步骤1，如图2所示，实际圆钢表面成像过程中，对于二维检测部分来说为解决圆柱面的成像，则光源的照明方式也是弧面，并且与水平面有一点夹角，故采用环形光源进行打光照明，同时光源分为两组进行独立频闪照明，防止光源对另一侧的相机造成光照干扰，每组光源与法线有不同的夹角，环形光源A和环形光源B切换照明，环形光源A与圆钢的法线之间的夹角为β＝20°、环形光源B与圆钢的法线之间的夹角为α＝30°其；每组光源进行切换照明，短时间内两组光源分别照明，相机进行多次拍摄，从而获取更多的拍摄图片，可以提高表面成像质量。

步骤2，如图3所示，3D相机的高亮度激光线，激光角度竖直向下。

步骤3，如图4所示，设计相机固定支架用于固定6个线扫描相机，每个相机拍摄钢管的六分之一，六个相机正好将整个钢管的表面拍摄完整；其中，6台线扫描相机为4096pixels高分辨率的线扫描相机，并均匀分布在钢管的一周，以便于拍摄钢管、芯棒的表面图像，提高采集效果。

步骤4，如图5所示，成像采用明暗场照明方式，其中光源面与圆钢的法线角度为20°，所述2D相机与法线角度为5°；光源发出的光线经过钢管反射，大部分光线进入相机，由于有缺陷和无缺陷对光的反射不同，从而反映到相机的灰度值不一样，这样可以提高缺陷和无缺陷区域像素的对比度，易于后续检测缺陷。

步骤5，如图6所示，采用3D相机进行三维点云数据的获取；3D相机点云获取原理如图6(a)所示，首先，通过激光线投影仪发出激光；然后，激光束被放大形成一条激光线投射到被测物体表面上，反射光透过高质量成像透镜；最后，激光束被投射到二维数字传感器(CMOS)，经过计算得到传感器到被测表面的距离(竖直方向Z轴)和沿着激光线的位置信息(水平方向X轴)；如图6(b)所示，钢管在移动过程中，每隔一段距离进行一次轮廓测量，得到一组轮廓表面点云，将这些轮廓表面组成了圆钢表面3D片点云数据，将每片轮廓3D点云组合形成整个钢管表面3D点云。

步骤6，如图7所示，设计3D相机安装固定支架，采用6套3D相机获取圆钢表面3D点云，所述6个3D相机均匀分布在钢管四周，检测范围覆盖整个钢管表面；2D相机安装固定支架与3D相机安装固定支架均安装在机架上，钢管通过检测位置时，将激光投射在目标物表面形成漫反射，并通过激光三角反射式原理进行三维成像。

步骤7，如图8所示，在圆钢生产过程中，会涉及生产型号需求不同的情况，为满足生产需求，设计高精度调节机构用于调整成像系统；针对测量钢管、芯棒的不同尺寸，升降台自动调整成像系统的高度，通过调整高度来适配轧件变径；不同尺寸的钢管、芯棒，其最下面的素线位置相同，导致不同尺寸的钢管、芯棒的轴线位置不同，同时，对于2D相机来说，景深小于200mm，当相机拍摄直径为100mm以下的钢管时，相机清晰成像；当直径大于300mm的钢管时，钢管、芯棒的轴线位置与2D相机、3D相机均匀围城一周后形成的轴线位置不重合，此时成像不清晰，则通过整体设备移动来适应300mm以上的钢管拍摄；2D相机的景深相对较小，调节设备的上升或者下降以改变工作距离，适应钢管的直径变化，工作距离越远则景深相对较大；3D相机的景深相对较大，得以适应钢厂正常生产的直径规格变化。

有以下几点需要说明：

(1)本发明实施例附图只涉及到与本发明实施例涉及到的结构，其他结构可参考通常设计。

(2)为了清晰起见，在用于描述本发明的实施例的附图中，层或区域的厚度被放大或缩小，即这些附图并非按照实际的比例绘制。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”或者可以存在中间元件。

(3)在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，本发明的保护范围应以权利要求的保护范围为准。

Claims (1)

1.一种二维与三维融合的圆钢表面成像系统，其特征在于，包括机架、2D相机、3D相机和调节机构，在所述机架上安装有所述2D相机和所述3D相机；所述2D相机和3D相机在同一平面均匀分布在钢管的一周且一一对应，所述钢管的法线与所述2D相机和3D相机形成的平面垂直；

所述2D相机与圆钢的法线之间的夹角可调，角度在5°～15°之间，所述2D相机成像采用两组环形LED光源进行照明，两组所述环形LED光源分布在所述2D相机的两侧，所述环形LED光源的发光角度与所述圆钢的法线向的夹角为20°～40°且采用明暗场照明方式，所述2D相机采集所述圆钢的二维图像；

所述3D相机拍摄范围和2D相机基本重合，激光照明角度竖直向下，钢管通过检测位置时，将激光投射在目标物表面形成漫反射通过激光三角反射式原理进行三维成像，成像范围覆盖整个钢管表面，所述3D相机采集所述圆钢的三维轮廓信息；

调节机构调节所述机架的高度，自动调整所述成像系统的高度；

所述2D相机为4096pixels高分辨率的线扫描相机，所述2D相机有6台均布安装在2D相机安装固定支架上且相互成60°均匀分布在钢管的一周；所述3D相机有6台均安装在3D相机安装固定支架上，相互成60°均匀分布在钢管的一周；所述2D相机安装固定支架与所述3D相机安装固定支架均安装在所述机架上；

所述环形LED光源采用绿色环型光源，光源的照明方式是弧面，两组所述环形LED光源独立频闪照明，两组所述环形LED光源包括环形光源A和环形光源B，所述环形光源A和所述环形光源B切换照明，所述环形光源A与所述圆钢的法线之间的夹角为20°、所述环形光源B与所述圆钢的法线之间的夹角为30°；

所述2D相机安装与所述圆钢的法线的角度为5°，所述3D相机分别与两组所述环形光源成25°夹角；

所述圆钢表面成像系统还包括激光线投影仪，所述激光线投影仪发出激光，激光角度与圆钢的法线平行，垂直投射于圆钢表面；激光被放大形成一条激光线投射到被测物体表面上，反射光透过高质量成像透镜；激光被投射到二维数字传感器，二维数字传感器记为CMOS，经过计算得到和沿着激光线的位置信息，传感器到被测表面的距离记为竖直方向Z轴，沿着激光线的位置信息记为水平方向X轴；

所述3D相机自带激光，所述3D相机发出激光，激光角度与圆钢的法线平行，垂直投射于圆钢表面；激光被放大形成一条激光线投射到被测物体表面上，反射光透过高质量成像透镜；激光被投射到二维数字传感器，经过计算得到传感器到被测表面的距离和沿着激光线的位置信息；

所述3D相机获取圆钢表面三维点云数据，钢管在移动过程中，每隔一段距离进行一次轮廓测量，得到一组轮廓表面点云，将这些轮廓表面组成了圆钢表面3D片点云数据，将每片轮廓3D点云组合形成整个钢管表面3D点云，测量出钢管的位移和形状，检测处缺陷的长宽深；

所述调节机构包括升降台，所述机架安装在所述升降台上，通过所述升降台自动调整成像系统的高度以适配轧件变径；

景深小于200mm，所述2D相机拍摄直径为100mm以下的钢管；2D相机的景深相对较小，调节设备的上升或者下降以改变工作距离，适应钢管的直径变化，工作距离越远则景深相对较大；3D相机的景深相对较大，得以适应钢厂正常生产的直径规格变化。