CN106735995A - 基于爬行器的焊缝自动跟踪方法及装置 - Google Patents
基于爬行器的焊缝自动跟踪方法及装置 Download PDFInfo
- Publication number
- CN106735995A CN106735995A CN201611129706.3A CN201611129706A CN106735995A CN 106735995 A CN106735995 A CN 106735995A CN 201611129706 A CN201611129706 A CN 201611129706A CN 106735995 A CN106735995 A CN 106735995A
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- line
- crawl device
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
- B23K31/125—Weld quality monitoring
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出了一种基于爬行器的焊缝自动跟踪方法及装置，该方法包括：进行摄像机标定，获取爬行器的摄像机的校准参数矩阵；分别获取摄像机在第一时刻的第一图像与第二时刻的第二图像，根据校准参数矩阵和Hough变换对第一图像与第二图像进行校准，获得第一图像中的激光指示线的标准线并计算激光指示线到标准线的距离最大的点的位置坐标P1，获得第二图像中的激光指示线的标准线并计算激光指示线到标准线的距离最大的点的位置坐标P2；根据P1、P2的位置坐标以及第一时刻与第二时刻的时间差，计算爬行器行进的偏差方向与距离；根据偏差方向与距离调整爬行器在下一时刻的爬行方向与距离，实现对被测焊缝的自动跟踪。
Description
技术领域
本发明涉及仪器检测领域，尤其涉及一种基于爬行器的焊缝自动跟踪方法及装置。
背景技术
随着船舶向大型化发展，大合拢焊缝的质量对船体安全的影响越来越明显。现有的对焊缝的检查方案是通过使用扫查器对焊缝进行检测，扫查器在结构上包括爬行器与焊缝检测装置，国内外的扫查器焊缝自动跟踪功能均需要提前沿大合拢焊缝搭建脚手架，以便于沿焊缝安装导向装置，这样需要大量使用人力物力，并耽误时间。而且，现有的扫查器上的导向装置一般采用吸力比较弱的橡胶磁条，在遇到障碍跑偏时，爬行器会把磁条带动，造成该部位检测结果有误，并且在通过一些稍微明显的障碍时，单一驱动轮受阻，整个爬行器就严重跑偏；双驱动轮同时遇到障碍时，容易停滞不前，整体越障效果较差。
而且目前在船舶制造检验过程中，由于大合拢焊缝的位置检测人员不易达到，需要搭建脚手架，存在不安全因素。
因此，现有扫查器的焊缝自动跟踪技术已无法满足船舶制造业的要求。
发明内容
为了解决现有扫查器使用不便、易跑偏、易停滞的问题，本发明提出了一种基于爬行器的焊缝自动跟踪方法及装置。
为了达到上述目的，本发明提出了一种基于爬行器的焊缝自动跟踪方法，用以实现对被测焊缝的自动跟踪，包括：进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵；获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1；获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2；根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离；根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。
为了达到上述目的，本发明还提出了一种基于爬行器的焊缝自动跟踪装置，用以实现对被测焊缝的自动跟踪，包括：校准参数矩阵获取模块，用于进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵；第一图像坐标计算模块，用于获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1；第二图像坐标计算模块，用于获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2；偏差方向及距离计算模块，用于根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离；爬行调整模块，用于根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。
本发明的有益效果在于，通过利用爬行器的摄像机采集到的带有激光指示线的图像数据进行分析，得到自动扫查器与焊缝的相对位置，对爬行器的爬行方向与距离进行调整，改变运动轨迹，从而实现对被测焊缝的自动跟踪。本发明实施例不仅使用方便，无需搭建脚手架，而且解决了爬行器易跑偏、易停滞的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于爬行器的焊缝自动跟踪方法的流程图。
图2为本发明实施例的获取位置坐标P1的流程图。
图3为本发明实施例的获取位置坐标P2的流程图。
图4为本发明实施例的计算所述爬行器行进的偏差方向与距离的流程图。
图5为本发明实施例的计算爬行器行进的偏差方向与距离的爬行器位置示意图。
图6为本发明实施例的计算所述爬行器的横向偏移距离的流程图。
图7为本发明实施例的基于爬行器的焊缝自动跟踪装置的结构示意图。
图8为本发明实施例的第一图像坐标计算模块的结构示意图。
图9为本发明实施例的第二图像坐标计算模块的结构示意图。
图10为本发明实施例的偏差方向及距离计算模块的结构示意图。
图11为本发明实施例的横向偏移计算单元的结构示意图。
图12为本发明实施例的同步带驱动轮组的结构示意图。
图13为本发明实施例的磁性轮的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域相关技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护的范围。
图1为本发明实施例的基于爬行器的焊缝自动跟踪方法的流程图。结合图1所示，本实施例提出了一种基于爬行器的焊缝自动跟踪方法，包括：
S100，进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵；
S200，获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1；
S300，获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2；
S400，根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离；
S500，根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。
通过图1的实施例，可以看出，本发明通过对爬行器的摄像机进行标定，获取校准参数矩阵，在后续步骤中，对摄像机拍摄的图像利用校准参数矩阵进行校准后，得到校准图像，并且计算将校准图像中激光指示线的标准线，通过将标准线与校准后图像中的激光指示线进行对比，找出激光指示线中相对于标准线的像素差最大位置P1。在此提到的标准线为通过相应算法对校准后图像中激光指示线进行拉直后，得到的直线。按照同样的方法，对摄像机拍摄的第二时刻拍摄的第二图像也进行运算，提取并得到像素差最大位置P2。得到P1、P2的位置坐标后，结合两图像的拍摄时间差计算出爬行器的偏差方向与距离，并且据此调整爬行器在下一时刻的爬行方向与距离，在纠正第一时刻至第二时刻的爬行偏差方向与距离后，进入下一时刻，执行同样的操作，如此往复从而实现对整个焊缝的自动跟踪。
具体实施时，在步骤S100中，进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵，可以按照现有软件算法实现对爬行器摄像机的标定，例如Opencv视觉库。本步骤的主要目的是获取校准参数矩阵，以方便后续采取图像的校正。在进行摄像机标定过程中，具体的实施手段可以为：首先，使用摄像机拍摄标准板，该标准板的具体规格可以通过实验获得；然后，将摄像机拍摄得到的标准板图像进行径向畸变与切向畸变的校准，校准前后图像中各点像素关系对应如下：
其中，X、Y、Z为校准前拍摄标准板图像中像素的坐标，x、y、w为校准后拍摄的标准板图像中像素的坐标，上式中间3x3矩阵即为摄像机的校准参数矩阵。在后续摄像头拍摄过程中，可以利用该矩阵对拍摄图像进行校准，无须每拍摄一张图像进行重新使用标准板对图像进行一次校准。仅需要使用该校准参数矩阵对拍摄后的图像进行运算即可实现消除镜头畸变的作用，进而可以增加后续步骤运算的精确性。
具体实施时，在步骤S200中，获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1，如图2所示，包括：
S210，获取所述摄像机拍摄的含有激光指示线的在第一时刻的第一图像；
S220，根据所述校准参数矩阵对所述第一图像进行校准，获得第一校准图像；
S230，对第一校准图像进行Hough变换，获得所述激光指示线的标准线；
S240，根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P1的坐标。
在步骤S210中，获取所述摄像机拍摄的含有激光指示线的在第一时刻的第一图像。固定于爬行器的摄像机通过拍摄含有激光指示线的图像确定第一图像。
在步骤S220中，根据所述校准参数矩阵对所述第一图像进行校准，获得第一校准图像。由于摄像机拍摄的第一图像受到镜头成像因素的影像，图像产生了镜头畸变，所以为了保证后续计算的精确，在此利用校准参数矩阵对第一图像进行补偿，得到校准后的第一校准图像。
在步骤S230中，对第一校准图像进行Hough变换，获得所述激光指示线的标准线。在进行此步骤之前，可以先对第一校准图像进行优化，将第一校准图像中激光指示线的颜色转化为黑色，其他颜色转化为白色，然后通过Hough变换更精确地提取出激光指示线的标准线。
在步骤S240中，根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P1的坐标。由于激光指示线是照射到焊缝上的，并且焊缝表面凹凸不平，所以在第一校准图像中激光指示线为一曲线并非一平滑的直线。计算激光指示线上的点到标准线的距离，选定激光指示线上到标准线最大距离的点为P1。
具体实施时，在步骤S300中，获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1，如图3所示，包括：
S310，获取所述摄像机拍摄的含有激光指示线的在第二时刻的第二图像；
S320，根据所述校准参数矩阵对所述第二图像进行校准，获得第二校准图像；
S330，对第二校准图像进行Hough变换，获得所述激光指示线的标准线；
S340，根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P2的坐标。
在步骤S310中，获取所述摄像机拍摄的含有激光指示线的在第二时刻的第二图像。固定于爬行器的摄像机通过拍摄含有激光指示线的图像确定第二图像。
在步骤S320中，根据所述校准参数矩阵对所述第二图像进行校准，获得第二校准图像。由于摄像机拍摄的第二图像受到镜头成像因素的影像，图像产生了镜头畸变，所以为了保证后续计算的精确，在此利用校准参数矩阵对第二图像进行补偿，得到校准后的第二校准图像。
在步骤S330中，对第一校准图像进行Hough变换，获得所述激光指示线的标准线。在进行此步骤之前，可以先对第二校准图像进行优化，将第二校准图像中激光指示线的颜色转化为黑色，其他颜色转化为白色，然后再通过Hough变换更精确地提取出激光指示线的标准线。
在步骤S340中，根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P2的坐标。由于激光指示线是照射到焊缝上的，并且焊缝表面凹凸不平，所以在第二校准图像中激光指示线为一曲线并非一平滑的直线。计算激光指示线上的点到标准线的距离，选定激光指示线上到标准线最大距离的点为P2。
具体实施时，在步骤S400中，根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离，如图4所示，包括：
S410，根据P1、P2的位置坐标，计算所述爬行器的横向偏移距离；
S420，根据爬行器的速度与所述第一时刻与第二时刻的时间差，计算所述爬行器的纵向偏移距离；
S430，根据所述横向偏移距离与纵向偏移距离，计算所述爬行器行进的偏差方向与距离。
图5为本发明实施例的计算爬行器行进的偏差方向与距离的爬行器位置示意图，为了方便对步骤S410至S430的描述，请参照图4、图5所示。
在步骤S410中，根据P1、P2的位置坐标，计算所述爬行器的横向偏移距离。通过计算出摄像机坐标、图像坐标以及世界坐标的映射关系，获得参数矩阵，从而根据二维图像信息上的点获得对应点空间位置。
如图6所示，在实施步骤S410过程中，具体实施步骤包括如下步骤：
S411，获取摄像机坐标系与世界坐标系转换的M1参数矩阵、摄像机坐标系与图像坐标系转换的M2参数矩阵；世界坐标系可以选取在环境中的任何位置，用于描述环境中任意物体的位置；摄像机坐标系的圆点选取为摄像机光心，Z轴与摄像机的光轴重合，X、Y与图像坐标的u、v轴平行。摄像机坐标系和世界坐标系之间的关系可以用旋转矩阵R和平移向量T来进行描述，因此空间中点P在世界坐标系和摄像机坐标系存在如下关系：
其中，x、y、z为摄像机坐标系的坐标，X、Y、Z为世界坐标系的坐标，所以在测得空间中点P的坐标与摄像机坐标系中对应点的坐标前提下，可以通过上式计算得到M1参数矩阵。
同样的，摄像机坐标系中的点在图像坐标系中存在如下关系：
其中，x、y、z为摄像机坐标系的坐标，u、v为图像坐标系的坐标，所以在测得摄像机坐标系中的点P的坐标与图像坐标系中对应点的坐标前提下，可以通过上式计算得到M2参数矩阵。
S412，根据所述M1参数矩阵与M2参数矩阵，计算所述图像坐标系中单个像素点对应世界坐标系的距离。M1参数矩阵可以反映世界坐标系和摄像机坐标系的对应关系，M2参数矩阵可以反映图像坐标系和摄像机坐标系的对应关系，所以联立M1与M2参数矩阵，可以得到图像坐标系与世界坐标系的关系，进而可以计算出像坐标系中单个像素点对应世界坐标系的距离。在获取单个像素点对应世界坐标系中的距离后，主要目的是通过计算图像中两个目标点P1、P2的像素差，得出对应世界坐标系中的距离。
S413，获取图像中所述P1、P2的横向坐标，计算所述P1与P2之间像素点的差值；
S414，根据所述图像坐标系中单个像素点对应世界坐标系的距离与所述P1与P2之间像素点的差值，计算P1与P2相对于所述世界坐标系的实际距离，所述实际距离为所述横向偏移距离。在步骤S412中，已经获得了单个像素点对应世界坐标系中的距离，进而通过测量所述P1、P2的横向坐标的差，就可以通过单个像素对应距离乘以两点横向坐标的像素差得到所述P1、P2的在爬行器横向上的实际距离。
在步骤S420中，根据爬行器的速度与所述第一时刻与第二时刻的时间差，计算所述爬行器的纵向偏移距离。由于在摄像机在第一时刻与第二时刻拍摄时，爬行器一直处于运动状态，所以在获得第一时刻与第二时刻的时间差，即可通过速度、时间以及位移的关系，得到爬行器在纵向上的偏移距离。
在步骤S430中，根据所述横向偏移距离与纵向偏移距离，计算所述爬行器行进的偏差方向与距离。根据横向偏移距离与纵向偏移距离相互垂直的关系，且通过直角三角形的三边关系以及正切公式，可以计算得到：爬行器的偏差方向的角度θ＝arctan(横向偏移距离/纵向偏移距离)；偏差距离＝sqrt(横向偏移距离^2+纵向偏移距离^2)。
具体实施时，在步骤S500中，在得到爬行偏差方向与偏差距离后，根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。具体调整方式可以为，调整爬向器爬行方向，使之与计算出的偏差方向相反，爬行距离与偏差距离相等。
在此强调的是，本发明的第一时刻与第二时刻之间的时间间隔，具体实施时技术人员可以对该时间间隔进行调整以适应不同需求。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的基于爬行器的焊缝自动跟踪装置进行介绍。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”和“单元”，可以是实现预定功能的软件和/或硬件。尽管以下实施例所描述的模块较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
如图7所示，基于爬行器的焊缝自动跟踪装置，用以实现对被测焊缝的自动跟踪，包括：
校准参数矩阵获取模块100，用于进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵；
第一图像坐标计算模块200，用于获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1；
第二图像坐标计算模块300，用于获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2；
偏差方向及距离计算模块400，用于根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离；
爬行调整模块500，用于根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。
具体实施过程中，如图8所示，第一图像坐标计算模块200包括：
第一图像获取单元210，用于获取所述摄像机拍摄的含有激光指示线的在第一时刻的第一图像；
第一校准图像获取单元220，用于根据所述校准参数矩阵对所述第一图像进行校准，获得第一校准图像；
第一标准线计算单元230，用于对第一校准图像进行Hough变换，获得所述激光指示线的标准线；
第一坐标计算单元240，用于根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P1的坐标。
具体实施过程中，如图9所示，第二图像坐标计算模块300包括：
第二图像获取单元310，用于获取所述摄像机拍摄的含有激光指示线的在第二时刻的第二图像；
第二校准图像获取单元320，用于根据所述校准参数矩阵对所述第二图像进行校准，获得第二校准图像；
第二标准线计算单元330，用于对第二校准图像进行Hough变换，获得所述激光指示线的标准线；
第二坐标计算单元340，用于根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P2的坐标。
在此说明的是虽然本实施方式对第一图像坐标计算模块200与第二图像获取模块300分别进行了描述，但不代表在实现方式上该两者必须相对地独立，也可以通过使用一个图像坐标获取模块对第一图像与第二图像进行先后处理，以起到同样的效果。
具体实施过程中，如图10所示，偏差方向及距离计算模块400包括：
横向偏移计算单元410，用于根据所述P1、P2的位置坐标，计算所述爬行器的横向偏移距离；
纵向偏移计算单元420，用于根据爬行器的速度与所述第一时刻与第二时刻的时间差，计算所述爬行器的纵向偏移距离；
偏差计算单元430，用于根据所述横向偏移距离与纵向偏移距离，计算所述爬行器行进的偏差方向与距离。
具体实施过程中，如图11所示，横向偏移计算单元410包括：
转换矩阵获取单元411，用于获取摄像机坐标系与世界坐标系转换的M1参数矩阵、摄像机坐标系与图像坐标系转换的M2参数矩阵；
像素距离计算单元412，用于根据所述M1参数矩阵与M2参数矩阵，计算所述图像坐标系中单个像素点对应世界坐标系的距离；
像素差值计算单元413，用于获取图像中所述P1、P2的横向坐标，计算所述P1与P2之间像素点的差值；
实际距离计算单元414，用于根据所述图像坐标系中单个像素点对应世界坐标系的距离，计算P1与P2相对于所述世界坐标系的实际距离，所述实际距离为所述横向偏移距离。
此外，尽管在上文详细描述中提及了基于爬行器的焊缝自动跟踪装置的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。
本发明更提供了一种爬行器，其包含有前述的基于爬行器的焊缝自动跟踪装置，在具体实施过程中，如图12所示，爬行器通过同步带驱动轮组进行爬行，所述同步带驱动轮组的每个轮子通过同步带与主动轮相连。图12中所示的同步带驱动轮组为爬行器同一侧的驱动轮组，中央与同步带连接的为主动轮，通过主动轮带动驱动轮，实现爬行动作，当需要调整爬行方向时，两侧的驱动电机的对转速进行调整，形成左右两侧驱动轮的转速差，从而实现转向。又因为传动带具有传动比精确的特点，同一侧的驱动轮具有统一传动速度。从而从根本上解决了单一驱动轮受阻时，整个爬行器就严重跑偏的问题。
具体实施过程中，如图13所示，所述爬行器采用磁性轮作为驱动轮，并且所述磁性轮表面反转同步带。磁性轮采用磁铁和同步带组合，增大了摩擦力的同时，由于磁铁对焊缝表面脱落的铁屑进行吸附，将铁屑吸附于传动带的槽中，不仅容易清理，而且减少由于铁屑附着在驱动轮表面产生驱动轮停滞的几率。
本发明的有益效果在于，通过利用爬行器的摄像机采集到的带有激光指示线的图像数据进行分析，得到自动扫查器与焊缝的相对位置，对爬行器的爬行方向与距离进行调整，改变运动轨迹，从而实现对被测焊缝的自动跟踪。本发明实施例不仅使用方便，无需搭建脚手架，而且解决了爬行器易跑偏、易停滞的问题。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于爬行器的焊缝自动跟踪方法，用以实现对被测焊缝的自动跟踪，其特征在于，包括：
进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵；
获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1；
获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2；
根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离；
根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。
2.根据权利要求1所述的基于爬行器的焊缝自动跟踪方法，其特征在于，所述获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1，包括：
获取所述摄像机拍摄的含有激光指示线的在第一时刻的第一图像；
根据所述校准参数矩阵对所述第一图像进行校准，获得第一校准图像；
对第一校准图像进行Hough变换，获得所述激光指示线的标准线；
根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P1的坐标。
3.根据权利要求1所述的基于爬行器的焊缝自动跟踪方法，其特征在于，所述获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2，包括：
获取所述摄像机拍摄的含有激光指示线的在第二时刻的第二图像；
根据所述校准参数矩阵对所述第二图像进行校准，获得第二校准图像；
对第二校准图像进行Hough变换，获得所述激光指示线的标准线；
根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P2的坐标。
4.根据权利要求1所述的基于爬行器的焊缝自动跟踪方法，其特征在于，所述根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离，包括：
根据所述P1、P2的位置坐标，计算所述爬行器的横向偏移距离；
根据爬行器的速度与所述第一时刻与第二时刻的时间差，计算所述爬行器的纵向偏移距离；
根据所述横向偏移距离与纵向偏移距离，计算所述爬行器行进的偏差方向与距离。
5.根据权利要求4所述的基于爬行器的焊缝自动跟踪方法，其特征在于，所述根据所述P1、P2的位置坐标，计算所述爬行器的横向偏移距离，包括：
获取摄像机坐标系与世界坐标系转换的M1参数矩阵、摄像机坐标系与图像坐标系转换的M2参数矩阵；
根据所述M1参数矩阵与M2参数矩阵，计算所述图像坐标系中单个像素点对应世界坐标系的距离；
获取图像中所述P1、P2的横向坐标，计算所述P1与P2之间像素点的差值；
根据所述图像坐标系中单个像素点对应世界坐标系的距离与所述P1与P2之间像素点的差值，计算P1与P2相对于所述世界坐标系的实际距离，所述实际距离为所述横向偏移距离。
6.一种基于爬行器的焊缝自动跟踪装置，用以实现对被测焊缝的自动跟踪，其特征在于，包括：
校准参数矩阵获取模块，用于进行摄像机标定，获取所述爬行器的摄像机的校准参数矩阵；
第一图像坐标计算模块，用于获取所述摄像机在第一时刻拍摄的第一图像，根据所述校准参数矩阵和Hough变换对所述第一图像进行校准，获得所述第一图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P1；
第二图像坐标计算模块，用于获取所述摄像机在第二时刻拍摄的第二图像，根据所述校准参数矩阵和Hough变换对所述第二图像进行校准，获得所述第二图像中的激光指示线的标准线并计算所述激光指示线到所述标准线的距离最大的点的位置坐标P2；
偏差方向及距离计算模块，用于根据所述P1、P2的位置坐标以及所述第一时刻与第二时刻的时间差，计算所述爬行器行进的偏差方向与距离；
爬行调整模块，用于根据所述偏差方向与距离调整所述爬行器在下一时刻的爬行方向与距离，实现对所述被测焊缝的自动跟踪。
7.根据权利要求6所述的基于爬行器的焊缝自动跟踪装置，其特征在于，所述第一图像坐标计算模块，包括：
第一图像获取单元，用于获取所述摄像机拍摄的含有激光指示线的在第一时刻的第一图像；
第一校准图像获取单元，用于根据所述校准参数矩阵对所述第一图像进行校准，获得第一校准图像；
第一标准线计算单元，用于对第一校准图像进行Hough变换，获得所述激光指示线的标准线；
第一坐标计算单元，用于根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P1的坐标。
8.根据权利要求6所述的基于爬行器的焊缝自动跟踪装置，其特征在于，所述第二图像坐标计算模块，包括：
第二图像获取单元，用于获取所述摄像机拍摄的含有激光指示线的在第二时刻的第二图像；
第二校准图像获取单元，用于根据所述校准参数矩阵对所述第二图像进行校准，获得第二校准图像；
第二标准线计算单元，用于对第二校准图像进行Hough变换，获得所述激光指示线的标准线；
第二坐标计算单元，用于根据点到直线距离的计算公式，计算所述激光指示线到所述标准线的距离最大点P2的坐标。
9.根据权利要求6所述的基于爬行器的焊缝自动跟踪装置，其特征在于，所述偏差方向及距离计算模块，包括：
横向偏移计算单元，用于根据所述P1、P2的位置坐标，计算所述爬行器的横向偏移距离；
纵向偏移计算单元，用于根据爬行器的速度与所述第一时刻与第二时刻的时间差，计算所述爬行器的纵向偏移距离；
偏差计算单元，用于根据所述横向偏移距离与纵向偏移距离，计算所述爬行器行进的偏差方向与距离。
10.根据权利要求9所述的基于爬行器的焊缝自动跟踪装置，其特征在于，所述横向偏移计算单元包括：
转换矩阵获取单元，用于获取摄像机坐标系与世界坐标系转换的M1参数矩阵、摄像机坐标系与图像坐标系转换的M2参数矩阵；
像素距离计算单元，用于根据所述M1参数矩阵与M2参数矩阵，计算所述图像坐标系中单个像素点对应世界坐标系的距离；
像素差值计算单元，用于获取图像中所述P1、P2的横向坐标，计算所述P1与P2之间像素点的差值；
实际距离计算单元，用于根据所述图像坐标系中单个像素点对应世界坐标系的距离，计算P1与P2相对于所述世界坐标系的实际距离，所述实际距离为所述横向偏移距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611129706.3A CN106735995B (zh) | 2016-12-09 | 2016-12-09 | 基于爬行器的焊缝自动跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611129706.3A CN106735995B (zh) | 2016-12-09 | 2016-12-09 | 基于爬行器的焊缝自动跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106735995A true CN106735995A (zh) | 2017-05-31 |
| CN106735995B CN106735995B (zh) | 2018-11-30 |
Family
ID=58875710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611129706.3A Active CN106735995B (zh) | 2016-12-09 | 2016-12-09 | 基于爬行器的焊缝自动跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106735995B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107367463A (zh) * | 2017-07-04 | 2017-11-21 | 九江学院 | 一种基于爬行机器人的激光超声检测系统及其方法 |
| CN109227007A (zh) * | 2018-09-20 | 2019-01-18 | 北京博清科技有限公司 | 基于姿态传感器的焊接爬行机车身跟踪方法及系统 |
| CN113551599A (zh) * | 2021-07-22 | 2021-10-26 | 江苏省特种设备安全监督检验研究院 | 一种基于结构光导向的焊缝位置偏差视觉跟踪方法 |
| CN114147389A (zh) * | 2021-11-05 | 2022-03-08 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
| CN114147389B (zh) * | 2021-11-05 | 2024-06-04 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4812614A (en) * | 1987-02-26 | 1989-03-14 | Industrial Technology Research Institute | Machine vision seam tracking method and apparatus for welding robots |
| JPH09141438A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Heavy Ind Ltd | 上向き自動溶接装置 |
| KR20070006026A (ko) * | 2005-07-07 | 2007-01-11 | 삼성중공업 주식회사 | 곡주판 레이져 비젼 장치 및 그 구현 방법 |
| CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人系统标定方法 |
| CN104897051A (zh) * | 2014-03-03 | 2015-09-09 | 卡尔蔡司显微镜有限责任公司 | 用于对数码显微镜进行测量校准的校准板及其使用方法 |
| CN106066185A (zh) * | 2016-05-24 | 2016-11-02 | 华南理工大学 | 一种面向焊缝跟踪的线激光传感器自动标定装置及方法 |
-
2016
- 2016-12-09 CN CN201611129706.3A patent/CN106735995B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4812614A (en) * | 1987-02-26 | 1989-03-14 | Industrial Technology Research Institute | Machine vision seam tracking method and apparatus for welding robots |
| JPH09141438A (ja) * | 1995-11-17 | 1997-06-03 | Mitsubishi Heavy Ind Ltd | 上向き自動溶接装置 |
| KR20070006026A (ko) * | 2005-07-07 | 2007-01-11 | 삼성중공업 주식회사 | 곡주판 레이져 비젼 장치 및 그 구현 방법 |
| CN102794763A (zh) * | 2012-08-31 | 2012-11-28 | 江南大学 | 基于线结构光视觉传感器引导的焊接机器人系统标定方法 |
| CN104897051A (zh) * | 2014-03-03 | 2015-09-09 | 卡尔蔡司显微镜有限责任公司 | 用于对数码显微镜进行测量校准的校准板及其使用方法 |
| CN106066185A (zh) * | 2016-05-24 | 2016-11-02 | 华南理工大学 | 一种面向焊缝跟踪的线激光传感器自动标定装置及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107367463A (zh) * | 2017-07-04 | 2017-11-21 | 九江学院 | 一种基于爬行机器人的激光超声检测系统及其方法 |
| CN109227007A (zh) * | 2018-09-20 | 2019-01-18 | 北京博清科技有限公司 | 基于姿态传感器的焊接爬行机车身跟踪方法及系统 |
| CN113551599A (zh) * | 2021-07-22 | 2021-10-26 | 江苏省特种设备安全监督检验研究院 | 一种基于结构光导向的焊缝位置偏差视觉跟踪方法 |
| CN114147389A (zh) * | 2021-11-05 | 2022-03-08 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
| CN114147389B (zh) * | 2021-11-05 | 2024-06-04 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106735995B (zh) | 2018-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7659921B2 (en) | Distance measurement apparatus, distance measurement method, and distance measurement program | |
| US8452568B2 (en) | Method for calibrating cameras installed on vehicle | |
| CN101656857B (zh) | 投影型显示装置和显示方法 | |
| US9858684B2 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
| CN108805934A (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| JP4131214B2 (ja) | 傾斜角度検出装置及び傾斜角度検出方法 | |
| CN103827917A (zh) | 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置 | |
| CN101755190A (zh) | 校准方法、校准装置及具备该校准装置的校准系统 | |
| US20110295421A1 (en) | Device and a method for restoring positional information of robot | |
| CN106735995B (zh) | 基于爬行器的焊缝自动跟踪方法及装置 | |
| CN101656859A (zh) | 投影机和图像校正方法 | |
| EP2756482B1 (en) | Resolving homography decomposition ambiguity based on orientation sensors | |
| CN104345688B (zh) | 工作场所中定位工具的方法、相应系统和计算机可读存储介质 | |
| CN111145345A (zh) | 隧道施工区域三维模型构建方法及系统 | |
| CN101621711A (zh) | 采用两个相同圆进行摄像机标定的方法 | |
| CN105046647B (zh) | 全液晶仪表360°全景车用监控系统及其工作方法 | |
| US20130314533A1 (en) | Data deriving apparatus | |
| CN104167001A (zh) | 基于正交补偿的大视场摄像机标定方法 | |
| JPS62206684A (ja) | パタ−ン投影による位置形状計測方法 | |
| Kunz et al. | Stereo self-calibration for seafloor mapping using AUVs | |
| US10542875B2 (en) | Imaging device, endoscope apparatus, and imaging method | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| CN105335959A (zh) | 成像装置快速对焦方法及其设备 | |
| CN111131801A (zh) | 投影仪校正系统、方法及投影仪 | |
| CN110285831B (zh) | 一种网格结构光投射器标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220328 Address after: Floor 9, tower a, century building, No. 99, Wangfujing Street, Dongcheng District, Beijing 100010 Patentee after: China Classification Society Industry Co.,Ltd. Address before: 100006 room 915, tower a, century building, 99 Wangfujing Street, Dongcheng District, Beijing Patentee before: KELANSHI DETECTION TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| TR01 | Transfer of patent right |