CN109187637A - 基于红外热像仪的工件缺陷测量方法和系统 - Google Patents

基于红外热像仪的工件缺陷测量方法和系统 Download PDF

Info

Publication number
CN109187637A
CN109187637A CN201810858243.7A CN201810858243A CN109187637A CN 109187637 A CN109187637 A CN 109187637A CN 201810858243 A CN201810858243 A CN 201810858243A CN 109187637 A CN109187637 A CN 109187637A
Authority
CN
China
Prior art keywords
coordinate system
workpiece
thermal infrared
infrared imager
calibration block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810858243.7A
Other languages
English (en)
Other versions
CN109187637B (zh
Inventor
吴保林
陈梦娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Tianjin Intelligent Tech Institute Of Casia Co ltd
Zhongke Zhixinda Tianjin Technology Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Intelligent Tech Institute Of Casia Co ltd, Zhongke Zhixinda Tianjin Technology Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Tianjin Intelligent Tech Institute Of Casia Co ltd
Priority to CN201810858243.7A priority Critical patent/CN109187637B/zh
Publication of CN109187637A publication Critical patent/CN109187637A/zh
Application granted granted Critical
Publication of CN109187637B publication Critical patent/CN109187637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本发明属于红外测量技术领域，具体提供一种基于红外热像仪的工件缺陷测量方法和系统。本发明旨在解决现有的红外热像仪在工业应用中测量精度差的问题。为此，本发明的测量方法主要包括以下步骤：使红外热像仪获取第一标定块的第一图像；根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系；获取第一标定块坐标系和工件坐标系之间的第三映射关系；根据所述第一映射关系和第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系；使所述红外热像仪遍历所述工件，检测并测量所述工件上的缺陷。因此，本发明的测量方法能够使红外热像仪精准地定位工件上缺陷的位置，并对工件上缺陷的尺寸进行准确地测量。

Description

基于红外热像仪的工件缺陷测量方法和系统
技术领域
本发明属于红外测量技术领域，具体提供一种基于红外热像仪的工件缺陷测量方法和系统。
背景技术
红外热像仪是通过红外探测器和光学成像物镜接收被测目标的红外辐射能量来获得红外热像图的，这种热像图与物体表面的热分布场相对应。因为其特殊的成像原理，红外热像仪在成像时不受可见光源的影响，在很多地方有着不可替代的作用，如大雾、夜晚等能见度差的自然场景或者光照差的工业现场。除此之外，相比于可见光相机，红外热像仪可以更好的探测到对比度差但有温差的缺陷(例如缺陷与产品表面都为黑色)或产品的内部缺陷，可以被应用于很多特定的工业检测场景。但是由于红外热像仪分辨率低、成像噪音大、标定困难等原因，现今还未见到在工业测量中的实际应用案例。
在工业中常见的测量任务就是工件的缺陷检测，将红外热像仪安装在机械臂末端，通过机器人带着红外热像仪扫描待测目标，完成检测任务。要通过采集到的红外图像测量被测工件缺陷的大小和位置，就必须实现红外测量系统的标定，建立红外视觉系统与待测对象之间的成像约束。红外测量系统通常需要标定红外热像仪的内参数和外参数。现有对红外热像仪内参数的标定方法主要有以下三种。
其一，采用棋盘格，通常为材质有差异的黑白棋盘格。其中，黑格区域上设置有隔热涂料层，白格区域上设置有发热材料层。当加热装置加热黑白棋盘格时，黑格区域和白格区域会产生温差，形成可用于红外热像仪标定的几何图案。
其二，采用标定箱。标定箱的靶面上设置有镂空的圆孔或者方孔，标定箱内放置有加热管或者红外发光二极管。工作时为加热管或者红外发光二极管通电发出红外辐射，使标定箱的靶面形成可用于红外热像仪标定的几何图像。
其三，采用标定靶，即在金属薄板上设置多个镂空的方形孔，然后将金属薄板贴在木制板材上。标定时使用凉水冲淋或者电加热金属薄板，使其产生温差，进而形成可用于红外热像仪标定的几何图案。
以上三种方案都需要不断地变换标定板的角度和位置，以便使红外热像仪采集多组图像，从而完成红外热像仪内参数的标定。其区别只是使用的标定板不同。
但是上述三种红外热像仪内参数的标定方案，不能用在工业红外测量中。工业测量要求高精度，为了在红外热像仪有限的分辨率情况下，尽可能的提高检测的精度，通常的想法是减小像素当量即减小检测视场。在减小视场的同时，景深也会减小，且红外相机本身景深较小，所以该红外视觉测量系统具有小视场和小景深的特点。要完成小视场下的测量系统标定，需要将上述的标定参照物尺寸制作的很小。但是，由于红外成像存在热扩散现象，当标定板的尺寸较小时，红外热像仪获取的图案尺寸和模糊带尺寸几乎相当，使得标定角点(标定块上镂空图案的边角)的提取精度极低。此外，在小景深下多个角度拍摄标定板会导致离焦，进而也无法精确提取标定角点。
按照常规测量系统的标定方法，要完成红外测量系统的标定，除了要得到红外热像仪的内参数外，还需要得到红外热像仪的外参数，而对红外热像仪外参数的标定也存在标定图案特征点模糊、多角度拍摄离焦，至今还没有有效的方法。
相应地，本领域需要一种新的基于红外热像仪的工件缺陷测量方法来解决上述问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的红外热像仪在工业应用中测量精度差的问题，本发明提供了一种基于红外热像仪的工件缺陷测量方法，所述测量方法包括以下步骤：
使红外热像仪获取第一标定块的第一图像；
根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系；
根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系；
使所述红外热像仪遍历所述工件，检测并测量所述工件上的缺陷。
在上述测量方法的优选技术方案中，“根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系”的步骤进一步包括：
获取所述第一图像的边缘；
根据所述边缘获取所述第一图像的角点；
通过所述第一图像的角点和所述第一标定块的角点获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系。
在上述测量方法的优选技术方案中，“获取所述第一图像的边缘”的步骤进一步包括：
通过Canny边缘检测算子获取所述第一图像的边缘点。
在上述测量方法的优选技术方案中，“根据所述边缘获取所述第一图像的角点”的步骤进一步包括：
通过霍夫变换获得边缘直线集合；
通过聚类获得精确的边缘直线；
通过彼此相交的两条直线获取所述第一图像的角点。
在上述测量方法的优选技术方案中，在获取所述第二映射关系的步骤之前，所述测量方法还包括下列步骤：
根据所述第一标定块的角点彼此之间的位置关系，获取第一标定块坐标系和工件坐标系之间的第三映射关系；
“根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系”的步骤进一步包括：
根据所述第一映射关系和所述第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系。
在上述测量方法的优选技术方案中，所述第一标定块设置在所述工件上。
在上述测量方法的优选技术方案中，在获取第一标定块的第一图像的步骤之后，所述测量方法还包括以下步骤：
使所述红外热像仪沿着工件坐标系的坐标轴移动，直至第二标定块全部落入到所述红外热像仪的视场中；
使红外热像仪获取第二标定块的第二图像；
根据所述第二图像和所述第一映射关系获取所述第二标定块在所述第一标定块坐标系中的位置；
根据所述第一标定块和所述第二标定块对应角点之间的位置关系，获取第一标定块坐标系和工件坐标系之间的第三映射关系；
其中，所述第一标定块和所述第二标定块相同，并且所述第一标定块的一条边线和所述第二标定块对应的一条边线在一条直线上。
在上述测量方法的优选技术方案中，“根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系”的步骤进一步包括：
根据所述第一映射关系和所述第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系。
在上述测量方法的优选技术方案中，所述第一标定块和所述第二标定块都设置在所述工件上。
此外，本发明还提供了一种基于红外热像仪的工件缺陷测量系统，所述测量系统包括：
机械臂；
红外热像仪，其设置在所述机械臂的自由端；
工件，其与所述机械臂的固定端相对固定；
第一标定块，其设置在所述工件的一端；
第二标定块，其设置在所述工件的另一端；
控制器，其用于控制所述机械臂和/或所述红外热像仪执行上述任一项所述的测量方法。
本领域技术人员能够理解的是，在本发明的优选技术方案中，通过使红外热像仪获取第一标定块的第一图像，使得红外热像仪能够根据第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系，进而使红外热像仪能够根据第一映射关系获取红外热像仪坐标系和工件坐标系之间的第二映射关系，并因此建立红外热像仪和工件之间的坐标关系。然后使红外热像仪遍历整个工件，检测并测量工件上的缺陷。因此，本发明的测量方法能够使红外热像仪精准地定位工件上缺陷的位置，并对工件上缺陷的尺寸进行准确地测量。
进一步，在本发明的优选实施方案中，第一映射关系主要通过以下步骤建立：先通过Canny边缘检测算子获取第一图像的边缘点；然后通过霍夫变换和聚类获取组成边缘的直线；继而通过彼此相交的两条直线获取第一图像的角点；最后通过第一图像的角点和第一标定块的角点获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系。
更进一步，本发明的第一标定块坐标系和工件坐标系之间还存在第三映射关系，因此，第二映射关系具体地通过第一映射关系和第三映射关系获得。或者本领域技术人员也可以根据需要，在第一标定块设立之初，就使第一标定块坐标系和工件坐标系重合，即使第一标定块和工件位于同一坐标系中。
附图说明
下面参照附图来描述本发明的优选实施方式，附图中：
图1是本发明的测量系统的构成示意图；
图2是图1中测量系统的局部放大图；
图3是本发明的测量方法的主要步骤流程图；
图4是本发明获得第一映射关系的主要步骤流程图；
图5是本发明获得第二映射关系的主要步骤流程图；
图6是第一标定块坐标系的示意图；
图7是红外热像仪的测量结果列表；
图8是标定针和红外热像仪的测量结果比对列表；
图9是标定针和红外热像仪的测量精度比对列表。
附图标记列表：
1、机械臂；2、红外热像仪；3、工件；4、第一标定块；5、第二标定块。
具体实施方式
本领域技术人员应当理解的是，本节实施方式仅仅用于解释本发明的技术原理，并非用于限制本发明的保护范围。例如，本发明的标定块不仅可以是正方形结构还可以是其他任意的多边形结构，本领域技术人员可以根据需要对其作出调整，以便适应具体的应用场合，调整后的技术方案仍将落入本发明的保护范围。
需要说明的是，在本发明的描述中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
如图1和图2所示，本发明的基于红外热像仪的工件缺陷测量系统主要包括机械臂1、红外热像仪2、工件3、第一标定块4和第二标定块5。其中，机械臂1的固定端被固定到地面、工作平台、支座等基体上，红外热像仪2被固定到机械臂1的自由端，工件3被放置到基体上，并且与机械臂1的固定端相对固定。第一标定块4和第二标定块5被分别设置在工件3的两端。本领域技术人员能够理解的是，第一标定块4和第二标定块5可以采用任意可行的连接方式设置在工件3上，示例性地，通过3D打印机打印到工件3上，通过粘贴的方式固定到工件3上，通过铆钉固定到工件3上。
进一步，虽然图中并未明确示出，但是在本发明的优选实施方案中，第一标定块4和第二标定块5是两个完全相同的正方形或长方形块，并且第一标定块4的一个边缘和第二标定块5的一个边缘在同一条直线或近似地在同一条直线上，并且该直线与工件3的工件坐标系的一个坐标轴尽量平行。优选地，两个标定块的厚度尽可能的小。进一步优选地，两个标定块的大小约为红外热像仪2检测视场大小的三分之一。此外，本领域技术人员也可以根据需要，将第一标定块4和第二标定块5设置成其他任意可行的正多边形结构，以便于标定块上特征点的提取。或者本领域技术人员也可以根据需要，将第一标定块4和第二标定块5设置成非正多边形结构。进一步，本领域技术人员还可以根据需要，在能够被红外热像仪2拍摄到完整的结构图像的前提下，将第一标定块4和第二标定块5设置成其他任意可行的大小，例如红外热像仪2检测视场大小的二分之一、三分之二、五分之四等。
更进一步，虽然图中并未示出，但是第一标定块4和第二标定块5的材质与工件3的材质不同。以便工件3、第一标定块4和第二标定块5被加热之后能够产生温差，辐射出不同强度的红外线，便于红外热像仪2对第一标定块4和第二标定块5进行标定。
再进一步，虽然图中并未示出，但是本发明的测量系统还包括控制器和加热装置，所述加热装置用于加热工件3、第一标定块4和第二标定块5，所述控制器用于控制机械臂1、红外热像仪2和所述加热装置执行相应的操作。
如图1所示，为了方便描述，将工件3的工件坐标系记做{W}。将红外热像仪2的红外热像仪坐标系记做{C}，并且，将标定时刻的红外热像仪坐标系记做{C(0)}，将测量时刻的红外热像仪坐标系记做{C(t)}。将机械臂1的机械臂坐标系记做{E}，并且，将标定时刻的机械臂坐标系记做{E(0)}，将测量时刻的机械臂坐标系记做{E(t)}。将第一标记块4的第一标记块坐标系记做{S}，并且，将标定时刻的第一标记块坐标系记做{S(0)}，将测量时刻的第一标记块坐标系记做{S(t)}。
继续参阅图1，工件坐标系{W}的原点是图1中工件3的右下角点，坐标轴与工件3的边缘重合。机械臂坐标系{E}的原点是图1中机械臂1的固定端上的一点。第一标记块坐标系{S}的原点是图1中第一标定块4的右下角点，坐标轴与第一标定块4的边缘重合。红外热像仪坐标系{C}是常规的相机坐标系或者是红外热像仪2所拍摄到的整个图像的坐标系。
此外，本领域技术人员也可以根据需要，将坐标系{W}、{E}、{S}、{C}的原点的位置和坐标轴的方向做出适当变换。例如，将{W}的原点设置成图1中工件3的左下角点。
下面结合上述的测量系统对本发明的测量方法进行详细说明。
如图3所示，本发明的基于红外热像仪的工件缺陷测量方法主要包括：
步骤S100，使红外热像仪2获取第一标定块4的第一图像；
步骤S200，根据第一图像获取红外热像仪坐标系{C}和第一标定块坐标系{S}之间的第一映射关系；
步骤S300，获取第一标定块坐标系{S}和工件坐标系{W}之间的第三映射关系；
步骤S400，根据第一映射关系和第三映射关系获取红外热像仪坐标系{C}和工件坐标系{W}之间的第二映射关系；
步骤S500，使红外热像仪2遍历整个工件3，检测并测量工件3上的缺陷。
其中，步骤S300是可选地步骤。当步骤S300不执行时，步骤S400变换为：根据第一映射关系获取红外热像仪坐标系{C}和工件坐标系{W}之间的第二映射关系。
具体地，在步骤S100中，先建立机械臂坐标系{E}和工件坐标系{W}之间的映射关系，并记做的转换矩阵ETW。由于该映射关系的建立是本领域技术人员所熟知的技术手段，所以此处不再做过多的说明。控制器使机械臂1驱动红外热像仪2沿着工件坐标系{W}的坐标轴移动，直至第一标定块4完全出现在红外热像仪2的检测视场下为止。然后，控制器使红外热像仪2拍摄第一标定块4的图像。为了区别于第二标定块5的图像这里记做第一图像。
具体地，在步骤S200中，先获取第一图像的边缘，然后根据所述边缘获取第一图像的角点，继而通过第一图像的角点和第一标定块4的角点获取{C}和{S}之间的第一映射关系。具体地，如图4中所示的步骤S201至步骤S204。
在步骤S201中，控制器先根据第一标定块4的形状确定需要拟合的直线数，根据上述的正方形或长方形的第一标定块4该直线数为4。然后通过Canny边缘检测算子获取所述第一图像的边缘点集Pe，即第一图像的边缘。
在步骤S202中，控制器先通过霍夫变换获取组成所述边缘的直线参数集Lh，然后在霍夫空间中将直线参数进行聚类，聚为4类，并将每一类的均值作为该类的代表输出，获得4条直线。然后计算这4条直线的交点并去除离交点位置过远(大于设定阈值)的点。这样可以得到4条线段。根据这4条线段，确定4个边缘区域。具体方法为，记线段的两个端点为C1(x1，y1)和C2(x2，y2)，则对应的矩形边缘区域ROI的左上顶点和右下顶点的坐标为C1’＝(x1’，y1’)和C2’＝(x2’，y2’)。其中，
x1’＝x1+α(x2-x1)，y1’＝y1+β(y1-y2)；
x2’＝x2+γ(x1-x2)，y2’＝y2+φ(y2-y1)。
其中，α、β、γ、φ是小于1的常数，其可以根据具体情况设定。对ROI区域分别进行横向或纵向扫描(由该ROI区域对应的线段斜率确定)，取灰度梯度变化最大的c(其数值可以根据具体情况设定)个点，再用最小二乘法拟合直线，得到第一标定块4的4条线段。
在步骤S203中，控制器获取线段之间的交点，作为标定特征点，即角点。本领域技术人员能够理解的是，由于第一标定块4是正方形或长方形，所以角点为4个。从第一图像中提取的角点坐标记为I1P1[u1，v1]，I1P2[u2，v2]，I1P3[u3，v3]，I1P4[u4，v4]。
在步骤S204中，控制器先获取第一标定块4的四个角点在第一标定块坐标系{S}中的坐标，并记做S1P1[x1，y1，0]，S1P2[x2，y2，0]，S1P3[x3，y3，0]，S1P4[x4，y4，0]。然后将第一图像的四个角点的坐标和第一标定块4的四个角点的坐标带入下列公式(1)：
其中，n＝4。求出{C}和{S}之间的第一映射关系，即参数矩阵m＝[m1，m2，m3，m4，m5，m6，m7，m8]。
具体地，在步骤S300中，本领域技术人员可以在第一标定块4设置在工件3上时，就使坐标系{S}和{W}重合；或者使{S}的两个坐标轴与{W}的两个坐标轴平行，在获取第一映射关系的同时获取{S}和{W}之间的第三映射关系，记做变换矩阵STW。换句话说，当{S}和{W}重合时，第一标定块4的二维坐标系{S}与工件3的三维坐标系{W}部分重合；当{S}的两个坐标轴与{W}的两个坐标轴平行时，仅通过第一标定块4就可以获得{S}和{W}之间的第三映射关系。
或者，本领域技术人员也可以根据如图5中所示的步骤S301至步骤S304借助第二标定块5获取更精确的第三映射关系。
在步骤S301中，如图6所示，控制器使机械臂1驱动红外热像仪2沿着工件3的工件坐标系{W}的y坐标轴移动，直至第二标定块5完全落入到红外热像仪2的检测视场中。
在步骤S302中，控制器使红外热像仪2拍摄第二标定块5的图像，为了区别于第一标定块4的图像这里记做第二图像。
在步骤S303中，参照步骤S201至步骤S203，控制器获取第二图像的四个角点，并分别记做I2P1[u1’,v1’]，I2P2[u2’，v2’]，I2P3[u3’，v3’]，I2P4[u4’，v4’]。然后将该四个角点的坐标分别带入下列公式(2)：
如图6所示，计算得到该四个角点在第一标定块{S}中的坐标S2P1[x1’，y1’，0]，S2P2[x2’，y2’，0]，S2P3[x3’，y3’，0]，S2P4[x4’，y4’，0]。
在步骤S304中，根据两个标定块之间的位置关系获取第三映射关系。本领域技术人员能够理解的是，由于第一标定块4的一个角点与坐标系{S}的原点重合，所以两个标定块之间的位置关系，可以仅通过第二标定块5上各个角点的坐标确定。具体地，先计算Δx＝(x1’+x2’+x3’+x4’)/n。然后计算红外相机2沿工件坐标系{W}移动距离的Δy。将Δx和Δy代入下列公式(3)计算坐标系偏转角α。
从而获得第三映射关系，记做变换矩阵STW。
基于步骤S301至步骤S304的描述，本领域技术人员能够理解的是，实际上第二标定块5属于是对第一标定块4的校正，以便提高第三映射关系的精度。因此即便是没有第二标定块5，仅仅通过第一标定块4也能够获取第三映射关系，只是第三映射关系的精度较差而已。
本领域技术人员能够理解的是，步骤S301和步骤S302还可以在步骤S100执行完之后直接执行，但是步骤S303和步骤S304必须在步骤S204之后执行。
具体地，在步骤S400中，通过第一映射关系m和第三映射关系STW获得红外热像仪坐标系{C}与工件坐标系{W}之间的第二映射关系。
具体地，在步骤S500中，首先控制器使加热装置加热工件3，使工件3上的缺陷和工件本体之间产生温差，以便使缺陷在红外热像仪2拍摄的图像中清晰地显示。其次，在保证机械臂1的自由端与工件3的表面的切面之间关系不变的情况下，控制器使机械臂1带动红外热像仪2运动，使缺陷进入红外热像仪2中，进而获取缺陷的热图像。继而，控制器提取该热图像中缺陷的特征点的图像坐标IdP(uId，vId)，并获取机械臂1的旋转角度和红外热像仪2移动的距离，计算转换矩阵E(0)TE(t)。然后根据公式(4)，计算该缺陷的特征点在第一标定块坐标系{S}中的实际坐标SdP(xSd，ySd，0)。
最后根据公式(5)计算出缺陷在工件坐标系{W}中的坐标wdP＝(xWd，yWd，zWd)。
综合所述，本发明的测量方法和测量系统具有以下优点：
其一，标定过程操作简单，只需简单的三步操作即可完成测量系统的标定，相比于其他方法更加简单、方便。
其二，系统成本低，标定块(4、5)可以通过喷漆的方式印到工件3上，整个标定过程不需要搭建其他辅助设备，成本远低于传统标定靶的制作。
其三，标定精度高，与现有方式提取角点作为标定点的方式相比，本发明通过提取边缘获得角点的方式极大地减小了提取标定误差。并且，本发明的测量方法也克服了热扩散、小景深等给标定带来的难题，提高了标定精度。
其四，标定效率高，本发明的标定方法计算量小，标定速度快。
下面对本发明的测量方法进行举例说明。
在该示例中，红外热像仪2距离工件3表面的距离约为15cm，红外热像仪2与工件3表面的夹角约为45°。第一标定块4和第二标定块5通过喷漆的方式打印到工件3上，并且第一标定块4和第二标定块5的尺寸均为20mm×40mm。
首先机械臂1标定其与工件坐标系{W}的关系ETW，然后将机械臂1移动到第一标定块4完全出现在红外热像仪2视场内的位置。继而加热第一标定块4，直至第一标定块4在红外热像仪2中清晰成像。红外热像仪2拍摄一张红外图像并提取特征点图像坐标，实验测得的数据为A(260.58，256.61)，B(278.64，144.45)，C(627.01，148.36)，D(642.30，261.41)。
根据特征点计算m矩阵得：
m＝[9.47，2.234，260.58，0.09，-4.92，256.61，-1.142，0.005]
再让机械臂1驱动红外热像仪2沿工件坐标系{W}的y轴移动，直至第二标定块5完全出现在红外热像仪2视场内为止，记录红外热像仪2移动的位置，实验测得的数据为Δy＝399。
然后以上述同样的方法再拍摄一张热图像并提取特征点图像坐标，并计算得到Δx＝548。
计算坐标系变换矩阵为：
用标定出的结果测量已知长度的物体，其结果和精度如图7所示。
用标定出的结果测量任意点的坐标，同时用机械臂1的标定针测量这些点的坐标，其结果和精度如图8所示。
对比标定针和红外热像仪2的测量结果，如图9所示。
从图7中可以看出，本发明的测量方法对尺寸测量的误差在0.3mm以内。从图8中可以看出，本发明的测量方法与标定针的测量方法相比，其结果差异很稳定，测量结果更加可靠。从图9中可以看出，本发明的测量方法与标定针的测量方法相比，测量精度更高。基于红外热像仪2的像素与测量视场的大小，基本达到了像素点测量的极限。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于红外热像仪的工件缺陷测量方法，其特征在于，所述测量方法包括以下步骤：
使红外热像仪获取第一标定块的第一图像；
根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系；
根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系；
使所述红外热像仪遍历所述工件，检测并测量所述工件上的缺陷。
2.根据权利要求1所述的测量方法，其特征在于，“根据所述第一图像获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系”的步骤进一步包括：
获取所述第一图像的边缘；
根据所述边缘获取所述第一图像的角点；
通过所述第一图像的角点和所述第一标定块的角点获取红外热像仪坐标系和第一标定块坐标系之间的第一映射关系。
3.根据权利要求2所述的测量方法，其特征在于，“获取所述第一图像的边缘”的步骤进一步包括：
通过Canny边缘检测算子获取所述第一图像的边缘点。
4.根据权利要求3所述的测量方法，其特征在于，“根据所述边缘获取所述第一图像的角点”的步骤进一步包括：
通过霍夫变换获得边缘直线集合；
通过聚类获得精确的边缘直线；
通过彼此相交的两条直线获取所述第一图像的角点。
5.根据权利要求1至4中任一项所述的测量方法，其特征在于，在获取所述第二映射关系的步骤之前，所述测量方法还包括下列步骤：
根据所述第一标定块的角点彼此之间的位置关系，获取第一标定块坐标系和工件坐标系之间的第三映射关系；
“根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系”的步骤进一步包括：
根据所述第一映射关系和所述第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系。
6.根据权利要求5所述的测量方法，其特征在于，所述第一标定块设置在所述工件上。
7.根据权利要求1至4中任一项所述的测量方法，其特征在于，在获取第一标定块的第一图像的步骤之后，所述测量方法还包括以下步骤：
使所述红外热像仪沿着工件坐标系的坐标轴移动，直至第二标定块全部落入到所述红外热像仪的视场中；
使红外热像仪获取第二标定块的第二图像；
根据所述第二图像和所述第一映射关系获取所述第二标定块在所述第一标定块坐标系中的位置；
根据所述第一标定块和所述第二标定块对应角点之间的位置关系，获取第一标定块坐标系和工件坐标系之间的第三映射关系；
其中，所述第一标定块和所述第二标定块相同，并且所述第一标定块的一条边线和所述第二标定块对应的一条边线在一条直线上。
8.根据权利要求7所述的测量方法，其特征在于，“根据所述第一映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系”的步骤进一步包括：
根据所述第一映射关系和所述第三映射关系获取所述红外热像仪坐标系和工件坐标系之间的第二映射关系。
9.根据权利要求7所述的测量方法，其特征在于，所述第一标定块和所述第二标定块都设置在所述工件上。
10.一种基于红外热像仪的工件缺陷测量系统，其特征在于，所述测量系统包括：
机械臂；
红外热像仪，其设置在所述机械臂的自由端；
工件，其与所述机械臂的固定端相对固定；
第一标定块，其设置在所述工件的一端；
第二标定块，其设置在所述工件的另一端；
控制器，其用于控制所述机械臂和/或所述红外热像仪执行权利要求1至9中任一项所述的测量方法。
CN201810858243.7A 2018-07-31 2018-07-31 基于红外热像仪的工件缺陷测量方法和系统 Active CN109187637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810858243.7A CN109187637B (zh) 2018-07-31 2018-07-31 基于红外热像仪的工件缺陷测量方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810858243.7A CN109187637B (zh) 2018-07-31 2018-07-31 基于红外热像仪的工件缺陷测量方法和系统

Publications (2)

Publication Number Publication Date
CN109187637A true CN109187637A (zh) 2019-01-11
CN109187637B CN109187637B (zh) 2020-05-19

Family

ID=64937536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810858243.7A Active CN109187637B (zh) 2018-07-31 2018-07-31 基于红外热像仪的工件缺陷测量方法和系统

Country Status (1)

Country Link
CN (1) CN109187637B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914857A (zh) * 2020-08-11 2020-11-10 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN111914856A (zh) * 2020-08-11 2020-11-10 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN112936315A (zh) * 2021-03-18 2021-06-11 深圳市梯易易智能科技有限公司 一种基于成像方式的机械臂校准方法及装置
CN114670194A (zh) * 2022-03-22 2022-06-28 荣耀终端有限公司 机械手系统定位方法及装置
CN117169282A (zh) * 2023-10-30 2023-12-05 南通惠得成包装材料有限公司 药品包装用复合膜的质量检测方法与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313541A (zh) * 2011-07-28 2012-01-11 中国科学院自动化研究所 基于动反射镜的激光弹着点位置控制方法
CN102353361A (zh) * 2011-06-29 2012-02-15 中国科学院自动化研究所 基于动反射镜的激光弹着点位置控制方法
CN102597722A (zh) * 2009-11-11 2012-07-18 国际商业机器公司 用于原位太阳能平板电池板诊断的方法和设备
CN104551347A (zh) * 2014-12-30 2015-04-29 江苏科技大学 窄间隙焊缝偏差的红外视觉传感检测方法及装置
EP2889837A1 (en) * 2013-12-06 2015-07-01 Rolls-Royce Corporation Thermographic inspection techniques
CN104914133A (zh) * 2015-06-19 2015-09-16 合肥京东方光电科技有限公司 摩擦缺陷检测装置
BR112015023421A2 (pt) * 2013-03-15 2017-07-18 Digital Wind Systems Inc método e sistema de inspeção de lâminas de turbinas eólicas com a base no solo

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102597722A (zh) * 2009-11-11 2012-07-18 国际商业机器公司 用于原位太阳能平板电池板诊断的方法和设备
CN102353361A (zh) * 2011-06-29 2012-02-15 中国科学院自动化研究所 基于动反射镜的激光弹着点位置控制方法
CN102313541A (zh) * 2011-07-28 2012-01-11 中国科学院自动化研究所 基于动反射镜的激光弹着点位置控制方法
BR112015023421A2 (pt) * 2013-03-15 2017-07-18 Digital Wind Systems Inc método e sistema de inspeção de lâminas de turbinas eólicas com a base no solo
EP2889837A1 (en) * 2013-12-06 2015-07-01 Rolls-Royce Corporation Thermographic inspection techniques
CN104551347A (zh) * 2014-12-30 2015-04-29 江苏科技大学 窄间隙焊缝偏差的红外视觉传感检测方法及装置
CN104914133A (zh) * 2015-06-19 2015-09-16 合肥京东方光电科技有限公司 摩擦缺陷检测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
唐庆菊: "基于模糊C均值聚类和Canny算子的红外图像边缘识别与缺陷定量检测", 《红外与激光工程》 *
王亚丽: "基于红热成像的太阳能板缺陷检测", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914857A (zh) * 2020-08-11 2020-11-10 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN111914856A (zh) * 2020-08-11 2020-11-10 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN111914856B (zh) * 2020-08-11 2023-05-05 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN111914857B (zh) * 2020-08-11 2023-05-09 上海柏楚电子科技股份有限公司 板材余料的排样方法、装置、系统、电子设备及存储介质
CN112936315A (zh) * 2021-03-18 2021-06-11 深圳市梯易易智能科技有限公司 一种基于成像方式的机械臂校准方法及装置
CN112936315B (zh) * 2021-03-18 2022-12-20 深圳市梯易易智能科技有限公司 一种基于成像方式的机械臂校准方法及装置
CN114670194A (zh) * 2022-03-22 2022-06-28 荣耀终端有限公司 机械手系统定位方法及装置
CN117169282A (zh) * 2023-10-30 2023-12-05 南通惠得成包装材料有限公司 药品包装用复合膜的质量检测方法与系统
CN117169282B (zh) * 2023-10-30 2024-03-08 南通惠得成包装材料有限公司 药品包装用复合膜的质量检测方法与系统

Also Published As

Publication number Publication date
CN109187637B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN109187637B (zh) 基于红外热像仪的工件缺陷测量方法和系统
CN104567690B (zh) 一种激光束现场标定方法及装置
CN109029299B (zh) 舱段销孔对接转角的双相机测量装置及测量方法
US8180101B2 (en) Calibration method for structure parameters of structured-light vision sensor
US7084386B2 (en) System and method for light source calibration
US10475203B2 (en) Computer vision system and method for tank calibration using optical reference line method
US9488589B2 (en) Mapping damaged regions on objects
CN109559355B (zh) 一种基于相机组的无公共视场的多相机全局标定装置及方法
US8107089B2 (en) Method and measuring device for measuring translation of surface
CN107121093A (zh) 一种基于主动视觉的齿轮测量装置及测量方法
Summan et al. Spatial calibration of large volume photogrammetry based metrology systems
CN105783711B (zh) 三维扫描仪校正系统及其校正方法
KR20180107324A (ko) 3차원 비접촉 스캐닝 시스템의 현장 교정
CN107796821B (zh) 一种采用激光测距的管道裂缝检测方法
CN105960569B (zh) 使用二维图像处理来检查三维物体的方法
CN102768762B (zh) 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
Xie et al. Simultaneous calibration of the intrinsic and extrinsic parameters of structured-light sensors
JP5418176B2 (ja) パンタグラフ高さ測定装置及びそのキャリブレーション方法
CN109931869A (zh) 基于激光扫描成像的物料体积高精度检测方法
CN109801333A (zh) 体积测量方法、装置、系统及计算设备
CN109827512B (zh) 一种料层厚度在线检测的方法、控制器及系统
JP7353757B2 (ja) アーチファクトを測定するための方法
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
CN201007646Y (zh) 一种液体辅助断层扫描三维形状测量装置
CN117095065A (zh) 线光谱共聚焦位移传感器标定方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230411

Address after: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee after: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District

Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

Patentee before: TIANJIN INTELLIGENT TECH. INSTITUTE OF CASIA Co.,Ltd.

Patentee before: ZHONGKE ZHIXINDA (TIANJIN) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right