CN114332231A - 视觉检测设备中机械手与相机的定位方法、装置及介质 - Google Patents

Abstract

本发明公开了一种视觉检测设备中机械手与相机的定位方法、视觉检测设备中机械手与相机的定位装置以及计算机可读存储介质，由此定位后能够使装载被测零件和/或发光器件与相机准确定位并通过机械手实现被测零件和/或发光器件相对于相机进行更灵活运动。视觉检测设备中机械手与相机的定位方法包括：获得位于机械手上的标定物在以该机械手建立的机械坐标系中的机械坐标；获得位于机械手上的标定物在以相机所拍图像建立的像素坐标系中的像素坐标；通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系。能够使装载被测零件和/或发光器件与相机准确定位并通过机械手实现被测零件和/或发光器件相对于相机进行更灵活运动。

Description

视觉检测设备中机械手与相机的定位方法、装置及介质

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种视觉检测设备中机械手与相机的定位方法、视觉检测设备中机械手与相机的定位装置以及计算机可读存储介质。

背景技术

视觉检测是利用相机代替人眼睛去完成识别、测量等功能的检测技术。相比于人检，视觉检测自动化程度更高，有潜力达到较高的检测效率和准确度。但是，现有视觉检测技术的应用场景往往比较简单，主要针对被测零件上静止的平面进行检测，而难以应对较为复杂的检测要求。比如，航空发动机叶片的表面形状比较复杂，针对其特定曲面区域上的某些缺陷只能在特定观察角度（角度跨度范围甚至会小于5°）和发光器件的特殊光照条件下才能看到（检测时所述发光器件照射所述被测零件而使相机获得反射光，同时所述相机对被测零件进行拍摄），现有视觉检测设备难以应对这种高难度的检测要求。而从技术角度讲，现有视觉检测设备主要因以下缺点而限制了它的应用场景：首先，被测零件和发光器件难以在保持与相机精确定位的基础上相对于相机进行灵活运动；其次，视觉检测过程中针对被测零件缺陷的判断依靠对被测零件进行特定光照条件下相机拍摄的单张图像，而发明人发现有的缺陷需要从随光照条件变化对应拍摄不同图像中反映出的动态变化才能够识别。

发明内容

本发明的目的在于提供一种视觉检测设备中机械手与相机的定位方法、视觉检测设备中机械手与相机的定位装置以及计算机可读存储介质，由此定位后能够使装载被测零件和/或发光器件与相机准确定位并通过机械手实现被测零件和/或发光器件相对于相机进行更灵活运动。

本发明的目的还在于提供一种通过视觉检测设备检测被测零件的方法和视觉检测设备，由此能够获得随光照条件变化对应拍摄不同图像。

为了解决上述技术问题，根据本发明的第一个方面，提供了一种视觉检测设备中机械手与相机的定位方法，包括：获得位于机械手上的标定物在以该机械手建立的机械坐标系中的机械坐标；获得位于机械手上的标定物在以相机所拍图像建立的像素坐标系中的像素坐标；通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系。

可选的，所述机械手包含第一机械手和第二机械手，所述第一机械手用于装载被测零件并将被测零件移动至设定被测零件被拍摄位置，所述第二机械手用于装载发光器件并将发光器件移动至设定发光器件照射位置，所述视觉检测设备在检测时所述发光器件照射所述被测零件而使相机获得反射光且同时所述相机对被测零件进行拍摄；所述获得位于机械手上的标定物在以该机械手建立的机械坐标系中的机械坐标包含：获得位于第一机械手上的第一标定物在以该第一机械手建立的第一机械坐标系中的第一机械坐标以及获得位于第二机械手上的第二标定物在以该第二机械手建立的第二机械坐标系中的第二机械坐标；所述获得位于机械手上的标定物在以相机所拍图像建立的像素坐标系中的像素坐标包含：获得位于第一机械手上的第一标定物在以相机所拍图像建立的像素坐标系中的第一像素坐标以及获得位于第二机械手上的第二标定物在以相机所拍图像建立的像素坐标系中的第二像素坐标；所述通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系包含：通过所述第一机械坐标与所述第一像素坐标建立所述第一机械坐标系与所述像素坐标系的对应关系以及通过所述第二机械坐标与所述第二像素坐标建立所述第二机械坐标系与所述像素坐标系的对应关系。

可选的，所述通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系包含：1）设立整体坐标系：设整体坐标系的坐标原点为所述相机镜头中心，整体坐标系的x轴方位与所述像素坐标系的x轴方位重合，整体坐标系的y轴方位与所述像素坐标系的y轴方位重合，整体坐标系的z轴方向朝向所述坐标原点；2）将所述机械坐标转换为整体坐标系中的整体坐标：设所述机械坐标为M=(m_x,m_y,m_z)，其中，m_x为机械坐标M的x轴坐标值，m_y为机械坐标M的y轴坐标值，m_z机械坐标M的z轴坐标值；设所述像素坐标为Q=(q_x,q_y)，其中，q_x为像素坐标Q的x轴坐标值，q_y为像素坐标Q的y轴坐标值；分别获得所述标定物在8个不同位置时的机械坐标M和像素坐标Q，然后将这8个不同位置中每个位置的机械坐标M和像素坐标Q分别套入公式q_yt₁₁m_x+q_yt₁₂m_y+q_yt₁₃m_z+q_ys₁=q_xt₂₁m_x+q_xt₂₂m_y+q_xt₂₃m_z+q_xs₂中得到8元一次方程组，然后对该8元一次方程组进行求解，解出t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂；分别获得所述标定物在5个不同位置时的机械坐标M和像素坐标Q，然后将这5个不同位置中每个位置的机械坐标M和像素坐标Q以及选择解出的t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂分别套入公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_x=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁)K和/或公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_y=(t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂)K中得到5元一次方程组，解出t₃₁、t₃₂、t₃₃、s₃、K，其中K为整体坐标的长度到像素坐标的长度的缩放系数；将t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、t₃₁、t₃₂、t₃₃构建为3×3线性变换矩阵T，将s₁、s₂、s₃构建为3×1矩阵S，其中，t₁₁为矩阵T的第1行第1列的元，t₁₂为矩阵T的第1行第2列的元，t₁₃为矩阵T的第1行第3列的元，t₂₁为矩阵T的第2行第1列的元，t₂₂为矩阵T的第2行第2列的元，t₂₃为矩阵T的第2行第3列的元，t₃₁为矩阵T的第3行第1列的元，t₃₂为矩阵T的第3行第2列的元，t₃₃为矩阵T的第3行第3列的元，s₁为矩阵S第1行第1列的元，s₂为矩阵S第2行第1列的元，s₃为矩阵S第3行第1列的元；根据公式P=T×M+S，将机械坐标M转换为整体坐标系中的整体坐标P。

可选的，所述第二机械手能够使发光器件围绕被测零件转动和/或使发光器件围绕第二机械手上的旋转轴转动。可选的，所述发光器件具有不同形状的发光结构，所述不同形状的发光结构之间可以相互切换。可选的，所述相机的畸变要求小于0.5%。

为了解决上述技术问题，根据本发明的第二个方面，提供了一种视觉检测设备中机械手与相机的定位装置，包括处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序/指令，所述处理器用于执行存储器中的该计算机程序/指令，当所述处理器执行存储器中的该计算机程序/指令时使得所述装置执行上述第一个方面的视觉检测设备中机械手与相机的定位方法。

为了解决上述技术问题，根据本发明的第三个方面，提供了一种计算机可读存储介质，存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一个方面的视觉检测设备中机械手与相机的定位方法。

通过上述第一个方面的视觉检测设备中机械手与相机的定位方法、第二个方面的视觉检测设备中机械手与相机的定位装置或第三个方面的计算机可读存储介质能够使装载被测零件和/或发光器件与相机准确定位并通过机械手实现被测零件和/或发光器件相对于相机进行更灵活运动。

为了解决上述技术问题，根据本发明的第四个方面，提供了一种通过视觉检测设备检测被测零件的方法，包括：控制第一机械手将装载于该第一机械手上的被测零件移动至设定被测零件被拍摄位置；控制第二机械手将装载于该第二机械手上的发光器件移动至设定发光器件照射位置；控制所述发光器件照射所述被测零件而使相机获得反射光，同时控制所述相机对被测零件进行拍摄而获得所拍图像；所述控制所述发光器件照射所述被测零件而使相机获得反射光的过程包含对所述发光器件的照射条件进行至少一次调整；所述控制所述相机对被测零件进行拍摄而获得所拍图像的过程则包含拍摄并获得所述被测零件在每一次所述调整前后的图像。

可选的，还包括在所述控制所述相机对被测零件进行拍摄而获得所拍图像后对被测零件缺陷状况进行判断并输出判断结果。

可选的，所述对被测零件缺陷状况进行判断的过程包含根据获得的所述被测零件在每一次所述调整前后的图像所反映的所述被测零件上特定区域的反光状况随时间变化态势判断该特定区域的缺陷状况。

可选的，所述特定区域的反光状况随时间变化态势是指特定区域的反光亮度随时间强弱变化态势。

可选的，当所述特定区域的反光亮度随时间强弱变化态势符合预设亮度变化条件时判断该特定区域存在缺陷，当所述特定区域的反光亮度随时间强弱变化态势不符合预设亮度变化条件时判断该特定区域不存在缺陷。

可选的，所述调整是通过所述第二机械手能使发光器件围绕被测零件转动和/或使发光器件围绕第二机械手上的旋转轴转动来实现的。

可选的，所述调整是通过对所述发光器件具有的不同形状的发光结构进行相互切换来实现的。

可选的，还包括检测前对所述第一机械手、所述第二机械手和所述相机三者间的定位，且该定位方法包括：获得位于第一机械手上的第一标定物在以该第一机械手建立的第一机械坐标系中的第一机械坐标以及获得位于第二机械手上的第二标定物在以该第二机械手建立的第二机械坐标系中的第二机械坐标；获得位于第一机械手上的第一标定物在以相机所拍图像建立的像素坐标系中的第一像素坐标以及获得位于第二机械手上的第二标定物在以相机所拍图像建立的像素坐标系中的第二像素坐标；通过所述第一机械坐标与所述第一像素坐标建立所述第一机械坐标系与所述像素坐标系的对应关系以及通过所述第二机械坐标与所述第二像素坐标建立所述第二机械坐标系与所述像素坐标系的对应关系。

可选的，若将所述第一机械坐标系和/或所述第二机械坐标系称机械坐标系，将所述第一机械坐标和/或所述第二机械坐标称机械坐标，则通过机械坐标与所述像素坐标建立机械坐标系与像素坐标系的对应关系包含：1）设立整体坐标系：设整体坐标系的坐标原点为所述相机镜头中心，整体坐标系的x轴方位与所述像素坐标系的x轴方位重合，整体坐标系的y轴方位与所述像素坐标系的y轴方位重合，整体坐标系的z轴方向朝向所述坐标原点；2）将所述机械坐标转换为整体坐标系中的整体坐标：设所述机械坐标为M=(m_x,m_y,m_z)，其中，m_x为机械坐标M的x轴坐标值，m_y为机械坐标M的y轴坐标值，m_z机械坐标M的z轴坐标值；设所述像素坐标为Q=(q_x,q_y)，其中，q_x为像素坐标Q的x轴坐标值，q_y为像素坐标Q的y轴坐标值；分别获得所述标定物在8个不同位置时的机械坐标M和像素坐标Q，然后将这8个不同位置中每个位置的机械坐标M和像素坐标Q分别套入公式q_yt₁₁m_x+q_yt₁₂m_y+q_yt₁₃m_z+q_ys₁=q_xt₂₁m_x+q_xt₂₂m_y+q_xt₂₃m_z+q_xs₂中得到8元一次方程组，然后对该8元一次方程组进行求解，解出t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂；分别获得所述标定物在5个不同位置时的机械坐标M和像素坐标Q，然后将这5个不同位置中每个位置的机械坐标M和像素坐标Q以及选择解出的t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂分别套入公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_x=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁)K和/或公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_y=(t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂)K中得到5元一次方程组，解出t₃₁、t₃₂、t₃₃、s₃、K；将t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、t₃₁、t₃₂、t₃₃构建为3×3线性变换矩阵T，将s₁、s₂、s₃构建为3×1矩阵S，其中，t₁₁为矩阵T的第1行第1列的元，t₁₂为矩阵T的第1行第2列的元，t₁₃为矩阵T的第1行第3列的元，t₂₁为矩阵T的第2行第1列的元，t₂₂为矩阵T的第2行第2列的元，t₂₃为矩阵T的第2行第3列的元，t₃₁为矩阵T的第3行第1列的元，t₃₂为矩阵T的第3行第2列的元，t₃₃为矩阵T的第3行第3列的元，s₁为矩阵S第1行第1列的元，s₂为矩阵S第2行第1列的元，s₃为矩阵S第3行第1列的元；根据公式P=T×M+S，将机械坐标M转换为整体坐标系中的整体坐标P。

为了解决上述技术问题，根据本发明的第五个方面，提供了一种视觉检测设备，包括：第一机械手，所述第一机械手用于装载被测零件并将该被测零件移动至设定被测零件被拍摄位置；第二机械手，所述第二机械手用于装载发光器件并将该发光器件移动至设定发光器件照射位置；相机，所述相机用于在所述发光器件照射所述被测零件而使相机获得反射光的同时对被测零件进行拍摄；以及控制系统，所述控制系统包括处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序/指令，所述处理器用于执行存储器中的该计算机程序/指令，当所述处理器执行存储器中的该计算机程序/指令时使得所述装置执行上述第四方面的通过视觉检测设备检测被测零件的方法。

为了解决上述技术问题，根据本发明的第六个方面，提供了一种计算机可读存储介质，存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第四方面的通过视觉检测设备检测被测零件的方法。

通过上述第四个方面的通过视觉检测设备检测被测零件的方法、上述第五个方面的视觉检测设备或上述第六个方面的计算机可读存储介质能够获得随光照条件变化对应拍摄不同图像，以便于识别相关缺陷。

下面结合附图和具体实施方式对本发明做进一步的说明。本发明提供的附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过实践了解到。

附图说明

构成本说明书的一部分的附图用来辅助对本发明的理解，附图中所提供的内容及其在本说明书中有关的说明可用于解释本发明，但不构成对本发明的不当限定。

图1为本发明实施例的一种视觉检测设备的结构示意图。

图2为本发明实施例的一种视觉检测设备中整体坐标系与像素坐标系的关系示意图。

图3为本发明实施例的一种视觉检测设备中发光器件运动方式示意图。

图4为本发明实施例的一种视觉检测设备中发光器件运动方式示意图。

图5为本发明实施例的一种通过视觉检测设备检测被测零件的方法获得的多张图像示意图。

图6为本发明实施例的一种视觉检测设备中机械手与相机的定位方法的流程示意图。

图7为本发明实施例的一种通过视觉检测设备检测被测零件的方法的流程示意图。

附图标记为：第一机械手11、被测零件12、第二机械手21、发光器件22、相机31。

图5中a为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第一张图片反映的被测零件上特定区域示意图；图5中b为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第二张图片反映的被测零件上特定区域示意图；图5中c为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第三张图片反映的被测零件上特定区域示意图；图5中d为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第四张图片反映的被测零件上特定区域示意图；图5中e为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第五张图片反映的被测零件上特定区域示意图。

具体实施方式

下面结合附图对本发明实施例进行清楚、完整的说明。本领域普通技术人员在基于这些说明的情况下将能够实现本发明实施例。在结合附图对本发明实施例进行说明前，需要特别指出的是：

在包括下述说明在内的各部分中所提供的技术方案、技术特征，在不冲突的情况下，这些技术方案、技术特征可以相互组合。此外，在可能的情况下，这些技术方案、技术特征及有关的组合均可以被赋予特定的技术主题而被相关专利所保护。

下述说明中涉及到的本发明实施例通常仅是一部分实施例而不是全部实施例，基于这些实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于专利保护的范围。

本说明书及相应权利要求书及有关的部分中的术语“包括”、“包含”、“具有”以及它们的任何变形，意图在于覆盖不排他的包含。

图1为本发明实施例的一种视觉检测设备的结构示意图。如图1所示，该视觉检测设备包括：第一机械手11，所述第一机械手11用于装载被测零件12并将该被测零件12移动至设定被测零件被拍摄位置；第二机械手21，所述第二机械手21用于装载发光器件22并将该发光器件22移动至设定发光器件照射位置；相机31，所述相机31用于在所述发光器件22照射所述被测零件12而使相机31获得反射光的同时对被测零件12进行拍摄。

其中，第一机械手11和第二机械手21均具有至少三个自由度，因此，第一机械手11能够分别携带被测零件12和发光器件22在三维空间中运动。所述相机31则可以是固定不动的。

第一机械手11一般需要通过特定的夹具实现对被测零件12抓取和释放，而该夹具与被测零件12之间必然也需要通过相应的配合结构实现配合。同理，第二机械手21与发光器件22之间也可以通过对应的夹具连接。

上述视觉检测设备的被测零件12和发光器件22均可以相对于相机31进行较为灵活地运动，这样就为拓宽视觉检测方式和应用场景提供了有利的条件。

由于上述视觉检测设备包含了第一机械手11、第二机械手21和相机31三个部分，第一机械手11需要将被测零件12移动至设定被测零件被拍摄位置，第二机械手21需要将发光器件22移动至设定发光器件照射位置，这样相机31才能够在所述发光器件22照射所述被测零件12而使相机31获得反射光的同时对被测零件12进行拍摄，因此，使用上述视觉检测设备进行检测前，需要对第一机械手11、第二机械手21和相机31三者进行定位，例如将第一机械手11、第二机械手21和相机31统一在同一个坐标系中（整体坐标系），进而才能控制第一机械手11将装载于该第一机械手11上的被测零件12移动至设定被测零件被拍摄位置以及控制第二机械手21将装载于该第二机械手21上的发光器件22移动至设定发光器件照射位置。

为了将第一机械手11、第二机械手21和相机31统一在整体坐标系中，通常需要一个独立于第一机械手11、第二机械手21和相机31之外的定位仪器（例如激光跟踪仪，该定位仪器的坐标原点即可作为整体坐标原点）分别对第一机械手11、第二机械手21和相机31的坐标进行定位。显然，这样会增加视觉检测设备的复杂程度。

针对上述视觉检测设备，本发明实施例提供了一种视觉检测设备中机械手与相机的定位方法，能够实现第一机械手11、第二机械手21和相机31三者的定位（即实现“手”-“眼”-“光”标定）。该方法具体包括：

1）获得位于第一机械手11上的第一标定物在以该第一机械手11建立的第一机械坐标系中的第一机械坐标以及获得位于第二机械手21上的第二标定物在以该第二机械手21建立的第二机械坐标系中的第二机械坐标；

2）获得位于第一机械手11上的第一标定物在以相机31所拍图像建立的像素坐标系中的第一像素坐标以及获得位于第二机械手21上的第二标定物在以相机31所拍图像建立的像素坐标系中的第二像素坐标；

3）通过所述第一机械坐标与所述第一像素坐标建立所述第一机械坐标系与所述像素坐标系的对应关系以及通过所述第二机械坐标与所述第二像素坐标建立所述第二机械坐标系与所述像素坐标系的对应关系。

机械坐标系是机械手本身自带的坐标系统；相应的，机械坐标是指在该机械坐标系中的坐标，具体用于衡量机械手在该机械手的各自由度上的位移量。机械手自身带有使该机械手在其各自由度上运动的伺服机构，因此，机械坐标值可由该伺服机构中的位移传感器采集。

像素坐标系是相机31本身自带的二维坐标系统；相应的，像素坐标是指被相机拍摄图像中特定视觉特征的像素在像素坐标系中水平和竖直方向的第几个像素，具体用于衡量特定视觉特征在相机视野中的位置。抓取相机拍摄图像中特定视觉特征的像素坐标是现有技术，可以通过相应的软件实现。

标定物实际上就是一个参照基准，第一机械手11上的第一标定物作为实际检测时被测零件12在第一机械坐标系中位置的参照基准，第二机械手21上的第二标定物作为实际检测时发光器件22在第二机械坐标系中位置的参照基准，因此，第一机械手11上的第一标定物与实际检测时被测零件12之间的相对位置是预先设定，同理，第二机械手21上的第二标定物与实际检测时发光器件22的相对位置也是预先设定的。此外，标定物可提供一个基准点，当通过机械手将标定物移动到相机31的拍摄视野中时该标定物能够被相机31拍摄到并被识别出该基准点；此时，机械手在该机械手的各自由度上的位移量即为当前机械坐标，而通过相机拍摄图像中定义所述基准点的视觉特征在像素坐标系中水平和竖直方向的第几个像素即为当前像素坐标。

标定物可以利用机械手上的夹具安装到机械手上。在一种可选实施方式中，标定物设计为一个由连接座、延长杆和基准头构成的部件，其中延长杆连接在连接座与基准头之间，连接座用于与所述夹具拆卸连接，而基准头的中心即用于构成所述基准点。在另一种可选实施方式中，标定物设计为粘贴在被测零件12/发光器件22上的可识别标记。

上述方法中，通过获得位于第一机械手11上的第一标定物在以该第一机械手11建立的第一机械坐标系中的第一机械坐标以及位于第一机械手11上的第一标定物在以相机31所拍图像建立的像素坐标系中的第一像素坐标，就可以建立第一机械坐标系与所述像素坐标系的对应关系；同理，可以建立第二机械坐标系与所述像素坐标系的对应关系。

所述对应关系可以理解为包含当标定物对应的机械坐标为某值时标定物在相机拍摄的图像中出现于某一位置的关系。换句话说，上述方法实际上通过相机31建立的像素坐标系将第一机械手11与相机31之间以及第二机械手21与相机31之间定位。

更进一步地，所述通过所述第一机械坐标与所述第一像素坐标建立所述第一机械坐标系与所述像素坐标系的对应关系以及通过所述第二机械坐标与所述第二像素坐标建立所述第二机械坐标系与所述像素坐标系的对应关系具体可以采用以下方式（下面将不再区分“第一”和“第二”，例如第一机械坐标和第二机械坐标系均称为机械坐标系）：

1）设立整体坐标系：

设整体坐标系的坐标原点为所述相机镜头中心，整体坐标系的x轴方位与所述像素坐标系的x轴方位重合，整体坐标系的y轴方位与所述像素坐标系的y轴方位重合，整体坐标系的z轴方向朝向所述坐标原点；

2）将所述机械坐标转换为整体坐标系中的整体坐标：

设所述机械坐标为M=(m_x,m_y,m_z)，其中，m_x为机械坐标M的x轴坐标值，m_y为机械坐标M的y轴坐标值，m_z机械坐标M的z轴坐标值；

设所述像素坐标为Q=(q_x,q_y)，其中，q_x为像素坐标Q的x轴坐标值，q_y为像素坐标Q的y轴坐标值；

分别获得所述标定物在8个不同位置时的机械坐标M和像素坐标Q，然后将这8个不同位置中每个位置的机械坐标M和像素坐标Q分别套入公式q_yt₁₁m_x+q_yt₁₂m_y+q_yt₁₃m_z+q_ys₁=q_xt₂₁m_x+q_xt₂₂m_y+q_xt₂₃m_z+q_xs₂中得到8元一次方程组，然后对该8元一次方程组进行求解，解出t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂；

分别获得所述标定物在5个不同位置时的机械坐标M和像素坐标Q，然后将这5个不同位置中每个位置的机械坐标M和像素坐标Q以及选择解出的t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂分别套入公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_x=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁)K和/或公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_y=(t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂)K中得到5元一次方程组，解出t₃₁、t₃₂、t₃₃、s₃、K，其中K为整体坐标的长度到像素坐标的长度的缩放系数；

将t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、t₃₁、t₃₂、t₃₃构建为3×3线性变换矩阵T，将s₁、s₂、s₃构建为3×1矩阵S，其中，t₁₁为矩阵T的第1行第1列的元，t₁₂为矩阵T的第1行第2列的元，t₁₃为矩阵T的第1行第3列的元，t₂₁为矩阵T的第2行第1列的元，t₂₂为矩阵T的第2行第2列的元，t₂₃为矩阵T的第2行第3列的元，t₃₁为矩阵T的第3行第1列的元，t₃₂为矩阵T的第3行第2列的元，t₃₃为矩阵T的第3行第3列的元，s₁为矩阵S第1行第1列的元，s₂为矩阵S第2行第1列的元，s₃为矩阵S第3行第1列的元；

根据公式P=T×M+S，将机械坐标M转换为整体坐标系中的整体坐标P。

现结合图2对以上方式的原理说明如下。图2为本发明实施例的一种视觉检测设备中整体坐标系与像素坐标系的关系示意图。如图2所示，假设移动机械手使标定物出现在相机视野中的P点，设P点在机械坐标系中的坐标为M=(m_x,m_y,m_z)，设P点在整体坐标系中坐标为P=(p_x,p_y,p_z)，相机在整体坐标系中坐标为C=(0,0,0)，设P点在像素坐标系中坐标为Q=(q_x,q_y)，其中M与Q已知，机械坐标到整体坐标相差一个线性变换，默认所有坐标都是列向量，那么可得：

P=T×M+S (1)

其中，T是3×3线性变换矩阵,待定。

其中，S是3×1矩阵，代表平移量，待定。

忽略相机畸变,即相机将平面投影成平面,则：

q_x||CH||=K|p_x|

q_y||CH||=K|p_y|

其中，K是整体坐标的长度到像素坐标的长度的缩放系数。

其中，H是P点所处平面与Z轴的交点,即(0,0,p_z),那么，进一步得：

||CH||=|p_z|

矩阵表示上述方程：

(Q 0)^T(0 0 1)P=KP (2)

其中(Q 0)^T表示列向量(q_x,q_y,0)。

联立(1)式和(2)式得：

(Q 0)^T(0 0 1)(TM+S)=K(TM+S) (3)

移动机械手到相机视野中不同位置，获取多组M与Q，带入(3),解出T，S，K(详见以下计算过程)，那么可由任意一组机械坐标M，通过(1)式得到整体坐标P，再通过(2)式获得其出现再相机视野中的位置Q。

计算过程

设t_ij表示矩阵T第i行第j列的元素，

设s_ij表示矩阵S第i行第j列的元素，

即t₁₁为矩阵T的第1行第1列的元，t₁₂为矩阵T的第1行第2列的元，t₁₃为矩阵T的第1行第3列的元，t₂₁为矩阵T的第2行第1列的元，t₂₂为矩阵T的第2行第2列的元，t₂₃为矩阵T的第2行第3列的元，t₃₁为矩阵T的第3行第1列的元，t₃₂为矩阵T的第3行第2列的元，t₃₃为矩阵T的第3行第3列的元，s₁为矩阵S第1行第1列的元，s₂为矩阵S第2行第1列的元，s₃为矩阵S第3行第1列的元。

那么T×M+S=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁,t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂,t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)^T

(3)式变为:

(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_x=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁)K (4)

(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_y=(t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂)K (5)

两式相比得:

q_x/q_y=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁)/(t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂)

即：q_yt₁₁m_x+q_yt₁₂m_y+q_yt₁₃m_z+q_ys₁=q_xt₂₁m_x+q_xt₂₂m_y+q_xt₂₃m_z+q_xs₂

所有q与m都已知，多次移动机械手，获取8组q与m的值，按8元一次方程组求解，解出t₁₁，t₁₂，t₁₃，t₂₁，t₂₂，t₂₃，s₁，s₂，再将结果带入(4)式解出t₃₁，t₃₂，t₃₃，s₃，K。

综上所述，基于上述“手”-“眼”-“光”标定，本发明实施例提供了一种视觉检测设备中机械手与相机的定位方法。图6为本发明实施例的一种视觉检测设备中机械手与相机的定位方法的流程示意图。如图6所示，视觉检测设备中机械手与相机的定位方法，包括：S11：获得位于机械手上的标定物在以该机械手建立的机械坐标系中的机械坐标；S12：获得位于机械手上的标定物在以相机所拍图像建立的像素坐标系中的像素坐标；S13：通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系。

当对第一机械手11、第二机械手21和相机31三者进行定位后，就可以开始对被测零件进行检测。图7为本发明实施例的一种通过视觉检测设备检测被测零件的方法的流程示意图。如图7所示，通过视觉检测设备检测被测零件的方法包括：

S21：控制第一机械手11将装载于该第一机械手11上的被测零件12移动至设定被测零件被拍摄位置。

S22：控制第二机械手21将装载于该第二机械手21上的发光器件22移动至设定发光器件照射位置。

S23：控制所述发光器件22照射所述被测零件12而使相机31获得反射光，同时控制所述相机31对被测零件12进行拍摄而获得所拍图像；其中，所述控制所述发光器件22照射所述被测零件12而使相机31获得反射光的过程包含对所述发光器件22的照射条件进行至少一次调整；所述控制所述相机31对被测零件12进行拍摄而获得所拍图像的过程则包含拍摄并获得所述被测零件12在每一次所述调整前后的图像。

S24：对被测零件12缺陷状况进行判断并输出判断结果，包含根据获得的所述被测零件在每一次所述调整前后的图像所反映的所述被测零件上特定区域的反光状况随时间变化态势判断该特定区域的缺陷状况。“特定区域”是指相机所拍摄图像上反映的区域。

图3为本发明实施例的一种视觉检测设备中发光器件运动方式示意图。图4为本发明实施例的一种视觉检测设备中发光器件运动方式示意图。如图3-4所示，所述调整可以是通过所述第二机械手能使发光器件围绕被测零件转动（即调整光线入射角）和/或使发光器件围绕第二机械手上的旋转轴转动（即调整光线是主光还是侧光）来实现的。

此外，所述所述调整可以是通过对所述发光器件具有的不同形状的发光结构（例如环形发光结构和条形发光结构）进行相互切换来实现的。

图5为本发明实施例的一种通过视觉检测设备检测被测零件的方法获得的多张图像示意图。图5中a为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第一张图片反映的被测零件上特定区域示意图；图5中b为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第二张图片反映的被测零件上特定区域示意图；图5中c为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第三张图片反映的被测零件上特定区域示意图；图5中d为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第四张图片反映的被测零件上特定区域示意图；图5中e为本发明实施例的一种通过视觉检测设备检测被测零件的方法中相机拍摄到的第五张图片反映的被测零件上特定区域示意图。如图5所示，假设相机与物件均不动，调整光照条件后，拍摄获取到的多次图像为5张（拍摄顺序为从a到e），假设缺陷区域是右下块，那么按原有常规图像处理，即使同时有5张图片，也不能拥有准确的判断，因为不管是认为黑或白，还是什么颜色是缺陷，都会有判断失误，而本发明提供的图像处理方式则可以找出准确的缺陷，如"逐渐变白的是缺陷"。根据这个判断，可以准确的确定右下块是缺陷。

比如，航空发动机中的叶片生产需要一系列加工工序，其中包括腐蚀工序，腐蚀过程中会出现一种名为亮条的缺陷，该缺陷形成的原因是由于在腐蚀工序中某些地方腐蚀不上，形成一条横向的直线或者弧线，或者点状缺陷。这种缺陷在某个角度下观察会形成反光，所以称为亮条。这种缺陷和划痕不同，划痕反光更明显，在放大镜下观察，亮条中间依然有材料组织，而划痕的线条中间很干净。亮条肉眼观察不明显，往往需要在某一特定角度才能观察到。亮条缺陷数量多、影响大，难以人工检测，是航空发动机叶片表面缺陷检测的很大痛点。发明人发现，当发光器件发出的光线从侧光逐渐变为主光的过程中，亮条的区域就会逐渐变白。因此，通过上述实施例的通过视觉检测设备检测被测零件的方法就能够检测出亮条这种缺陷。

此外，由于亮条这种缺陷数量较多，而且分布在航空发动机叶片表面，同时，航空发动机叶片表面又是复杂的曲面，因此，在进行检测时，还可以将航空发动机叶片表面划分为多个不同区域，将每一个区域近似于一个平面，由于前面已经对第一机械手11、第二机械手21和相机31三者进行定位，因此可以在检测每一个区域时，控制第一机械手11将装载于该第一机械手11上的被测零件12移动至某一区域对应的被拍摄位置，并控制第二机械手21将装载于该第二机械手21上的发光器件22移动至该区域对应的发光器件照射位置，然后进行检测；当一个区域检测完成后，再控制控制第一机械手11将装载于该第一机械手11上的被测零件12移动至另一区域对应的被拍摄位置，并控制第二机械手21将装载于该第二机械手21上的发光器件22移动至该另一区域对应的发光器件照射位置，然后进行检测。这样，可依次对每一区域进行检测。

以上对本发明的有关内容进行了说明。本领域普通技术人员在基于这些说明的情况下将能够实现本发明。基于本说明书的上述内容，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明的范围。

Claims (8)

1.一种视觉检测设备中机械手与相机的定位方法，其特征在于，包括：

获得位于机械手上的标定物在以所述机械手建立的机械坐标系中的机械坐标；

获得位于机械手上的标定物在以相机所拍图像建立的像素坐标系中的像素坐标；

通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系。

2.如权利要求1所述的视觉检测设备中机械手与相机的定位方法，其特征在于：

所述机械手包含第一机械手和第二机械手，所述第一机械手用于装载被测零件并将被测零件移动至设定被测零件被拍摄位置，所述第二机械手用于装载发光器件并将发光器件移动至设定发光器件照射位置，所述视觉检测设备在检测时所述发光器件照射所述被测零件而使相机获得反射光且同时所述相机对被测零件进行拍摄；

所述获得位于机械手上的标定物在以所述机械手建立的机械坐标系中的机械坐标包含：获得位于第一机械手上的第一标定物在以所述第一机械手建立的第一机械坐标系中的第一机械坐标以及获得位于第二机械手上的第二标定物在以所述第二机械手建立的第二机械坐标系中的第二机械坐标；

所述获得位于机械手上的标定物在以相机所拍图像建立的像素坐标系中的像素坐标包含：获得位于第一机械手上的第一标定物在以相机所拍图像建立的像素坐标系中的第一像素坐标以及获得位于第二机械手上的第二标定物在以相机所拍图像建立的像素坐标系中的第二像素坐标；

所述通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系包含：通过所述第一机械坐标与所述第一像素坐标建立所述第一机械坐标系与所述像素坐标系的对应关系以及通过所述第二机械坐标与所述第二像素坐标建立所述第二机械坐标系与所述像素坐标系的对应关系。

3.如权利要求2所述的视觉检测设备中机械手与相机的定位方法，其特征在于：所述第二机械手能够使发光器件围绕被测零件转动和/或使发光器件围绕第二机械手上的旋转轴转动。

4.如权利要求1所述的视觉检测设备中机械手与相机的定位方法，其特征在于：所述发光器件具有不同形状的发光结构，所述不同形状的发光结构之间可以相互切换。

5.如权利要求1所述的视觉检测设备中机械手与相机的定位方法，其特征在于：所述通过所述机械坐标与所述像素坐标建立所述机械坐标系与所述像素坐标系的对应关系包含：

1）设立整体坐标系：

设整体坐标系的坐标原点为所述相机镜头中心，整体坐标系的x轴方位与所述像素坐标系的x轴方位重合，整体坐标系的y轴方位与所述像素坐标系的y轴方位重合，整体坐标系的z轴方向朝向所述坐标原点；

2）将所述机械坐标转换为整体坐标系中的整体坐标：

设所述机械坐标为M=(m_x,m_y,m_z)，其中，m_x为机械坐标M的x轴坐标值，m_y为机械坐标M的y轴坐标值，m_z机械坐标M的z轴坐标值；

设所述像素坐标为Q=(q_x,q_y)，其中，q_x为像素坐标Q的x轴坐标值，q_y为像素坐标Q的y轴坐标值；

分别获得所述标定物在8个不同位置时的机械坐标M和像素坐标Q，然后将这8个不同位置中每个位置的机械坐标M和像素坐标Q分别套入公式q_yt₁₁m_x+q_yt₁₂m_y+q_yt₁₃m_z+q_ys₁=q_xt₂₁m_x+q_xt₂₂m_y+q_xt₂₃m_z+q_xs₂中得到8元一次方程组，然后对该8元一次方程组进行求解，解出t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂；

分别获得所述标定物在5个不同位置时的机械坐标M和像素坐标Q，然后将这5个不同位置中每个位置的机械坐标M和像素坐标Q以及选择解出的t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、s₁、s₂分别套入公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_x=(t₁₁m_x+t₁₂m_y+t₁₃m_z+s₁)K和/或公式(t₃₁m_x+t₃₂m_y+t₃₃m_z+s₃)q_y=(t₂₁m_x+t₂₂m_y+t₂₃m_z+s₂)K中得到5元一次方程组，解出t₃₁、t₃₂、t₃₃、s₃、K，其中K为整体坐标的长度到像素坐标的长度的缩放系数；

将t₁₁、t₁₂、t₁₃、t₂₁、t₂₂、t₂₃、t₃₁、t₃₂、t₃₃构建为3×3线性变换矩阵T，将s₁、s₂、s₃构建为3×1矩阵S，其中，t₁₁为矩阵T的第1行第1列的元，t₁₂为矩阵T的第1行第2列的元，t₁₃为矩阵T的第1行第3列的元，t₂₁为矩阵T的第2行第1列的元，t₂₂为矩阵T的第2行第2列的元，t₂₃为矩阵T的第2行第3列的元，t₃₁为矩阵T的第3行第1列的元，t₃₂为矩阵T的第3行第2列的元，t₃₃为矩阵T的第3行第3列的元，s₁为矩阵S第1行第1列的元，s₂为矩阵S第2行第1列的元，s₃为矩阵S第3行第1列的元；

根据公式P=T×M+S，将机械坐标M转换为整体坐标系中的整体坐标P。

6.如权利要求1所述的视觉检测设备中机械手与相机的定位方法，其特征在于：所述相机的畸变要求小于0.5%。

7.一种视觉检测设备中机械手与相机的定位装置，包括处理器，所述处理器与存储器耦合，所述存储器用于存储计算机程序/指令，所述处理器用于执行存储器中的该计算机程序/指令，其特征在于：当所述处理器执行存储器中的该计算机程序/指令时使得所述装置执行权利要求1-6中任意一项权利要求所述的视觉检测设备中机械手与相机的定位方法。

8.一种计算机可读存储介质，存储有计算机程序/指令，其特征在于：该计算机程序/指令被处理器执行时实现权利要求1-6中任意一项权利要求所述的视觉检测设备中机械手与相机的定位方法。

Images