CN103759638B - 一种零件检测方法 - Google Patents

Abstract

本发明提供一种零件检测方法，包括：获取所述零件的图像；获取所述零件的形状模型；根据所获取的图像以及所述形状模型来确定所述零件的形状；以及将所确定的形状与预先存储的所述零件的电子图纸进行比较，以确定所述零件是否与所述电子图纸匹配。通过本发明，可以对零件进行在线的、实时的、逐一的检测，从而确保每一个零件能够符合电子图纸的要求，降低人工费用，提高工作效率，并降低零件的残次比率，对于现代化的流水线生产有着重要的意义。

Description

一种零件检测方法

技术领域

本发明涉及零件例如钣金件的检测领域，尤其涉及一种利用成像技术对零件的二维平面和截面形状进行检测的方法。

背景技术

钣金是一种针对金属薄板的综合加工工艺，其显著特征是同一零件在各个部位的厚度完全一致。由于钣金具有重量轻、强度高、成本低、工艺灵活、适于大规模量产等特点，因此在工业领域的许多方面得到了广泛的应用，例如通讯、交通、电力、电梯、农业装备、工程机械、家用电器等。

一个典型的钣金零件包括了下料、折弯、焊接等几个工序。本发明中提到的“钣金零件”特指由金属薄板坯料进行下料之后得到的二维平面零件，这个零件通常需要进行折弯、焊接、表面处理等后续工序才能成为一个完整的零件。目前最常用的下料工艺是数控下料，也就是根据零件的二维CAD图形，通过数控编程，然后在数控（转塔）冲床、激光切割机、等离子切割机、水射流或者其它类型的数控切割机上进行自动加工的一种现代化加工方式。

由于下料是钣金的第一个工序，因此需要保证零件的准确性以避免将错误带到下一个工序甚至成品。传统的钣金零件的检测手段包括游标卡尺、卷尺等，但是检测效率、检测精度都很低，并且极易发生漏检和错检的现象，这主要是由钣金零件的特点决定的。同样，三坐标测量机等现代化检测手段也不适于钣金零件的检测。

发明内容

为此，本发明的目的在于提供一种能够实现零件的快速、高精度测量的零件检测方法。

为实现上述目的，本发明的零件检测方法包括：获取所述零件的图像；获取所述零件的形状模型；根据所获取的图像以及所述形状模型来确定所述零件的形状；以及将所确定的形状与预先存储的所述零件的电子图纸进行比较，以确定所述零件是否与所述电子图纸匹配。

根据本发明的一个实施方式，进一步包括：在获取所述零件的图像之前，确定所述工作台的光照模型，包括：利用多组光圈和快门的组合获取所述工作台的暗图；利用所述多组光圈和快门的组合获取所述工作台的亮图；选择所述暗图中亮度值稳定在第一特定范围内并且所述亮图中亮度值稳定在第二特定范围内所对应的光圈和快门组，以得到所述工作台的光照模型。

根据本发明的一个实施方式，进一步包括：在确定所述工作台的光照模型之后，以及在获取所述零件的图像之前，确定图像获取设备与工作台的相对位置关系，包括：在所述工作台上铺设均匀的黑白相间的棋盘格；调整所述图像获取设备，以使得所述棋盘格充满所述图像获取设备的整个视野，并使得所述图像获取设备能够拍摄所述棋盘格中尽可能大的面积；使得工作台坐标系和图像获取设备坐标系的三个维度分别对应起来；以及通过所述图像获取设备拍摄所述棋盘格来确定所述工作台上每个点的坐标；其中，所述工作台坐标系以充满所述图像获取设备的整个视野的棋盘格的中心为坐标原点，工作台坐标系的X轴和Y轴分别平行于所述工作台的两个边，Z轴垂直于所述工作台，表示为(X_W Y_W Z_W)；所述图像获取设备坐标系以所述图像获取设备的光心为坐标原点，以相机的光轴为z轴，方向与所述工作台坐标系的Z轴相反，图像获取设备坐标系的X轴和Y轴分别平行于工作台坐标系的Y轴和X轴，表示为(X_C Y_C Z_C)。

根据本发明的一个实施方式，其中，所述第一特定范围的阈值为[0，50]；所述第二特定范围的阈值为[200，250]。

根据本发明的一个实施方式，进一步包括：利用所述工作台的光照模型，以下列方式来校正所获取的所述零件的图像：

其中，V为零件图像中的每个像素的亮度值；V_l为亮图中与所述每个像素相对应位置的像素亮度值，V_d为暗图中与所述每个像素相对应位置的像素亮度值；V_min和V_max分别是预先设定的亮度值的最小值和最大值。

根据本发明的一个实施方式，其中，根据所获取的图像以及所述形状模型来确定所述零件的形状包括：利用边缘检测算子来进行边缘检测以得到边缘点；根据所述图像获取设备与工作台的相对位置关系，获取所述边缘点在所述工作台坐标系中的空间位置向量；

以及根据所述零件的形状模型，对所述边缘点在所述工作台坐标系中的空间位置向量进行微调。

根据本发明的一个实施方式，其中，所述边缘点的精度为像素级别或亚像素级别。

根据本发明的一个实施方式，其中，获取所述边缘点在所述工作台坐标系中的空间位置向量包括：确定所述零件的零件图像坐标系，其中所述零件图像坐标系以所述零件的图像的目标表面的左上角为坐标原点，X轴和Y轴分别平行于所述工作台坐标系的X轴和Y轴，表示为(u v)；

其中：f为图像获取设备的焦距；(dist_x dist_y)为相邻像素点的距离，R为旋转矩阵，t为相对于工作台中心位置的偏移量，N为图像获取设备的内部参数矩阵，M为所述图像获取设备的外部参数矩阵。

根据本发明的一个实施方式，其中，所述零件的形状模型包括：所述零件的厚度。

根据本发明的一个实施方式，其中，所述零件的形状模型进一步包括：所述零件的切割工艺和/或材质。

根据本发明的一个实施方式，其中，对所述边缘点在所述工作台坐标系中的空间位置向量进行微调包括：根据每个边缘点在所述图像中的位置和边缘的梯度方向，确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘；根据所述零件的形状模型，确定处于所述零件的上边缘的边缘点在所述工作台坐标系中的垂直投影的坐标；以及根据零件的材料确定切口的反光程度，以对边缘点进行调整。

根据本发明的一个实施方式，其中，通过以下方式来确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘：

x×dx+y×dy≥0 边缘点处于上边缘

x×dx+y×dy<0 边缘点处于下边缘

其中，（x，y）为图像中一个边缘点的坐标，（dx，dy）为所述边缘点梯度在x方向和y方向上的偏移量。

根据本发明的一个实施方式，其中，通过以下方式来对所述边缘点进行调整：

其中，其中，（x，y）为图像中一个边缘点的坐标，（dx，dy）为所述边缘点梯度在x方向和y方向上的偏移量，E_x和E_y为与所述零件的材料和切割工艺相关的系数，ΔX和ΔY分别为x方向和y方向上的调整偏移量。

根据本发明的一个实施方式，其中，将所确定的形状与预先存储的所述零件的电子图纸进行比较包括：将所确定的形状的重心与所述电子图纸的重心重叠；以重叠的重心为圆心调整所确定的形状与所述电子图纸之间的角度，直到所有所述边缘点到所述电子图纸中最邻近的线条的距离之和最小为止；根据所述电子图纸中每个线段的参数来拟合所述边缘点以形成所述零件的轮廓；以及将所述零件的轮廓与所述电子图纸进行比较，以确定所述轮廓是否符合要求。

根据本发明的一个实施方式，其中，将所述零件的轮廓与所述电子图纸进行比较以确定所述轮廓是否符合要求包括：将所述轮廓中的线段与所述电子图纸的线段进行比较，以确定所述轮廓的线段是否符合要求；和/或，将所述轮廓中线段之间的相对关系与所述电子图纸中线段的相对关系进行比较，以确定所述轮廓的边缘是否符合要求。

本发明所述零件检测方法，通过图像获取设备以及图像处理装置，能够对零件的进行全面的检测，检测内容可包括半径、直径、距离、角度等各个方面，且检测精度高，误差小，还能够通过获取并分析处理零件的轮廓，得到零件的图形文件，并将得到的图形文件与电子图纸进行比较，以确定该零件是否符合图纸的要求。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1为实现本发明的零件检测方法的检测系统的结构示意图；

图2为检测系统的一种实施方式；

图3为采用远心镜头进行型材截面测量的工作示意图；

图4是根据本发明一个实施方式的零件测量方法的流程图；

图5示出了根据本发明一个实施方式的确定工作台的光照模型的方法流程图；

图6示出了根据本发明一个实施方式的确定图像获取设备与工作台的相对位置关系的方法流程图；

图7示出了两个子步骤中建立坐标系之间的对应关系的示意图；

图8示出了根据本发明一个实施方式的、根据所获取的图像以及所述形状模型来确定所述零件的形状的操作流程图；

图9示出了图像获取设备所看到的坐标与实际坐标之间的差异的示意图；

图10示出了根据本发明一个实施方式的、对所述边缘点在所述工作台坐标系中的空间位置向量进行微调的示意性流程图；

图11示出了根据本发明一个实施方式的确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘的示意图；

图12示出了根据本发明一个实施方式的、切口边缘为短斜线的示意图；

图13示出了根据本发明一个实施方式的、切口边缘为切口边缘为长斜线的示意图；

图14示出了根据本发明一个实施方式的、切口边缘的界面为梯形的示意图；

图15示出了根据本发明另一个实施方式的，切口边缘的界面为梯形的示意图；以及

图16示出了根据本发明一个实施方式的将所确定的形状与预先存储的所述零件的电子图纸进行比较的流程图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的描述。

图1为实现本发明的零件检测方法的检测系统的结构示意图。如图1所示，该零件检测系统包括工作台100，图像获取设备200以及图像处理装置300。其中，所述工作台具有用来承载待测零件500的支承件；所述支承件可以是如图1和图2中所示的工作台顶部的工作台面110，也可以是如图3中所示的零件支架700。可以将零件放置在所述工作台面上110上或零件支架700上，使待检测部分朝向所述图像获取设备200，由图像获取设备200对该部分进行成像；所述图像处理装置300与所述图像获取设备200相连，以接收由图像获取设备200传输来的图片。所述图像处理装置中配设有专业的图像处理软件，在其接收到图像后，通过该专业图像处理软件对图像进行处理，进而获得零件轮廓的完整信息。通过该种测量方式，实现了零件的快速、精准测量，避免了人为测量带来的误差。其中，所述零件可以为钣金零件或者型材，还可以是诸如木板、石材、PVC、复合材料等任何其它不透明的非金属材料制成的零件。零件可以是平面的，也可以是立体的。

除了实现快速、精准的测量，本发明所述检测系统在处理获得零件轮廓的完整信息后，还可以根据需要将这些信息与基准CAD图形进行匹配，得到轮廓的配准图，并在配准图的基础上进行各种测量和检测。这些信息也可以直接以高质量DXF格式的图形文件保存并输出。

为了保证图像获取设备能够获取高质量的图像，本发明所述检测系统还可以配置光源，以用来对零件提供稳定的照明，避免因光线问题影响成像质量。所述光源400的设置位置可以有多种，例如可以将其设置在所述工作台100的斜上方，如图1中所示。此时，所述光源400的具体设置位置可以根据成像单元与工作台的距离进行适当调整，直至达到最佳角度和位置，实现最佳照明效果。所述光源400还可以设置在所述工作台面110的下方。如图1和图2所示的结构中，所述工作台由支撑腔体120和工作台面110组成，可以在位于所述工作台面110下方的支撑腔体120内设置光源（图中未示出）。此时，所述工作台面110是透明或半透明的，以保证光线能够从工作台中透射出来，对零件形成照明效果。将光源设置在所述工作台面下方时，可以在所述支撑腔体的侧壁上设置散热孔，将光源在发光过程中产生的热量散发出去，防止工作台温度过高。

本发明所述检测系统中，所述工作台面110由具有良好的抗冲击强度和热稳定性的钢化玻璃制成。所述光源400为荧光灯或LED灯，当然，其他任何能够对所述零件提供良好照明效果的光源也适用于本发明。

本发明中，根据目标零件类型，可以选择使用不同类型的图像获取设备，包括CCD相机、CMOS相机和光学扫描仪等。其中，所述光学扫描仪类似于传统的办公室扫描仪，在对目标零件截面进行成像时，将零件截面放置在工作台面上，使用线阵CCD对零件进行扫描，所述线阵CCD通过机械机构运动，其与照明装置集成在一起。通过该扫描方式，可得到目标零件的截面图像。

当使用CCD相机或CMOS相机时，还可以根据目标零件类型和应用领域的不同，使用不同类型的光学镜头。较为常用的镜头类型主要为广角镜头和远心镜头。

另外，还可以根据目标零件尺寸的不同，选择所述图像获取设备的数量。例如，当目标零件尺寸较小，使用一个图像获取设备即可获取该零件的轮廓信息；而当目标零件尺寸较大时，一个图像获取设备无法获取完整的图像，或者获取的图像质量不高时，可以选择使用两个或两个以上的图像获取设备分别进行成像，之后通过图像处理软件对各个图像获取设备获取的图像进行拼接、组合、处理，最终获得零件的完整图像信息。因此，本发明并不限制图像获取设备200的数量。

通常情况下，图像获取设备200与工作台100的位置相对固定，但是目标零件可以根据需要进行移动以便进行多次成像。图2示出了本发明一种实施方式的检测系统结构示意图。如图2所示，所述成像单元位于所述工作台100的上方，两者通过立柱130实现连接，在所述立柱的顶端设置有水平伸出部分140，所述成像单元设置在所述水平伸出部分140内（图中未示出）。所述立柱130的高度以保证所述工作台的工作台面110全部位于所述成像单元200的成像范围内为宜。此时，将零件置于所述工作台面110的任何位置上，所述图像获取设备200均能获取其图像。根据目标零件的大小不同，所述工作台面110的尺寸可以从最小的300ⅹ210mm（A4纸张规格）到1500ⅹ4000mm，甚至可以更大。

当需要对型材的截面进行测量时，一般使用远心镜头（Telecentric镜头）来进行成像。远心镜头主要是为纠正传统工业镜头视差而设计，因为在精密光学检测系统中，由于普通光学镜头会存在一定的制约因素，如影像的变形、视角选择而造成的误差、不适当光源干扰下造成边界的不确定性等问题，进而影响测量的精度。而远心镜头能有效降低甚至消除上述问题，它可以在一定的物距范围内，使得到的图像放大倍率不会变化。采用远心镜头对型材表面进行成像，能够保证获取高品质的图像。

由于型材一般长度较长，检测系统不适宜采用图2中所示的图像获取设备位于工作台上方的结构，此时可将所述图像获取设备与工作台面呈水平设置,此时无需对型材进行切割即可对其截面进行测量。图3示出了采用远心镜头进行型材截面测量时的工作示意图。如图3所示，型材600水平放置于工作台（图中未示出）上，型材的截面610朝向远心镜头210。型材截面610保持平整，且在周围环绕有光源400，以提高成像的品质。现有的远心镜头的最大直径一般为300mm，所以一次测量的最大型材截面尺寸为240ⅹ180mm。如果型材截面的尺寸较大，则需要对其不同部位进行多次成像。此时，可以移动所述远心镜头来获取不同部位的图像，也可以如图3中所示，在工作台上设置一个能够上下运动的零件支架700，将所述型材600架设在所述零件支架700上，通过调节零件支架来改变型材截面的高度，从而使得远心镜头210能够获取不同部位的图像。最终，将获取的型材截面各部位的图像进行拼接，得到型材截面的整体图像。

本发明所述检测系统中，所述图像处理装置300包括数据处理器310以及人机交互装置。所述数据处理器310与所述图像获取设备200相连，接收图像并进行处理。所述人机交互装置包括显示器320和操作装置。其中，所述显示器320用于显示所述数据处理装置310对图像的处理结果，所述操作装置对所述数据处理装置310进行操作，例如零件二维图纸的生成、导出和保存等。所述操作装置可以是鼠标与键盘或者是操作面板。

下面结合图4来讨论根据本发明一个实施方式的，获取零件图像以及对零件图像进行处理以确定零件是否符合电子图纸的要求的方法。

如图4所示，本发明提供的零件检测方法10包括：在步骤1300，获取所述零件的图像；在步骤1400，获取所述零件的形状模型；在步骤1500，根据所获取的图像以及所述形状模型来确定所述零件的形状；以及，在步骤1600，将所确定的形状与预先存储的所述零件的电子图纸进行比较，以确定所述零件是否与所述电子图纸匹配。

如图1-图3所示，获取零件的图像可以采用一个或多个摄像头，所采用的摄像头可以是市场上在售的相机，例如佳能、索尼、富士等品牌的相机，或者可以单独是这些相机中所采用的镜头以及所需的控制设备。对于图3所示的远心镜头，也可以采用任何市场在售的镜头，这里将不再详细描述。对图像进行拼接的技术并不是本发明所要讨论的重点，因此这里将不再详述。

摄像头的数量取决于镜头所能涵盖的面积以及零件的大小，对于大型零件，则需要多个镜头来拍摄该零件的不同部分，并将这些不同部分组合起来以形成完整的零件图像。

图5示出了根据本发明一个实施方式的确定工作台的光照模型的方法流程图。

如图5所示，在获取所述零件的图像之前，优选地需要对镜头以及工作台的位置关系进行标定，以获取精确度较高的图像。根据本发明的一个优选实施方式，本发明的方法进一步包括：在步骤1100，在获取所述零件的图像之前，确定所述工作台的光照模型，包括：在子步骤1110，利用多组光圈和快门的组合获取所述工作台的暗图；在子步骤1120，利用所述多组光圈和快门的组合获取所述工作台的亮图；在子步骤1130，选择所述暗图中亮度值稳定在第一特定范围内并且所述亮图中亮度值稳定在第二特定范围内所对应的光圈和快门组，以得到所述工作台的光照模型。

对于子步骤1110中所述的获取工作台的暗图，可以采用如下方式来进行。首先，关闭工作台上的光源，使得图像获取设备获取到的光源完全来自于外界的光线；然后，用不同的光圈和快门的组合获取工作台图像，称之为暗图。拍摄的时候要确保工作台的台面上没有任何的物品。

这里所用到的光圈和快门的组合可以是一些经验值，也可以是光圈或快门参数在一定区间内，一定间隔上的简单排列组合，从而自动进行拍摄。

对于子步骤1120中所述的获取工作台的亮图，可以采用如下方式来进行。打开工作台光源，使得图像获取设备获取到的光源来自于外界的光线和工作台的光源。用子步骤1110中的光圈或快门组合重新拍摄工作台面，所得的图像称之为亮图。同时也要确保工作台的台面上没有任何的物品。

对于子步骤1130，挑选最优的光圈和快门组合，相应得到的亮图和暗图中的亮度值均能稳定在某个合理的范围内。

分析每个光圈或快门组合获取到的亮图和暗图。如果图像中的所有像素亮度值均稳定在一定的区间内，如函数（1）所述，则这组亮图和暗图将成为工作台的光照模型。

light_value∈[V_min,V_max] （1）

这里的light_value值图像中所有像素的亮度值，[V_min,V_max]指一个特定的区间，是个经验值，一般情况下light_value的值域为[0,255]，亮图的区间在[200,250]，暗图的区间在[0,50]。即，根据本发明的一个优选实施方式，所述第一特定范围V_min的值域为[0，50]，所述第二特定范围V_max的值域为[200，250]。

图6示出了根据本发明一个实施方式的确定图像获取设备与工作台的相对位置关系的方法流程图。

如图6所示，根据本发明的一个实施方式，进一步包括：在确定所述工作台的光照模型之后，以及在获取所述零件的图像之前，在步骤1200，确定图像获取设备与工作台的相对位置关系，包括：在子步骤1210，在所述工作台上铺设均匀的黑白相间的棋盘格；在子步骤1220，调整所述图像获取设备，以使得所述棋盘格充满所述图像获取设备的整个视野，并使得所述图像获取设备能够拍摄所述棋盘格中尽可能大的面积；在子步骤1230，使得工作台坐标系和图像获取设备坐标系的三个维度分别对应起来；以及，在子步骤1240，通过所述图像获取设备拍摄所述棋盘格来确定所述工作台上每个点的坐标；其中，所述工作台坐标系以充满所述图像获取设备的整个视野的棋盘格的中心为坐标原点，工作台坐标系的X轴和Y轴分别平行于所述工作台的两个边，Z轴垂直于所述工作台，表示为(X_W Y_W Z_W)；所述图像获取设备坐标系以所述图像获取设备的光心为坐标原点，以相机的光轴为z轴，方向与所述工作台坐标系的Z轴相反，图像获取设备坐标系的X轴和Y轴分别平行于工作台坐标系的Y轴和X轴，表示为(X_C Y_C Z_C)。

对于子步骤1210中所述的黑白相间的棋盘格，其类似于国际象棋样式的棋盘格。工业上应用的棋盘格可以从市场上得到，而且，在文献Z.Zhang.A flexible newtechnique for camera calibration.IEEE Transactions on Pattern Analysis andMachine Intelligence,22(11):1330-1334,2000以及Z.Zhang.Flexible CameraCalibration By Viewing a Plane From Unknown Orientations.InternationalConference on Computer Vision(ICCV'99),Corfu,Greece,pages666-673,September1999中对采用棋盘格进行标定进行了详细描述，此处将不再进行赘述。

对于子步骤1220，本发明的目的在于使得单个图像设备获取尽量大的面积。如上文所述，对于单个设备无法覆盖的面积，则可以使用多个图像获取设备来拍摄工作台/零件的不同部分。

图7示出了子步骤1230和子步骤1240中建立坐标系以及坐标系之间的对应关系的示意图。

如图7所示，工作台坐标系以该相机所能涵盖的最大面积的中心为原点，分别建立表示为(X_W Y_W Z_W)的坐标系，相机坐标系的原点为该相机的光心，光轴为z轴。实际上，相机的Z轴与工作台的Z轴从向量上来看延伸方向相反，但处于同一条直线上。工作台坐标系的X轴和Y轴分别平行于相机坐标系的Y轴和X轴。实际上，从图7中可以看出，工作台坐标系与图像获取设备坐标系是呈180度的旋转。

当然，相机的Z轴与工作台的Z轴并不必然处于同一直线上，这样仅仅是为了简化计算，实际上，即使二者不处于同一条直线上，也可以通过简单平移的方式来进行本发明的各种计算。自然，x轴和y轴也并不必然平行，而是可以有一定角度，这样可以通过简单的角度旋转的方式来进行本发明的各项计算。

此外，上面仅仅是示出了本发明的一些实施方式。根据本发明的另一些实施方式，维度对应也并不必须是如图7所示的那种方式，相机的X、Y和Z轴与工作台的X、Y和Z轴可以是分别对应的，即工作台坐标系和相机坐标系仅仅存在平移，而不存在角度的变换。在这种方式下，仅仅通过简单的坐标变换就可以实现如图7所示的计算方式。

因此本发明所述的“维度对应”可以采用多种方式来进行，而不仅仅限于图7所示的那种实施方式。

为了进一步提高精度，可以对所获取的零件的图像进行校正。根据本发明的一个优选实施方案，进一步包括：利用所述工作台的光照模型，以下列方式来校正所获取的所述零件的图像：

其中，V为零件图像中的每个像素的亮度值；V_l为亮图中与所述每个像素相对应位置的像素亮度值，V_d为暗图中与所述每个像素相对应位置的像素亮度值；V_min和V_max分别是预先设定的亮度值的最小值和最大值。

具体而言，当将零件放置到工作台上时，图像获取设备可以获取到零件中像素的亮度值V，对应于该像素位置处的亮度值，存在有亮图中的像素亮度值V_l和V_d，V_min和V_max分别为经验值，本发明优选地分别为10和220。在此情况下，当V大于等于0且小于V_d时，则可以将该零件中相应像素的亮度值V根据上述方程组（2）进行校正，以此类推。

校正后的值将有利于提高图像获取的精度。

在建立好图像获取设备与工作台的坐标系之后，可以确定零件的具体位置，从而确定零件中每个像素所处的位置。图8示出了根据本发明一个实施方式的、根据所获取的图像以及所述形状模型来确定所述零件的形状的操作流程图。

如图8所示，根据本发明的一个实施方式，根据所获取的图像以及所述形状模型来确定所述零件的形状包括1500包括：在步骤1510，利用边缘检测算子来进行边缘检测以得到边缘点；在步骤1520，根据所述图像获取设备与工作台的相对位置关系，获取所述边缘点在所述工作台坐标系中的空间位置向量；以及，在步骤1530，根据所述零件的形状模型，对所述边缘点在所述工作台坐标系中的空间位置向量进行微调。

对于步骤1510，可以利用经典的边缘检测算子来进行零件边缘点的检测。这些边缘检测可以是sobel算子、prewitt算子、canny算子或者LOG算子。本发明的一个优选实施方式采用的是canny算子进行边缘检测。上述检测的精度为像素级别。

根据本发明的一个优选实施方式，为了进一步提高检测的精度，可以在像素级边缘检测的基础上，实现亚像素边缘检测，即利用待检测目标图像的特性，此特性可以为角点、交点、圆点、直线和曲线，对图像进行分析和理解，找到与实际目标特性最相似的位置，在这个过程中利用浮点运算，可使目标位置的精度高于整型像素的精度。亚像素边缘检测的方法有矩方法（灰度矩、空间矩或zernike矩）插值法（线性插值或曲线插值），拟合法（最小二乘线性回归、曲线拟合或曲面拟合），或者以互相关函数的相关特性为基础的数字相关法。以上几种亚像素边缘检测算法，都可以做到亚像素级别的边缘检测和对像素级边缘的细化，本实例采用的是空间矩的算法。

由此可见，本发明可以实现像素级别和亚像素级别的边缘检测，从而能够满足不同的精度要求。

可以理解，当确定了图像获取设备以及工作台的坐标系之后，可以通过适当的坐标转换来确定零件在整个坐标系中的位置，并由此确定零件的大小和尺寸。

由此，仍然如图7所示，根据本发明的一个实施方式，获取所述边缘点在所述工作台坐标系中的空间位置向量1520包括：确定所述零件的零件图像坐标系，其中所述零件图像坐标系以所述零件的图像的目标表面的左上角为坐标原点，X轴和Y轴分别平行于所述工作台坐标系的X轴和Y轴，表示为(u v)。零件的某个点在相机坐标系中的位置表述为Pimage（u,v），而在工作台坐标系中的位置表示为P(X_W Y_W Z_W)，如图7所示。下面的函数（3）表示了各种坐标系之间的转换关系：

其中：f为图像获取设备的焦距；(dist_x dist_y)为相邻像素点的距，R为旋转矩阵，t为相对于工作台中心位置的偏移量，N为图像获取设备的内部参数矩阵，M为所述图像获取设备的外部参数矩阵。上述各参数在文献Z.Zhang.Flexible Camera Calibration ByViewing a Plane From Unknown Orientations.International Conference onComputer Vision(ICCV'99),Corfu,Greece,pages666-673,September1999中均有详细描述，此处不再进行赘述。

当考虑零件的厚度时，图像获取设备所检测到的零件的上边缘由于投影关系的影响而与实际的位置并不相符。如图9所示，零件上边缘处的一个点，例如Ptop，其实际坐标应该为垂直映射到工作台坐标系中的Preal，而图像获取设备由于角度的关系，获取到的坐标为Pview。因此，在未经修正的情况下，由于零件厚度的存在而影响测量精度。因此，至少获知零件的厚度，对于提高测量精度有着重要意义。

由此，根据本发明的一个实施方式，所述零件的形状模型至少包括所述零件的厚度。该厚度可以由人工输入，或者可以通过其他外部仪器（例如光学测量仪）来得到。

为了解决由于厚度所引起的误差，可以根据上下边缘之间（切口）的形状模型和厚度，可以将上下边缘统一（即所有的上边缘转化为下边缘，或者所有的下边缘转化为上边缘），由此可以确定边缘上所有点的准确坐标。本实施例中以上边缘转化为下边缘为例。

下边缘的坐标值求取比较简单，即将图像坐标系中下边缘点的坐标转化到工作台坐标系即可。相对而言，上边缘的坐标值求取比较复杂，因为在将图像坐标系中上边缘点的坐标转化为工作台坐标系后，还需要进一步根据其厚度和切口模型进行进一步的微调，以避免厚度影响其坐标精度。

图10示出了根据本发明一个实施方式的、对所述边缘点在所述工作台坐标系中的空间位置向量进行微调1530的示意性流程图。

如图10所示，对所述边缘点在所述工作台坐标系中的空间位置向量进行微调1530包括：在步骤1531，根据每个边缘点在所述图像中的位置和边缘的梯度方向，确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘；在步骤1532，根据所述零件的形状模型，确定处于所述零件的上边缘的边缘点在所述工作台坐标系中的垂直投影的坐标；以及，在步骤1533，根据零件的材料确定切口的反光程度，以对边缘点进行调整。如图10所示的实施方式是将上边缘转化为下边缘的一个实施方式。

以下详细介绍进行微调的具体过程。

根据本发明的一个实施方式，通过以下方式来确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘：

x×dx+y×dy≥0 边缘点处于上边缘

x×dx+y×dy<0 边缘点处于下边缘 （4）

其中，（x，y）为图像中一个边缘点的坐标，（dx，dy）为所述边缘点梯度在x方向和y方向上的偏移量。

图11示出了根据本发明一个实施方式的确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘的示意图。

如图11所示，上边缘上的某点Ptop（x，y）存在dx和dy两个梯度方向，当x×dx+y×dy≥0时，则认为该点处于上边缘，而对于下边缘上的某点Pdown（x，y），当x×dx+y×dy<0时，则认为该点处于下边缘。需要理解的是，图像边缘的梯度方向，其只和图像本身边缘的走向有关，而与工作台坐标系的x轴和y轴无关。因此，图像边缘的梯度方向与工作台坐标系的各个轴向之间可以存在一定的角度，例如当图像边缘为斜线的时候，（dx，dy）为所述边缘梯度在工作台坐标系的X和Y方向上的偏移量。

从上面的描述中可以看出，对于处于下边缘的边缘点的坐标的判断是很直接的，而对上边缘的边缘点，则需要将其转换为实际的工作台坐标系。

当在实际情况中，很多零件的形状并不是如同图11所示的那样边缘垂直方向非常整齐，而是可能会一定的角度，从而如果直接按照图11所示的那样对零件进行判断，则会出现一定的偏差。

由此，需要知道零件的具体形状，即本发明所称的形状模型，从而能够根据所述零件的形状模型，来较为精确地确定处于所述零件的上边缘的边缘点在所述工作台坐标系中的垂直投影的坐标。需要理解的是，厚度信息仅仅是形状模型中的一种。根据本发明的优选实施方式，形状模型进一步包括零件的切割工艺和/或材质。

零件的不同材质，以及不同的切割工艺，会导致边缘留有不同的类型的切口。例如：线切割的零件，其边缘基本都是垂直于平面的直线，如图9和图11所示。激光切割的零件，其边缘会是斜线，且根据不同材质和不同厚度，有不同的倾斜角，如图12所示。冲压工艺的板子，会有一定的梯度和斜坡，横截面呈梯形，如图14所示。

下面结合图9以及图11-13来描述步骤1532的多个实施方式。

假设：摄像机坐标系原点与工作台坐标系XY平面之间的距离D；零件的厚度为T；

零件斜边宽度为W；上边缘点在工作台坐标的坐标矢量为P_top＝(x_top,y_top,T)；根据该上边缘点在图像上的投影，由图像坐标系转换到工作台坐标系后，为P_top＝(x_view,y_view,0)；根据厚度和边缘切口模型调整后，我们期望得到的坐标值为P_real＝(x_real,y_real,0)。

当切口边缘为垂线时（图9）:

当切口边缘为短斜线时：

若∠P_topP_viewO_w≤P_topP_viewO_w（图12）则

若∠P_topP_viewO_w＞P_topP_viewO_w（图13）则

P_real＝P_view （7）

图9以及图11-13示出了零件形状模型的几个基本形状，实际上，可以根据这几种基本形状来确定更复杂的形状。如图14和15示出了更复杂的形状，即切口的横截面为梯形。但这种较为复杂的形状实际上也可以以图9以及图11-13的方式组合起来进行计算。这里的方案涉及几何计算，本领域技术人员在获知零件的形状模型之后，可以根据几何知识计算出来，因此这里将不再详述。

通常，零件，特别是金属零件的反光也会影响测量的精确度，因此，消除零件反光所带来的偏差也将提高零件测量的精确度。

根据本发明的一个实施方式，通过以下方式来对所述边缘点进行调整，以克服由于零件反光所引起的偏差：

其中，其中，（x，y）为图像中一个边缘点的坐标，（dx，dy）为所述边缘点梯度在x方向和y方向上的偏移量，E_x和E_y为与所述零件的材料和切割工艺相关的系数，ΔX和ΔY分别为x方向和y方向上的调整偏移量。其中，E_x和E_y为经验系数，这个系数只和零件的材料和切割工艺相关，是根据大量实验获得的。例如：我们发现当激光切割且材料为不锈钢时E_x和E_y为0.1；当线切割且材料为铁时E_x和E_y为0.01。

经过上述的处理之后，可以零件的多个边缘点，将这些边缘点连接起来，则形成测量所得的零件形状。将测量所得到的零件形状与实际的电子图纸进行对比，则可以确定零件与原始电子图纸是否匹配，从而确定零件的加工精度。可以理解的是，所测的边缘点越多，则所得到的形状也越精确，但数据量也相应地越大。

图16示出了根据本发明一个实施方式的将所确定的形状与预先存储的所述零件的电子图纸进行比较的流程图。

如图16所示，将所确定的形状与预先存储的所述零件的电子图纸进行比较1600包括：在子步骤1610，将所确定的形状的重心与所述电子图纸的重心重叠；在子步骤1620，以重叠的重心为圆心调整所确定的形状与所述电子图纸之间的角度，直到所有所述边缘点到所述电子图纸中最邻近的线条的距离之和最小为止；在子步骤1630，根据所述电子图纸中每个线段的参数来拟合所述边缘点以形成所述零件的轮廓；以及，在子步骤1640，将所述零件的轮廓与所述电子图纸进行比较，以确定所述轮廓是否符合要求。

通过软件，可以很容易地确定一个轮廓的重心，在将两个轮廓的重心重合之后，可以绘制从所确定的边缘点到电子图纸线段的垂直线，并将这些垂直线进行相加，如果相加的和最小，则认为此时的旋转是最佳的。经过试验，通过计算机软件，可以在1-3秒中之内找到最佳的旋转角度。

在找到最佳的旋转角度之后，可以根据电子图纸内部的参数，例如电子图纸中线段的斜率、曲率等等，将相应的边缘点拟合起来，从而形成零件的轮廓。例如，当检测到某些边缘点附近的电子图纸的曲线是二次曲线时，则将这些边缘点以二次曲线的函数拟合起来，从而形成能够与电子图纸尽量匹配的图形。

拟合出来的零件轮廓最终可以与实际的电子图纸进行比较。

对二者进行比较可以采用多种方式，可以对每个线段进行比较，也可以对线段之间的相对关系进行比较，且该比较由计算机自动完成。

根据本发明的一个实施方式，将所述零件的轮廓与所述电子图纸进行比较以确定所述轮廓是否符合要求包括：将所述轮廓中的线段与所述电子图纸的线段进行比较，以确定所述轮廓的线段是否符合要求。这里的比较，是将每个线段与电子图纸的对应线段进行单独比较，例如直线段的长度、方向或是弧线段的直径等，从而判断每个线段是否符合电子图纸的要求。

可选地或者附加地，可以将所述轮廓中线段之间的相对关系与所述电子图纸中线段的相对关系进行比较，以确定所述轮廓的边缘是否符合要求。这里的比较，是将各线段的相对关系进行比较，例如直线段到直线段的距离、弧线段的圆心到直线段的距离、两个弧线段的圆心之间的距离，以确定轮廓的布局整体上是否与电子图纸相匹配。

通过本发明的以上描述可以看出，本发明首先对工作台、相机的坐标进行标定并由此确定整个零件测量系统的基本参数，然后对放置到工作台上的零件进行拍照，接下来对拍摄得到的图像进行处理和分析，以得到该零件的轮廓参数。最后，将得到的轮廓参数与预先存储的电子图纸进行比较，由此确定该零件是否符合电子图纸的要求。

相对于传统上通过手工来对不同批次的零件进行抽样检测的方法而言，本发明的方法可以直接对零件进行在线的、实时的、逐一的检测，从而确保每一个零件能够符合电子图纸的要求，降低人工费用，提高工作效率，并降低零件的残次比率，对于现代化的流水线生产有着重要的意义。

上述的不同块、操作以及技术的至少一部分可以被执行，通过使用硬件，处理器执行固件指令，处理器执行软件指令，或者及其任意组合。当采用执行固件以及软件指令的处理器执行时，软件或固件指令可以被存储在任意计算机可读存储中，例如磁盘，光盘或者其他存储介质，在一个RAM或者ROM或者flash存储器，处理器，硬盘，光盘，磁盘等等。同样地，软件和固件指令可以被传输到用户或者系统，通过任意已知的或者期望的传输方式包括，例如，在计算机可读盘或者其他便携式计算机存储机制或者通过通信媒介。通信媒介典型地具体话计算机可读指令，数据结构，程序模块或者在已调制数据信号中的其它数据例如载波或者其他传输机制。通过示例，并非限制，通信介质包括有线介质例如有线网络或者单线连接，以及无线媒介，例如声、无线频率，红外以及其它无线介质。从而，软件和固件指令可以被传输给用户或者系统，通过通信信道，例如电话线，DSL线，电缆电视线，光纤线缆，无线信道，因特网，等等（通过便携式存储介质提供这样的软件，其被看作是相同的或者可互换的）。软件或者固件指令可以包括及其可读指令，其当由处理器执行时，导致处理器执行不同动作。

当在硬件中执行时，硬件可以包括一个或多个离散成分，一个集成电路，一个应用特定的集成电路（ASIC），等等。

虽然当前发明参考特定的示例被描述，其只是为了解释的目的而不是对本发明的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本发明的范围。

Claims (13)

1.一种零件检测方法，包括：

获取所述零件的图像；

获取所述零件的形状模型；

根据所获取的图像以及所述形状模型来确定所述零件的形状；以及

将所确定的形状与预先存储的所述零件的电子图纸进行比较，以确定所述零件是否与所述电子图纸匹配；

所述根据所获取的图像以及所述形状模型来确定所述零件的形状具体包括：根据利用边缘检测算子来进行边缘检测以得到边缘点；根据所述图像获取设备与工作台的相对位置关系，获取所述边缘点在所述工作台坐标系中的空间位置向量；以及

根据所述零件的形状模型，对所述边缘点在所述工作台坐标系中的空间位置向量进行微调，包括：

根据每个边缘点在所述图像中的位置和边缘的梯度方向，确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘；

根据所述零件的形状模型，确定处于所述零件的上边缘的边缘点在所述工作台坐标系中的垂直投影的坐标；以及

根据零件的材料确定切口的反光程度，以对边缘点进行调整。

2.根据权利要求1所述的零件检测方法，进一步包括：在获取所述零件的图像之前，确定所述工作台的光照模型，包括：

利用多组光圈和快门的组合获取所述工作台的暗图；

利用所述多组光圈和快门的组合获取所述工作台的亮图；

选择所述暗图中亮度值稳定在第一特定范围内并且所述亮图中亮度值稳定在第二特定范围内所对应的光圈和快门组，以得到所述工作台的光照模型。

3.根据权利要求2所述的零件检测方法，进一步包括：在确定所述工作台的光照模型之后，以及在获取所述零件的图像之前，确定图像获取设备与工作台的相对位置关系，包括：

在所述工作台上铺设均匀的黑白相间的棋盘格；

调整所述图像获取设备，以使得所述棋盘格充满所述图像获取设备的整个视野，并使得所述图像获取设备能够拍摄所述棋盘格中尽可能大的面积；

使得工作台坐标系和图像获取设备坐标系的三个维度分别对应起来；以及

通过所述图像获取设备拍摄所述棋盘格来确定所述工作台上每个点的坐标；

其中，所述工作台坐标系以充满所述图像获取设备的整个视野的棋盘格的中心为坐标原点，工作台坐标系的X轴和Y轴分别平行于所述工作台的两个边，Z轴垂直于所述工作台，表示为(X_w Y_w Z_w)；所述图像获取设备坐标系以所述图像获取设备的光心为坐标原点，以相机的光轴为z轴，方向与所述工作台坐标系的Z轴相反，图像获取设备坐标系的X轴和Y轴分别平行于工作台坐标系的Y轴和X轴，表示为(X_c Y_c Z_c)。

4.根据权利要求2所述的零件检测方法，其中，

所述第一特定范围的阈值为[0，50]；

所述第二特定范围的阈值为[200，250]。

5.根据权利要求2所述的零件检测方法，进一步包括：

利用所述工作台的光照模型，以下列方式来校正所获取的所述零件的图像：

其中，V为零件图像中的每个像素的亮度值；为亮图中与所述每个像素相对应位置的像素亮度值，V_d为暗图中与所述每个像素相对应位置的像素亮度值；V_min和V_max分别是预先设定的亮度值的最小值和最大值。

6.根据权利要求1所述的零件检测方法，其中，所述边缘点的精度为像素级别或亚像素级别。

7.根据权利要求3所述的零件检测方法，其中，获取所述边缘点在所述工作台坐标系中的空间位置向量包括：

确定所述零件的零件图像坐标系，其中所述零件图像坐标系以所述零件的图像的目标表面的左上角为坐标原点，X轴和Y轴分别平行于所述工作台坐标系的X轴和Y轴，表示为(uv)；

其中：f为图像获取设备的焦距；dist_x、dist_y为相邻像素点的距离，R为旋转矩阵，t为相对于工作台中心位置的偏移量，N为图像获取设备的内部参数矩阵，M为所述图像获取设备的外部参数矩阵。

8.根据权利要求1所述的零件检测方法，其中，所述零件的形状模型包括：

所述零件的厚度。

9.根据权利要求8所述的零件检测方法，其中，所述零件的形状模型进一步包括：所述零件的切割工艺和/或材质。

10.根据权利要求1所述的零件检测方法，其中，通过以下方式来确定每个所述边缘点边缘处于所述零件的上边缘还是下边缘：

x×dx+y×dy≥0边缘点处于上边缘

x×dx+y×dy<0边缘点处于下边缘

其中，(x，y)为图像中一个边缘点的坐标，(dx，dy)为所述边缘点梯度在x方向和y方向上的偏移量。

11.根据权利要求1所述的零件检测方法，其中，通过以下方式来对所述边缘点进行调整：

其中，(x，y)为图像中一个边缘点的坐标，(dx，dy)为所述边缘点梯度在x方向和y方向上的偏移量，E_x和E_y为与所述零件的材料和切割工艺相关的系数，ΔX和ΔY分别为x方向和y方向上的调整偏移量。

12.根据权利要求1所述的零件检测方法，其中，将所确定的形状与预先存储的所述零件的电子图纸进行比较包括：

将所确定的形状的重心与所述电子图纸的重心重叠；

以重叠的重心为圆心调整所确定的形状与所述电子图纸之间的角度，直到所有所述边缘点到所述电子图纸中最邻近的线条的距离之和最小为止；

根据所述电子图纸中每个线段的参数来拟合所述边缘点以形成所述零件的轮廓；以及

将所述零件的轮廓与所述电子图纸进行比较，以确定所述轮廓是否符合要求。

13.根据权利要求12所述的零件检测方法，其中，将所述零件的轮廓与所述电子图纸进行比较以确定所述轮廓是否符合要求包括：

将所述轮廓中的线段与所述电子图纸的线段进行比较，以确定所述轮廓的线段是否符合要求；和/或

将所述轮廓中线段之间的相对关系与所述电子图纸中线段的相对关系进行比较，以确定所述轮廓的边缘是否符合要求。