CN111442723B - 手机中板螺母形状与位置一体化检测方法及装置 - Google Patents

手机中板螺母形状与位置一体化检测方法及装置 Download PDF

Info

Publication number
CN111442723B
CN111442723B CN202010229623.1A CN202010229623A CN111442723B CN 111442723 B CN111442723 B CN 111442723B CN 202010229623 A CN202010229623 A CN 202010229623A CN 111442723 B CN111442723 B CN 111442723B
Authority
CN
China
Prior art keywords
nut
detected
delta
detected nut
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010229623.1A
Other languages
English (en)
Other versions
CN111442723A (zh
Inventor
王琪
谈发明
倪福银
李小伟
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Technology
Original Assignee
Jiangsu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Technology filed Critical Jiangsu University of Technology
Priority to CN202010229623.1A priority Critical patent/CN111442723B/zh
Publication of CN111442723A publication Critical patent/CN111442723A/zh
Application granted granted Critical
Publication of CN111442723B publication Critical patent/CN111442723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手机中板螺母形状与位置一体化检测方法及装置，其中，一体化检测方法包括：获取被检测螺母于手机中板表面预装的图像；对图像进行处理提取被检测螺母的特征图元，并根据特征图元确定被检测螺母的螺母类型；判断被检测螺母的螺母类型是否正确；若是，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差，并根据该距离差判断是否需要对被检测螺母进行二次定位；若是，根据计算得到的距离差对被检测螺母的位置进行调整。其使得螺母精准地焊接在配套的螺柱上，提升螺母焊接的效率和准确性，节约时间。

Description

手机中板螺母形状与位置一体化检测方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种手机中板螺母形状与位置一体化检测方法及装置。
背景技术
目前，手机已经成为人们生活和工作中必备的随身物品，主要包括屏幕、主板、手机中板、电池等部件。在装配过程中，手机中板上需要焊接许多螺母，用于后续配置各类元器件。焊接螺母的工艺由两大步骤完成：1)将螺母预装于手机中板表面；2)对手机中板表面的螺母进行激光焊接。
一般来说，为了满足功能需求，手机中板表面需要焊接大量的小螺母，而为了均衡节拍，传统的流水线上通常将需要焊接的螺母人为地分成若干个区域，再由若干台焊接机分别进行焊接，每台焊接机完成一个指定区域的焊接工作。虽然这样能够满足焊接螺母的需求，但是会出现螺母的位置定位不准确、形状不同的螺母未能焊接在准确位置的情况，故在对螺母进行焊接之前对其进行进一步的定位成了一种需求。
发明内容
针对上述现有技术的不足，本发明提供了一种手机中板螺母形状与位置一体化检测方法及装置，有效解决现有焊接方法中易出现的螺母位置定位不准确、形状不同的螺母未能焊接在准确位置等技术问题。
为了实现上述目的，本发明通过以下技术方案实现：
一种手机中板螺母形状与位置一体化检测方法，包括：
获取被检测螺母于手机中板表面预装的图像；
对所述图像进行处理提取被检测螺母的特征图元，并根据所述特征图元确定被检测螺母的螺母类型；
判断被检测螺母的螺母类型是否正确；
若是，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；
于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差，并根据该距离差判断是否需要对所述被检测螺母进行二次定位；
若是，根据计算得到的距离差对被检测螺母的位置进行调整，完成对被检测螺母形状与位置的一体化检测。
在本技术方案中，通过提取被检测螺母的特征图元判断手机中板中相应位置预装的螺母的类型是否正确，避免不同区域不同类型的螺母使用错误；且在判断螺母类型正确后，进一步判断该被检测螺母是否需要进行二次定位，使得螺母精准地焊接在配套的螺柱上，该基于机器视觉的检测方法有效提升了螺母焊接的效率和准确性，节约时间。
进一步优选地，在所述获取被检测螺母于手机中板表面预装的图像中，包括：
采用视觉环形光源对被检测螺母进行照射；
采样CCD相机获取被检测螺母于手机中板表面预装的图像。
在本技术方案中，使用CCD相机准确获取被检测螺母于手机中板表面预装的图像，进而对获取的图像进行处理，简单方便。
进一步优选地，在所述对所述图像进行处理提取被检测螺母的特征图元，进而根据所述特征图元确定被检测螺母的螺母类型中，包括：
根据所述被检测螺母于手机中板表面预装图像的灰度图，得到二值边缘图像；
从所述二值边缘图像中提取被检测螺母的特征图元；
将提取的特征图元的参数与预存的不同螺母类型的参数进行比较，进而确定被检测螺母的螺母类型；所述特征图元的参数包括：特征图元的数量及相邻特征图元的内角。
在本技术方案中，通过从被检测螺母于手机中板表面预装图像的二值边缘图像中提取特征图元，进而根据特征图元的数量及相邻特征图元的内角判断其类型，简单且准确，避免不同区域不同类型的螺母使用错误，提升焊接的准确度。
进一步优选地，在所述以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系中包括：
分别检测螺母表面提取的各特征图元中起点与终点的连线方向；
选定其中的一组起点与终点的连线方向相互平行的特征图元；
以被检测螺母配套的螺柱的中心位置为坐标原点，沿该组特征图元起点与终点的连线方向建立x坐标轴，并沿其垂直方向建立y坐标轴；
在所述于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差，并根据该距离差判断是否需要对所述被检测螺母进行二次定位中，包括：
于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx；
于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy；
分别判断Δx和Δy是否为0；
若Δx和Δy中至少有一个不为0，判断需要对所述被检测螺母进行二次定位；
在所述根据计算得到的距离差对被检测螺母的位置进行调整中，包括：根据Δx和/或Δy的符号及大小对被检测螺母的位置进行调整。
在本技术方案中，根据距离差Δx和Δy对被检测螺母的位置进行进一步调整，使得螺母精准地焊接在配套的螺柱上，提升螺母焊接的效率。
进一步优选地，在所述于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx中，Δx＝A1-A3，其中，A1为x正轴方向上坐标原点与被检测螺母内边缘间的距离，A3为x负轴方向上坐标原点与被检测螺母内边缘间的距离；
在所述于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy中，Δy＝A2-A4，A2为y正轴方向上坐标原点与被检测螺母内边缘间的距离，A4为y负轴方向上坐标原点与被检测螺母内边缘间的距离；
在所述根据Δx和/或Δy的符号及大小对被检测螺母的位置进行调整中，包括：
当Δx＞0，控制被检测螺母朝向x正轴方向上调整Δx；
当Δx＜0，控制被检测螺母朝向x负轴方向上调整Δx；
当Δy＞0，控制被检测螺母朝向y正轴方向上调整Δy；
当Δy＜0，控制被检测螺母朝向y负轴方向上调整Δy。
本发明还提供了一种手机中板螺母形状与位置一体化检测装置，包括：
图像获取模块，用于获取被检测螺母于手机中板表面预装的图像；
图像处理模块，与所述图像获取模块连接，用于对所述图像获取模块获取的图像进行处理提取被检测螺母的特征图元，并根据所述特征图元确定被检测螺母的螺母类型；
判断模块，分别与所述图像处理模块和计算模块连接，用于根据图像处理模块的确定结果判断其螺母类型是否正确；及用于根据计算模块计算的距离差判断是否需要对所述被检测螺母进行二次定位；
距离获取模块，与所述判断模块连接，用于当判断模块判断螺母类型正确时，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；
计算模块，与所述距离获取模块连接，用于于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差；
螺母调整模块，分别与所述计算模块和判断模块连接，用于当判断模块判断需要对所述被检测螺母进行二次定位时，根据计算得到的距离差对被检测螺母的位置进行调整，完成对被检测螺母形状与位置的一体化检测。
在本技术方案中，通过提取被检测螺母的特征图元判断手机中板中相应位置预装的螺母的类型是否正确，避免不同区域不同类型的螺母使用错误；且在判断螺母类型正确后，进一步判断该被检测螺母是否需要进行二次定位，使得螺母精准地焊接在配套的螺柱上，提升螺母焊接的效率和准确性，节约时间。
进一步优选地，在所述图像处理模块中，包括：
二值边缘图像获取单元，用于根据所述图像获取模块获取的图像的灰度图得到二值边缘图像；
特征图元提取单元，与所述二值边缘图像获取单元连接，用于从所述二值边缘图像获取单元得到的二值边缘图像中提取被检测螺母的特征图元；
螺母类型确定单元，与所述特征图元提取单元连接，用于将提取的特征图元的参数与预存的不同螺母类型的参数进行比较，进而确定被检测螺母的螺母类型；所述特征图元的参数包括：特征图元的数量及相邻特征图元的内角。
在本技术方案中，通过从被检测螺母于手机中板表面预装图像的二值边缘图像中提取特征图元，进而根据特征图元的数量及相邻特征图元的内角判断其类型，简单且准确，避免不同区域不同类型的螺母使用错误，提升焊接的准确度。
进一步优选地，所述距离获取模块还用于分别检测螺母表面提取的各特征图元中起点与终点的连线方向；选定其中的一组起点与终点的连线方向相互平行的特征图元；及以被检测螺母配套的螺柱的中心位置为坐标原点，沿该组特征图元起点与终点的连线方向建立x坐标轴，并沿其垂直方向建立y坐标轴；
所述计算模块还用于于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx，及于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy；
所述判断模块还用于分别判断Δx和Δy是否为0，当Δx和Δy至少有一个不为0时，判断需要对所述被检测螺母进行二次定位；
所述螺母调整模块还用于当判断模块判断需要对所述被检测螺母进行二次定位时，根据Δx和/或Δy的符号及大小对被检测螺母的位置进行调整。
在本技术方案中，根据距离差Δx和Δy对被检测螺母的位置进行进一步调整，使得螺母精准地焊接在配套的螺柱上，提升螺母焊接的效率。
本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现上述手机中板螺母形状与位置一体化检测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述手机中板螺母形状与位置一体化检测方法的步骤。
附图说明
结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
图1为本发明中手机中板螺母形状与位置一体化检测方法流程示意图；
图2为本发明一实例中不同螺母检测流程图；
图3为本发明中螺母位置二次定位图；
图4为本发明中手机中板螺母形状与位置一体化检测装置结构示意图；
图5为本发明中终端设备结构示意图。
附图标记：
100-一体化检测装置，110-图像获取模块，120-图像处理模块，130-判断模块，140-距离获取模块，150-计算模块，160-螺母调整模块，200-终端设备，210-存储器，220-处理器，211-计算机程序。
具体实施方式
为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
如图1所示为本发明提供的手机中板螺母形状与位置一体化检测方法流程示意图，从中可以看出包括：S10获取被检测螺母于手机中板表面预装的图像；S20对图像进行处理提取被检测螺母的特征图元，并根据特征图元确定被检测螺母的螺母类型；S30判断被检测螺母的螺母类型是否正确；S40若是，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；S50于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差，并根据该距离差判断是否需要对被检测螺母进行二次定位；S60若是，根据计算得到的距离差对被检测螺母的位置进行调整，完成对被检测螺母形状与位置的一体化检测。
这里，被检测螺母的类型包括手机中板中需要使用的任意种类螺母，如，六角螺母、八角螺母等。在手机中板装配过程中，将各螺母预装于手机中板表面之后，随即对其进行拍照获取图像，并通过从中提取被检测螺母的特征图元的方式判断螺母类型是否正确，具体，对被检测螺母的类型进行判断的过程可分为图像获取、图像处理及参数对比三个步骤。
首先，采用发光二极管环形光源(Light emitting diode，LED)对被检测螺母进行照射，并采样CCD(Charge Coupled Device，电荷耦合器件)相机获取被检测螺母于手机中板表面预装的图像。其中，发光二极管环形光源以沐光形式在光源中心区域产生高密度光输出，且亮度可根据不同需求进行调节；
CCD相机获取被检测螺母的俯视图像。另外，CCD相机获取了被检测螺母的俯视图像之后，将标准的帕尔制视频信号输出至图像采集卡，并通过图像采集卡对CCD相机输出的模拟信号进行滤波等处理后将其转换成数字信号，以此计算机中的图像应用软件读取数字信号后将其作为图像文件保存于内存中。
之后，根据保存的图像文件的灰度图得到被检测螺母的二值边缘图像，并从中提取被检测螺母对应的特征图元，作为与真实螺母参数对比的依据。这里，不同类型的螺母，通常通过螺母上表面的形状确定，是以在确定其类型的过程中，采集的特征图元参数具体表现为二值边缘图像中线段的数量及各相邻线段之间的夹角，即特征图元通过线段的形式表现，而线段的数量通过提取的特征图元的数量确定。相邻两条线段之间的内角可利用边界点法提取线段的临界点来确定，应当知道，相邻两条线段的有用临界点为3个，以此剔除多余的临界点之后即可确定该3个点的位置，再利用倾斜角关系确定两条线段内角的角度值。提取了被检测螺母的特征图元参数之后，随即将其与预存的不同螺母类型的参数进行比较，若提取的特征图元的参数与图像处理软件中预存的不同螺母类型的参数相同，说明螺母使用正确；反之，则不正确。要注意的是，在图像处理软件中，预存的不同螺母类型参数除了包括螺母表面线段的数量及相连线段之间的内角之外，同时包括手机中板中各位置对应螺母的螺母类型。在对螺母的图像进行处理的过程中，同时会通过被检测螺母于图像中的位置确定其在手机中板中的位置，进而图像处理软件能够根据该位置确定其所属类型。另外，在提取特征图元的过程中，还会根据螺母表面表现形式为线段的特征图元长度相等且两两相邻的特性，对特征图元提取过程中的可能存在的噪点等干扰因素进行剔除，以便提取出准确的特征图元，提高其精确度。基于此，在确定相邻线段之间内角的过程中，只需从得到的特征图元中提取相邻的两个即可确定。
在一实例中，被检测螺母的类型包括六角螺母和八角螺母，则检测流程图如图2所示，采用发光二极管环形光源对被检测螺母进行照射之后，采样CCD相机获取被检测螺母于手机中板表面预装的图像；之后，通过图像采集卡对CCD相机输出的模拟信号进行滤波等处理后将其转换成数字信号，以此计算机中的图像应用软件读取数字信号后将其作为图像文件保存于内存中。对于六角螺母来说，其顶部外形线段数为6，相邻两条线段之间的内角为120°；对于八角螺母来说，其顶部外形线段数为8，相邻两条线段之间的内角为135°，故只要确定了提取的特征图元的数量及相邻特征图元之间的内角即可确定被检测螺母的类型。当然，为了提升检测结果的效率，可以预先为相邻线段之间的夹角设定一定的阈值，如对于六角螺母来说，相邻两条线段之间的内角阈值为120±5°；对于八角螺母来说，相邻两条线段之间的内角阈值为135±5°等。
确定被检测螺母的类型正确之后，进入判断是否需要对其进行二次定位(一次定位(螺母预装到手机中板的位置，即螺母的初次位置)的基础上对被检测螺母进行精准定位，便于后续焊接)的步骤。具体，首先，以VB.NET为开发平台在机器视觉Halcon算法中基于图像处理技术在手机中板上螺母需要焊接的正确位置确定图像处理区域A(圆形区域，并标记以被检测螺母配套的螺柱的中心位置O为坐标原点建立xy坐标系)，图像处理中心点选定为与螺母配套的螺柱的中心点(螺柱本身固定在手机中板上，其中心点可提前确定)。其次，编写程序分别计算出图像处理中心点沿着x坐标轴和y坐标轴的正负方向到螺母内边缘的距离，分别记作A1、A2、A3和A4，如图3所示。之后，于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx，于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy；并分别判断Δx和Δy是否为0；若Δx和Δy中至少有一个不为0，判断需要对被检测螺母进行二次定位。
为了实现螺母于任何状态时都能实现上述目的，在xy坐标系建立的过程中，首先对提取的各特征图元中起点与终点的连线方向进行检测；以此选定其中的一组起点与终点的连线方向相互平行的特征图元；最后，以被检测螺母配套的螺柱的中心位置为坐标原点，沿该组特征图元起点与终点的连线方向建立x坐标轴，并沿其垂直方向建立y坐标轴。如，在一实例中，当被检测螺母为六角螺母时，会检测到3对相互平行的特征图元，则从中随机选定一组并沿其起点与终点的连线方向建立x坐标轴，沿其垂直方向建立y坐标轴。当然，在其他实例中，还可以沿选定的特征图元起点与终点的连线方向建立y坐标轴，沿其垂直方向建立x坐标轴等方式建立xy坐标轴，这里不做限定。
具体，在根据计算得到的距离差对被检测螺母的位置进行调整中，若有Δx＝A1-A3＝0且Δy＝A2-A4＝0，判断被检测螺母位置准确，不需要二次定位，如式(1)：
Figure BDA0002428861380000081
其中，A1为x正轴方向上坐标原点与被检测螺母内边缘间的距离，A3为x负轴方向上坐标原点与被检测螺母内边缘间的距离，A2为y正轴方向上坐标原点与被检测螺母内边缘间的距离，A4为y负轴方向上坐标原点与被检测螺母内边缘间的距离。
若有Δx＝A1-A3≠0和/或Δy＝A2-A4≠0，判断被检测螺母位置不准确，需要二次定位，则采用式(2)分别计算x坐标轴和y坐标的距离差Δx和Δy：
Figure BDA0002428861380000091
如果Δx＞0，说明螺母向着x坐标轴的正轴方向偏离了|Δx|的距离，需要将螺母往x坐标轴的负轴方向调整，调整大小为|Δx|；如果Δx＜0，则说明螺母向着x坐标轴的负轴方向偏离了|Δx|的距离，需要将螺母往x坐标轴的正轴方向调整，调整大小同样为|Δx|。同理，如果Δy＞0，说明螺母向着y坐标轴的正轴方向偏离了|Δy|的距离，需要将螺母往y坐标轴的负轴方向调整，调整大小为|Δy|；如果Δy＜0，则说明螺母向着y坐标轴的负轴方向偏离了|Δy|的距离，需要将螺母往y坐标轴的正轴方向调整，调整大小同样为|Δy|，直到距离差Δx和Δy满足式(3)：
Figure BDA0002428861380000092
即满足式(1)，完成被检测螺母的二次定位，此时被检测螺母的中心点和螺柱的中心点完全吻合，可实现精准焊接。
本发明还提供了一种手机中板螺母形状与位置一体化检测装置100，如图4所示，该一体化检测装置100包括：图像获取模块110，用于获取被检测螺母于手机中板表面预装的图像；图像处理模块120，与图像获取模块110连接，用于对图像获取模块110获取的图像进行处理提取被检测螺母的特征图元，并根据特征图元确定被检测螺母的螺母类型；判断模块130，分别与图像处理模块120和计算模块150连接，用于根据图像处理模块120的确定结果判断其螺母类型是否正确；及用于根据计算模块150计算的距离差判断是否需要对被检测螺母进行二次定位；距离获取模块140，与判断模块130连接，用于当判断模块130判断螺母类型正确时，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；计算模块150，与距离获取模块140连接，用于于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差；螺母调整模块160，分别与计算模块150和判断模块130连接，用于当判断模块130判断需要对被检测螺母进行二次定位时，根据计算得到的距离差对被检测螺母的位置进行调整，完成对被检测螺母形状与位置的一体化检测。
这里，被检测螺母的类型包括手机中板中需要使用的任意种类螺母，如，六角螺母、八角螺母等。在手机中板装配过程中，将各螺母预装于手机中板表面之后，随即通过图像获取模块110对其进行拍照获取图像，并通过图像处理模块120从中提取被检测螺母的特征图元的方式判断螺母类型是否正确，具体，对被检测螺母的类型进行判断的过程可分为图像获取、图像处理及参数对比三个步骤。
首先，图像获取模块110采用发光二极管环形光源对被检测螺母进行照射，并采样CCD相机获取被检测螺母于手机中板表面预装的图像。其中，发光二极管环形光源以沐光形式在光源中心区域产生高密度光输出，且亮度可根据不同需求进行调节；CCD相机获取被检测螺母的俯视图像。另外，CCD相机获取了被检测螺母的俯视图像之后，将标准的帕尔制视频信号输出至图像采集卡，并通过图像采集卡对CCD相机输出的模拟信号进行滤波等处理后将其转换成数字信号，以此计算机中的图像应用软件读取数字信号后将其作为图像文件保存于内存中。
之后，图像处理模块120中的二值边缘图像获取单元根据保存的图像文件的灰度图得到被检测螺母的二值边缘图像，并通过特征图元提取单元从中提取被检测螺母对应的特征图元，作为螺母类型确定单元与真实螺母参数对比的依据。这里，不同类型的螺母，通常通过螺母上表面的形状确定，是以在确定其类型的过程中，采集的特征图元参数具体表现为二值边缘图像中线段的数量及各相邻线段之间的夹角，即特征图元通过线段的形式表现，而线段的数量通过提取的特征图元的数量确定。相邻两条线段之间的内角可利用边界点法提取线段的临界点来确定，应当知道，相邻两条线段的有用临界点为3个，以此剔除多余的临界点之后即可确定该3个点的位置，再利用倾斜角关系确定两条线段内角的角度值。提取了被检测螺母的特征图元参数之后，随即判断模块130将其与预存的不同螺母类型的参数进行比较，若提取的特征图元的参数与预存的不同螺母类型的参数相同，说明螺母使用正确；反之，则不正确。要注意的是，预存的不同螺母类型参数除了包括螺母表面线段的数量及相连线段之间的内角之外，同时包括手机中板中各位置对应螺母的螺母类型。在对螺母的图像进行处理的过程中，同时会通过被检测螺母于图像中的位置确定其在手机中板中的位置，进而图像处理软件能够根据该位置确定其所属类型。另外，在提取特征图元的过程中，还会根据螺母表面表现形式为线段的特征图元长度相等且两两相邻的特性，对特征图元提取过程中的可能存在的噪点等干扰因素进行剔除，以便提取出准确的特征图元，提高其精确度。基于此，在确定相邻线段之间内角的过程中，只需从得到的特征图元中提取相邻的两个即可确定。
确定被检测螺母的类型正确之后，进入判断是否需要对其进行二次定位(一次定位(螺母预装到手机中板的位置，即螺母的初次位置)的基础上对被检测螺母进行精准定位，便于后续焊接)的步骤。具体，首先，以VB.NET为开发平台在机器视觉Halcon算法中基于图像处理技术在手机中板上螺母需要焊接的正确位置确定图像处理区域A(圆形区域，并标记以被检测螺母配套的螺柱的中心位置O为坐标原点建立xy坐标轴)，图像处理中心点选定为与螺母配套的螺柱的中心点(螺柱本身固定在手机中板上，其中心点可提前确定)。其次，距离获取模块140分别计算出图像处理中心点沿着x坐标轴和y坐标轴的正负方向到螺母内边缘的距离，分别记作A1、A2、A3和A4，如图3所示。之后，计算模块150于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx、于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy；并通过判断模块130分别判断Δx和Δy是否为0；若Δx和Δy中至少有一个不为0，判断需要对被检测螺母进行二次定位。
为了实现螺母于任何状态时都能实现上述目的，在xy坐标系建立的过程中，首先对提取的各特征图元中起点与终点的连线方向进行检测；以此选定其中的一组起点与终点的连线方向相互平行的特征图元；最后，以被检测螺母配套的螺柱的中心位置为坐标原点，沿该组特征图元起点与终点的连线方向建立x坐标轴，并沿其垂直方向建立y坐标轴。如，在一实例中，当被检测螺母为六角螺母时，会检测到3对相互平行的特征图元，则从中随机选定一组并沿其起点与终点的连线方向建立x坐标轴，沿其垂直方向建立y坐标轴。当然，在其他实例中，还可以沿选定的特征图元起点与终点的连线方向建立y坐标轴，沿其垂直方向建立x坐标轴等方式建立xy坐标轴，这里不做限定。
具体，在螺母调整模块160根据计算得到的距离差对被检测螺母的位置进行调整中，若有Δx＝A1-A3＝0且Δy＝A2-A4＝0，判断被检测螺母位置准确，不需要二次定位，如式(1)。若有Δx＝A1-A3≠0和/或Δy＝A2-A4≠0，判断被检测螺母位置不准确，需要二次定位，则采用式(2)分别计算x坐标轴和y坐标的距离差Δx和Δy，如果Δx＞0，说明螺母向着x坐标轴的正轴方向偏离了|Δx|的距离，需要将螺母往x坐标轴的负轴方向调整，调整大小为|Δx|；如果Δx＜0，则说明螺母向着x坐标轴的负轴方向偏离了|Δx|的距离，需要将螺母往x坐标轴的正轴方向调整，调整大小同样为|Δx|。同理，如果Δy＞0，说明螺母向着y坐标轴的正轴方向偏离了|Δy|的距离，需要将螺母往y坐标轴的负轴方向调整，调整大小为|Δy|；如果Δy＜0，则说明螺母向着y坐标轴的负轴方向偏离了Δy的距离，需要将螺母往y坐标轴的正轴方向调整，调整大小同样为|Δy|，直到距离差Δx和Δy满足式(3)，即满足式(1)，完成被检测螺母的二次定位，此时被检测螺母的中心点和螺柱的中心点完全吻合，可实现精准焊接。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序单元或模块，以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中，也可是各个单元单独物理存在，也可以两个或两个以上单元集成在一个处理单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序单元的形式实现。另外，各程序模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
图5是本发明一个实施例中提供的终端设备的结构示意图，如所示，该终端设备200包括：处理器220、存储器210以及存储在存储器210中并可在处理器220上运行的计算机程序211，例如：手机中板螺母形状与位置一体化检测方法关联程序。处理器220执行计算机程序211时实现上述各个手机中板螺母形状与位置一体化检测方法实施例中的步骤，或者，处理器220执行计算机程序211时实现上述手机中板螺母形状与位置一体化检测方法装置实施例中各模块的功能。
终端设备200可以为笔记本、掌上电脑、平板型计算机、手机等设备。终端设备200可包括，但不仅限于处理器220、存储器210。本领域技术人员可以理解，图5仅仅是终端设备200的示例，并不构成对终端设备200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如：终端设备200还可以包括输入输出设备、显示设备、网络接入设备、总线等。
处理器220可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器220可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器210可以是终端设备200的内部存储单元，例如：终端设备200的硬盘或内存。存储器210也可以是终端设备200的外部存储设备，例如：终端设备200上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器210还可以既包括终端设备200的内部存储单元也包括外部存储设备。存储器210用于存储计算机程序211以及终端设备200所需要的其他程序和数据。存储器210还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序211发送指令给相关的硬件完成，计算机程序211可存储于一计算机可读存储介质中，该计算机程序211在被处理器220执行时，可实现上述各个方法实施例的步骤。其中，计算机程序211包括：计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序211代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如：在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述仅是本发明的优选实施例，应当指出，对于以上所述仅是本发明的优选实施例，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种手机中板螺母形状与位置一体化检测方法，其特征在于，包括：
获取被检测螺母于手机中板表面预装的图像；
对所述图像进行处理提取被检测螺母的特征图元，并根据所述特征图元确定被检测螺母的螺母类型；
判断被检测螺母的螺母类型是否正确；
若是，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；
于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差，并根据该距离差判断是否需要对所述被检测螺母进行二次定位；
若是，根据计算得到的距离差对被检测螺母的位置进行调整，完成对被检测螺母形状与位置的一体化检测；
在所述以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系中包括：
分别检测螺母表面提取的各特征图元中起点与终点的连线方向；
选定其中的一组起点与终点的连线方向相互平行的特征图元；
以被检测螺母配套的螺柱的中心位置为坐标原点，沿该组特征图元起点与终点的连线方向建立x坐标轴，并沿其垂直方向建立y坐标轴；
在所述于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差，并根据该距离差判断是否需要对所述被检测螺母进行二次定位中，包括：
于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx；
于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy；
分别判断Δx和Δy是否为0；
若Δx和Δy中至少有一个不为0，判断需要对所述被检测螺母进行二次定位；
在所述根据计算得到的距离差对被检测螺母的位置进行调整中，包括：根据Δx和/或Δy的符号及大小对被检测螺母的位置进行调整；
在所述于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx中，Δx＝A1-A3，其中，A1为x正轴方向上坐标原点与被检测螺母内边缘间的距离，A3为x负轴方向上坐标原点与被检测螺母内边缘间的距离；
在所述于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy中，Δy＝A2-A4，A2为y正轴方向上坐标原点与被检测螺母内边缘间的距离，A4为y负轴方向上坐标原点与被检测螺母内边缘间的距离；
在所述根据Δx和/或Δy的符号及大小对被检测螺母的位置进行调整中，包括：
当Δx＞0，控制被检测螺母朝向x正轴方向上调整|Δx|；
当Δx＜0，控制被检测螺母朝向x负轴方向上调整|Δx|；
当Δy＞0，控制被检测螺母朝向y正轴方向上调整|Δy|；
当Δy＜0，控制被检测螺母朝向y负轴方向上调整|Δy|。
2.如权利要求1所述的手机中板螺母形状与位置一体化检测方法，其特征在于，在所述获取被检测螺母于手机中板表面预装的图像中，包括：
采用视觉环形光源对被检测螺母进行照射；
采样CCD相机获取被检测螺母于手机中板表面预装的图像。
3.如权利要求1所述的手机中板螺母形状与位置一体化检测方法，其特征在于，在所述对所述图像进行处理提取被检测螺母的特征图元，进而根据所述特征图元确定被检测螺母的螺母类型中，包括：
根据所述被检测螺母于手机中板表面预装图像的灰度图，得到二值边缘图像；
从所述二值边缘图像中提取被检测螺母的特征图元；
将提取的特征图元的参数与预存的不同螺母类型的参数进行比较，进而确定被检测螺母的螺母类型；所述特征图元的参数包括：特征图元的数量及相邻特征图元的内角。
4.一种实现如权利要求1-3任意一项所述的手机中板螺母形状与位置一体化检测方法的检测装置，其特征在于，包括：
图像获取模块，用于获取被检测螺母于手机中板表面预装的图像；
图像处理模块，与所述图像获取模块连接，用于对所述图像获取模块获取的图像进行处理提取被检测螺母的特征图元，并根据所述特征图元确定被检测螺母的螺母类型；
判断模块，分别与所述图像处理模块和计算模块连接，用于根据图像处理模块的确定结果判断其螺母类型是否正确；及用于根据计算模块计算的距离差判断是否需要对所述被检测螺母进行二次定位；
距离获取模块，与所述判断模块连接，用于当判断模块判断螺母类型正确时，以与被检测螺母配套的螺柱的中心位置为坐标原点建立xy坐标系，并分别获取x坐标轴和y坐标轴上该坐标原点与被检测螺母内边缘之间的距离；
计算模块，与所述距离获取模块连接，用于于同一坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差；
螺母调整模块，分别与所述计算模块和判断模块连接，用于当判断模块判断需要对所述被检测螺母进行二次定位时，根据计算得到的距离差对被检测螺母的位置进行调整，完成对被检测螺母形状与位置的一体化检测；
所述距离获取模块还用于分别检测螺母表面提取的各特征图元中起点与终点的连线方向；选定其中的一组起点与终点的连线方向相互平行的特征图元；及以被检测螺母配套的螺柱的中心位置为坐标原点，沿该组特征图元起点与终点的连线方向建立x坐标轴，并沿其垂直方向建立y坐标轴；
所述计算模块还用于于x坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δx，及于y坐标轴上计算坐标原点与被检测螺母两侧内边缘间的距离差Δy；
所述判断模块还用于分别判断Δx和Δy是否为0，当Δx和Δy至少有一个不为0时，判断需要对所述被检测螺母进行二次定位；
所述螺母调整模块还用于当判断模块判断需要对所述被检测螺母进行二次定位时，根据Δx和/或Δy的符号及大小对被检测螺母的位置进行调整。
5.如权利要求4所述的检测装置，其特征在于，在所述图像处理模块中，包括：
二值边缘图像获取单元，用于根据所述图像获取模块获取的图像的灰度图得到二值边缘图像；
特征图元提取单元，与所述二值边缘图像获取单元连接，用于从所述二值边缘图像获取单元得到的二值边缘图像中提取被检测螺母的特征图元；
螺母类型确定单元，与所述特征图元提取单元连接，用于将提取的特征图元的参数与预存的不同螺母类型的参数进行比较，进而确定被检测螺母的螺母类型；所述特征图元的参数包括：特征图元的数量及相邻特征图元的内角。
6.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求1-3中任一项所述手机中板螺母形状与位置一体化检测方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述手机中板螺母形状与位置一体化检测方法的步骤。
CN202010229623.1A 2020-03-27 2020-03-27 手机中板螺母形状与位置一体化检测方法及装置 Active CN111442723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010229623.1A CN111442723B (zh) 2020-03-27 2020-03-27 手机中板螺母形状与位置一体化检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010229623.1A CN111442723B (zh) 2020-03-27 2020-03-27 手机中板螺母形状与位置一体化检测方法及装置

Publications (2)

Publication Number Publication Date
CN111442723A CN111442723A (zh) 2020-07-24
CN111442723B true CN111442723B (zh) 2022-02-11

Family

ID=71649175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010229623.1A Active CN111442723B (zh) 2020-03-27 2020-03-27 手机中板螺母形状与位置一体化检测方法及装置

Country Status (1)

Country Link
CN (1) CN111442723B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4846747B2 (ja) * 2008-03-05 2011-12-28 株式会社日立製作所 ブレーキ装置
CN204515165U (zh) * 2015-02-12 2015-07-29 东莞市泓旭五金制品有限公司 一种手机中板焊接螺母检测装置
CN109270078A (zh) * 2018-11-05 2019-01-25 广东溢达纺织有限公司 定型机紧固件松紧状态检测机构及其方法
CN109482515A (zh) * 2018-11-22 2019-03-19 珠海格力智能装备有限公司 螺钉的分拣方法及装置、螺钉的分拣系统
CN110031476A (zh) * 2019-03-27 2019-07-19 仲恺农业工程学院 一种大桥底座螺母螺杆松动或破裂的多目立体视觉检测装置与方法
WO2019189293A1 (ja) * 2018-03-30 2019-10-03 株式会社バルカー フランジ間計測装置、プログラムおよび方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4846747B2 (ja) * 2008-03-05 2011-12-28 株式会社日立製作所 ブレーキ装置
CN204515165U (zh) * 2015-02-12 2015-07-29 东莞市泓旭五金制品有限公司 一种手机中板焊接螺母检测装置
WO2019189293A1 (ja) * 2018-03-30 2019-10-03 株式会社バルカー フランジ間計測装置、プログラムおよび方法
CN109270078A (zh) * 2018-11-05 2019-01-25 广东溢达纺织有限公司 定型机紧固件松紧状态检测机构及其方法
CN109482515A (zh) * 2018-11-22 2019-03-19 珠海格力智能装备有限公司 螺钉的分拣方法及装置、螺钉的分拣系统
CN110031476A (zh) * 2019-03-27 2019-07-19 仲恺农业工程学院 一种大桥底座螺母螺杆松动或破裂的多目立体视觉检测装置与方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的螺母定位系统;李睿 等;《机床与液压》;20131230;第41卷(第23期);第60-64页 *
手机中板螺母的焊接夹具结构设计及分析;尹跃 等;《制造业信息化》;20141230(第2期);全文 *

Also Published As

Publication number Publication date
CN111442723A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN114897864B (zh) 基于数模信息的工件检测及缺陷判断方法
KR920004956B1 (ko) 도형인식장치
CN106824806B (zh) 基于机器视觉的小模数塑料齿轮的检测方法
US9466004B2 (en) Adaptive color correction for pill recognition in digital images
CN107356213B (zh) 滤光片同心度测量方法及终端设备
CN113030121B (zh) 用于电路板元器件的自动光学检测方法、系统、及设备
CN101660932A (zh) 一种指针式汽车仪表自动校验方法
JP2011238228A (ja) スクリーン領域検知方法及びシステム
CN103235939A (zh) 基于机器视觉的基准点定位方法
CN111412871B (zh) 手机中板螺母形状与位置高效一体化检测方法及装置
CN108709500B (zh) 一种电路板元件定位匹配方法
CN108827597B (zh) 一种结构光投影器的光斑均匀度检测方法和检测系统
CN108871185B (zh) 零件检测的方法、装置、设备以及计算机可读存储介质
CN102988052A (zh) 足长测量方法及系统
CN102401800A (zh) 基于机器视觉的高压陶瓷电容器焊接质量在线检测设备
CN104966283A (zh) 图像分层配准方法
CN111442723B (zh) 手机中板螺母形状与位置一体化检测方法及装置
TW201326735A (zh) 寬度量測方法及系統
CN112102272A (zh) 螺母孔径检测方法及装置、存储介质及终端设备
CN116883498A (zh) 基于灰度质心提取算法的视觉合作靶标特征点定位方法
CN101517354B (zh) 突起高度的测量方法以及突起高度的测量装置和程序
CN111380474A (zh) 一种基于双目视觉的孔径检测方法
CN103279953A (zh) 一种基于LabVIEW平台的机器视觉标定系统
CN114998571A (zh) 基于固定尺寸标志物的图像处理及颜色检测方法
US11357149B2 (en) Component orientation determination data creation device and component orientation determination data creation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant