CN117689716A - 板件视觉定位识别抓取方法、控制系统及板件生产线 - Google Patents
板件视觉定位识别抓取方法、控制系统及板件生产线 Download PDFInfo
- Publication number
- CN117689716A CN117689716A CN202311725917.3A CN202311725917A CN117689716A CN 117689716 A CN117689716 A CN 117689716A CN 202311725917 A CN202311725917 A CN 202311725917A CN 117689716 A CN117689716 A CN 117689716A
- Authority
- CN
- China
- Prior art keywords
- plate
- image
- pixel
- processed
- plate image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000005520 cutting process Methods 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 40
- 238000001228 spectrum Methods 0.000 claims description 27
- 239000002699 waste material Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 230000005484 gravity Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 241000252254 Catostomidae Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明提供了一种板件视觉定位识别抓取方法、控制系统及板件生产线，该方法包括：将单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；计算第三板件图像的中心像素周围邻域像素值的差异并进行梯度计算，得到第三板件图像在水平方向和垂直方向上的梯度幅值，计算其平方和并进行开根号运算后得到总体梯度幅值，将像素值大于总体梯度幅值的像素点标记为边缘，裁剪掉边缘之外的图像区域后，得到目标板件图像，基于目标板件图像确定待处理板件的中心坐标，以实现精准识别及去除板件图像中边缘之外的图像区域，从而便于控制系统准确估计板件图像中板件的中心位置，减少对板件中心进行准确估计的运算力。
Description
技术领域
本发明涉及板件视觉定位识别技术领域，尤其涉及一种板件视觉定位识别抓取方法、控制系统及板件生产线。
背景技术
板件生产线是指专门应用于制造板式定制家具的生产线，所述板件专指定制家居板材,在制造业中应用广泛。板件生产线通常包括原材料开料、封边、钻孔、分拣、包装等环节，整个生产过程会涉及到多个工序和加工设备,而抓取机器人的一个重要任务就是板件的抓取。
但现有技术中，抓取机器人的抓取方式一般是寻找和识别到需要抓取的板件后，就移动机械手去板件的任意位置抓取，并未对板件的中心先进行准确估计，容易导致无法对板件进行稳固抓取的问题。
在申请号为202211040835.0的技术方案中，虽然其通过确定开料板件的理论中心位置，控制机械手移动到理论中心位置，并调整机械手至预设高度，获取相机拍摄的板件图像，基于视觉算法计算板件图像中的中心位置与理论中心位置的偏移坐标以及偏移角度，基于偏移坐标以及所述偏移角度，控制机械手抓取开料板件，以实现了精准定位板件，并抓取板件。但是，由于并未对拍摄的板件图像进行边缘处理，而直接基于视觉算法计算板件图像中的中心位置与理论中心位置的偏移坐标以及偏移角度，导致无法准确估计板件的中心位置，也增加了控制系统的运算力。
发明内容
本发明提供一种板件视觉定位识别抓取方法、控制系统及板件生产线，以实现准确估计图像中板件的中心位置、对板件进行稳固抓取的同时，减少控制系统对板件中心进行准确估计的运算力，提高控制系统的处理效率，并确保板件生产线的正常运转。
为解决上述问题，本发明采用如下技术方案：
本发明提供一种板件视觉定位识别抓取方法，应用于板件生产线上的控制系统，所述板件生产线还包括视觉相机、皮带机、开料机及抓取机器人，所述视觉相机、皮带机、开料机及抓取机器人分别与所述控制系统电性连接，所述开料机用于将板件切割成所需尺寸和形状，所述抓取机器人用于抓取板件并运送至目标位置；所述板件视觉定位识别抓取方法包括：
当开料好的板件被输送至皮带机的皮带上时，根据预设的加工文件识别出当前皮带机的皮带上所有板件的板件类型，将属于废料的板件类型输送到废料槽，将剩余的板件作为待处理板件；其中，所述加工文件记录了每块板件的板件类型；
获取所述待处理板件的板件坐标，按照所述板件坐标控制抓取机器人移动到所述待处理板件的上方，控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，对所述第一板件图像进行预处理后，生成第二板件图像；
对所述第二板件图像进行灰度化处理，生成单通道灰度图像，利用卷积运算将所述单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；
调用水平方向和垂直方向上的Sobel滤波器计算所述第三板件图像的中心像素周围邻域像素值的差异，对所述第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到所述第三板件图像在水平方向和垂直方向上的梯度幅值；
计算所述第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对所述平方和进行开根号运算后，得到所述第三板件图像的总体梯度幅值；
将所述第三板件图像中像素值大于所述总体梯度幅值的像素点标记为边缘，裁剪掉所述第三板件图像中边缘之外的图像区域后，得到目标板件图像；
确定所述目标板件图像中所述待处理板件的中心坐标，根据所述待处理板件的尺寸大小和摆放位置选择所述抓取机器人的吸盘编号和旋转角度，控制所述抓取机器人移动至所述中心坐标的正上方，按照所述吸盘编号和旋转角度抓取所述待处理板件；其中，不同的吸盘编号对应不同类型的吸盘。
优选地，所述控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，包括：
根据所述待处理板件的尺寸及与视觉相机的垂直距离设置所述视觉相机的拍摄焦距；
根据所述拍摄焦距拍摄得到所述待处理板件的初始图像；
利用LBP算法提取出所述初始图像的纹理特征区域，利用傅里叶变换将所述纹理特征区域转换为频域表示，得到所述纹理特征区域的幅度谱和相位谱；其中，所述幅度谱表示了所述纹理特征区域中不同频率分量的能量大小，所述相位谱表示了所述纹理特征区域中各个频率分量的相对相位信息；
根据所述纹理特征区域的幅度谱和相位谱将所述纹理特征区域分解为高频成分及低频成分，计算所述纹理特征区域中所述高频成分的占比；
当所述纹理特征区域中所述高频成分的占比大于预设比例时，则将所述初始图像作为第一板件图像；
当所述纹理特征区域中所述高频成分的占比不大于预设比例时，则控制安装在所述抓取机器人的所述视觉相机缩短与所述待处理板件的垂直距离，并调低所述视觉相机的拍摄焦距，控制所述视觉相机对所述待处理板件进行重新拍摄，直至重新拍摄的初始图像的纹理特征区域中所述高频成分的占比大于预设比例为止。
优选地，所述对所述第一板件图像进行预处理后，生成第二板件图像，包括：
获取所述第一板件图像的高度和宽度；
基于所述第一板件图像的高度和宽度，创建一个与所述第一板件图像相同大小的空白图像；
遍历所述第一板件图像的每个像素；
计算每个像素的周围邻域像素值的加权平均值，将所述第一板件图像与空白图像进行对齐，分别将第一板件图像中每个像素的所述加权平均值赋值给所述空白图像对应的像素，得到初始降噪图像；
对所述初始降噪图像进行滤波处理后，得到第二板件图像。
优选地，所述对所述初始降噪图像进行滤波处理后，得到第二板件图像，包括：
将所述初始降噪图像与所述第一板件图像进行逐个像素比较，并计算所述初始降噪图像与所述第一板件图像的比较像素之间的像素差异值，得到降噪数值集；
计算所述降噪数值集中所有像素差异值的平均值，并与预设的调整系数相乘后，得到目标像素差异值；其中，所述调整系数为e-3n，所述n为像素差异值的数量；
基于所述目标像素差异值调整所述初始降噪图像中每个像素的像素值，以使所述初始降噪图像与所述第一板件图像的比较像素之间的像素差异值都为所述目标像素差异值，得到第二板件图像。
优选地，所述确定所述目标板件图像中所述待处理板件的中心坐标，包括：
当所述待处理板件为不规则形状时，确定所述目标板件图像中所述边缘上每个像素的像素坐标，根据所述目标板件图像中所述边缘上每个像素的像素坐标计算得到边缘重心；
以所述边缘重心为中心向至少三个不同的方向划直线，得到每条直线与所述边缘的交点，并确定同一直线上两个交点之间的中心点；
计算每个中心点到所述边缘的最短距离，选取出最短距离最大对应的中心点作为目标中心点；
确定所述目标中心点的坐标为所述待处理板件的中心坐标。
优选地，所述确定所述目标板件图像中所述待处理板件的中心坐标，包括：
当所述待处理板件为矩形或梯形时，确定所述目标板件图像的两条对角线；
将所述目标板件图像的两条对角线进行连接；
将所述两条对角线连接后形成的交点作为所述待处理板件的中心坐标。
优选地，所述控制所述抓取机器人移动至所述中心坐标的正上方，包括：
计算所述中心坐标与所述板件坐标的偏移角度及偏移距离；
按照所述偏移角度及偏移距离控制所述抓取机器人移动至所述中心坐标的正上方。
优选地，所述对所述第二板件图像进行灰度化处理，生成单通道灰度图像，包括：
将所述第二板件图像导入OpenCV图像处理库；
利用所述OpenCV图像处理库中的cv2.cvtColor()函数将所述第二板件图像转换为灰度图像；
提取所述灰度图像的单个通道，生成单通道灰度图像。
本发明提供一种控制系统，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的板件视觉定位识别抓取方法的步骤。
本发明还提供一种板件生产线，包括控制系统、视觉相机、皮带机、开料机及抓取机器人，所述视觉相机、皮带机、开料机及抓取机器人分别与所述控制系统电性连接，所述开料机用于将板件切割成所需尺寸和形状，所述抓取机器人用于抓取板件并运送至目标位置,所述板件生产线的控制系统用于执行如上任一项所述的板件视觉定位识别抓取方法的步骤。
相对于现有技术，本发明的技术方案至少具备如下优点：
1、本发明根据预设的加工文件识别出当前皮带机的皮带上所有板件的板件类型，将属于废料的板件类型输送到废料槽，将剩余的板件作为待处理板件，以剔除废料板件，避免增加抓取机器人的工作量，影响抓取机器人的工作效率。
2、本发明按照板件坐标控制抓取机器人移动到待处理板件的上方，控制视觉相机拍摄得到待处理板件的第一板件图像，并预处理后得到第二板件图像，以通过单台视觉相机即可完成板件的图像采集；对第二板件图像进行灰度化处理，生成单通道灰度图像，利用卷积运算将单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；调用水平方向和垂直方向上的Sobel滤波器计算第三板件图像的中心像素周围邻域像素值的差异，对第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到第三板件图像在水平方向和垂直方向上的梯度幅值，计算第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对平方和进行开根号运算后，得到第三板件图像的总体梯度幅值，将第三板件图像中像素值大于总体梯度幅值的像素点标记为边缘，裁剪掉第三板件图像中边缘之外的图像区域后，得到目标板件图像，以实现精准识别板件图像的边缘，从而准确去除板件图像中边缘之外的图像区域，由于图像边缘在图像采集或传输过程中容易受到噪声的干扰，本发明通过精准去除板件图像中边缘之外的图像区域，可以减少噪声对图像的影响，使图像更加清晰和准确；同时，在进行图像处理和分析时，边缘通常包含了图像中物体或结构的重要信息。因此，通过去除图像中边缘之外的图像区域，还可以更容易地提取出图像中的特征信息，如纹理、形状和颜色等，以便控制系统能够准确估计板件图像中板件的中心位置。此外，图像边缘往往是图像中变化剧烈的区域，包含了丰富的高频信息，当需要处理大量图像数据时，通过精准去除板件图像中边缘之外的图像区域还可以减少计算复杂度和存储需求，提高图像处理的效率和速度，从而减少控制系统对板件中心进行准确估计的运算力，提高控制系统的处理效率，并确保板件生产线的正常运转。
3、本发明通过确定目标板件图像中待处理板件的中心坐标，根据待处理板件的尺寸大小和摆放位置选择抓取机器人的吸盘编号和旋转角度，按照该吸盘编号和旋转角度抓取待处理板件，实现了抓取机器人对板件既省力又稳固的抓取。
附图说明
图1为本发明板件视觉定位识别抓取方法一种实施例流程框图；
图2为本发明板件视觉定位识别抓取装置一种实施例模块框图；
图3为本发明一个实施例中控制系统的内部结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种板件视觉定位识别抓取方法，应用于板件生产线上的控制系统，该控制系统包括计算机设备，所述板件生产线还包括视觉相机、皮带机、开料机及抓取机器人，所述视觉相机、皮带机、开料机及抓取机器人分别与所述控制系统电性连接，该视觉相机用于拍摄板件得到板件图像，该皮带机用于运送板件，所述开料机用于将板件切割成所需尺寸和形状，所述抓取机器人用于抓取板件并运送至目标位置，如立式缓存架上；所述板件视觉定位识别抓取方法包括：
S11、当开料好的板件被输送至皮带机的皮带上时，根据预设的加工文件识别出当前皮带机的皮带上所有板件的板件类型，将属于废料的板件类型输送到废料槽，将剩余的板件作为待处理板件；其中，所述加工文件记录了每块板件的板件类型；
S12、获取所述待处理板件的板件坐标，按照所述板件坐标控制抓取机器人移动到所述待处理板件的上方，控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，对所述第一板件图像进行预处理后，生成第二板件图像；
S13、对所述第二板件图像进行灰度化处理，生成单通道灰度图像，利用卷积运算将所述单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；
S14、调用水平方向和垂直方向上的Sobel滤波器计算所述第三板件图像的中心像素周围邻域像素值的差异，对所述第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到所述第三板件图像在水平方向和垂直方向上的梯度幅值；
S15、计算所述第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对所述平方和进行开根号运算后，得到所述第三板件图像的总体梯度幅值；
S16、将所述第三板件图像中像素值大于所述总体梯度幅值的像素点标记为边缘，裁剪掉所述第三板件图像中边缘之外的图像区域后，得到目标板件图像；
S17、确定所述目标板件图像中所述待处理板件的中心坐标，根据所述待处理板件的尺寸大小和摆放位置选择所述抓取机器人的吸盘编号和旋转角度，控制所述抓取机器人移动至所述中心坐标的正上方，按照所述吸盘编号和旋转角度抓取所述待处理板件；其中，不同的吸盘编号对应不同类型的吸盘。
如上述步骤S11所述，开料好的板件会被输送至皮带机的皮带上，当检测到开料好的板件被输送至皮带机的皮带上时，则从数据库中获取加工文件，该加工文件记录了每块板件的板件类型，该板件类型包括成品板、余料和废料，并接收摄像装置扫描粘贴在板件上的标签，在加工文件中查询该标签对应的板件所属的板件类型，如标签1为成品板、标签2为余料，标签3为废料，废料无须抓取码垛直接通过皮带机输送到废料槽，将剩余其他板件类型的板件作为待处理板件，对待处理板件进行抓取码垛，以剔除废料板件，避免增加抓取机器人的工作量，影响抓取机器人的工作效率。
如上述步骤S12所述，当检测到板件到达皮带的起始位置、中间位置或终点位置等任一个位置时，由于起始位置、中间位置或终点位置等位置一般是固定的位置，因此可在这些位置事先安装好定位装置，基于定位装置确定皮带上起始位置、中间位置或终点位置等任一个位置的坐标，进而确定待处理板件的板件坐标。随后，控制抓取机器人移动到该板件坐标，即待处理板件所在位置的上方，安装在抓取机器人的机械手上的视觉相机拍摄待处理板件的完整图像，得到待处理板件的第一板件图像，当第一板件图像的图像质量满足要求时，则控制系统接收视觉相机发送的第一板件图像。其中，该图像质量包括板件的清晰度、板件的完整情况等等。
如上述步骤S13所述，在数字图像处理中，单通道灰度图像是一种只包含灰度信息的图像，与彩色图像相比，灰度图像只包含一个通道(即灰度通道)，每个像素点的取值范围代表灰度级的强度，通常在0到255之间，其中0代表黑色，255代表白色。单通道灰度图像可以看作是将彩色图像的红、绿和蓝三个颜色通道进行加权平均得到的结果。它只记录了图像的亮度信息，而不包含颜色信息。每个像素点的灰度值反映了该点的亮度强度，较大的灰度值表示较高的亮度，较小的灰度值表示较低的亮度。
本实施例通过对第二板件图像进行灰度化处理，生成单通道灰度图像，由于单通道灰度图像只有一个通道，因此它在存储和处理上相对于彩色图像更加简单和高效。
其中，卷积运算可以用于将单通道灰度图像中每个像素的值替换为邻域内像素值的加权平均值，得到第三板件图像。其中，像素的邻域指的是该像素周围的一片像素区域。具体来说，对于二维图像中的一个给定像素点，其邻域由其周围的相邻像素组成，通常以该像素为中心，其周围的像素形成一个矩形的区域，包括3x3、5x5、7x7等大小的区域。
具体的，首先选择合适的卷积核来定义加权平均的权重，该卷积核通常是一个小的二维矩阵，其大小和权重根据实际需求确定。例如，可以使用3×3的卷积核。使用该卷积核，遍历单通道灰度图像中的每个像素。对于每个像素，将卷积核与它的邻域像素进行逐元素乘法，并将乘积的和作为加权平均值。
该加权平均值可以通过卷积操作来实现，即将卷积核和邻域内像素进行逐元素相乘，然后将结果求和，最后将每个像素的原始值替换为计算得到的加权平均值，生成新的图像作为第三板件图像。
本实施例通过卷积运算，可以将单通道灰度图像中每个像素的值替换为邻域像素的加权平均值，从而实现局部平滑或模糊化效果。当权重接近均匀分布时，加权平均值可以在一定程度上消除图像中的噪声。
如上述步骤S14所述，Sobel滤波器是图像边缘检测滤波器，用于识别图像中的边缘，基本原理是通过对图像应用两个卷积核(水平和垂直方向)来计算每个像素点的梯度近似值，以增强和突出图像中的边缘特征，从而辅助识别图像中的重要边缘。
其中，在调用水平方向和垂直方向上的Sobel滤波器计算第三板件图像的中心像素周围邻域像素值的差异时，对于第三板件图像的每个像素，将Sobel滤波器分别应用于其周围的邻域像素。在这里，将水平方向和垂直方向的Sobel滤波器与第三板件图像进行卷积操作。具体做法是将核矩阵与像素周围邻域像素进行逐元素乘法，并将乘积相加，得到中心像素的Sobel滤波器响应值，使用中心像素处的水平方向和垂直方向的Sobel滤波器响应值之差，得到中心像素周围邻域像素值的差异。例如，可以简单地用水平方向的Sobel响应减去垂直方向的Sobel响应，或者计算两个响应值的欧几里德距离，以获得有关图像边缘特征的相关信息。
在对所述第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到所述第三板件图像在水平方向和垂直方向上的梯度幅值时，该第三板件图像的中心像素周围邻域像素值的差异包括中心像素周围邻域像素值在水平方向上的差异、中心像素周围邻域像素值在垂直方向上的差异，分别对中心像素周围邻域像素值在水平方向及垂直方向上的差异乘以对应的衰减系数后，得到第三板件图像在水平方向和垂直方向上的梯度幅值。其中，该衰减系数为常数。
如上述步骤S15-S16所述，最后计算第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对平方和进行开根号运算后，得到第三板件图像的总体梯度幅值。
由于图像边缘在图像采集或传输过程中容易受到噪声的干扰，且往往是图像中变化剧烈的区域，因此边缘上的像素值会大于总体梯度幅值，本实施例将第三板件图像中像素值大于总体梯度幅值的像素点标记为边缘，对第三板件图像中边缘之外的图像区域进行裁剪后，得到目标板件图像，以精准地识别出第三板件图像的边缘，剔除图像中的无效图像区域，从而减少计算复杂度和存储需求。
本实施例在计算第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对平方和进行开根号运算后，得到第三板件图像的总体梯度幅值时，可使用第三板件图像在水平方向和垂直方向上的梯度幅值，并根据下述公式计算得到所述第三板件图像的总体梯度幅值：
其中，所述x为第三板件图像在水平方向上的梯度幅值，所述y为第三板件图像在垂直方向上的梯度幅值。
如上述步骤S17所述，在对第三板件图像中边缘之外的图像区域进行裁剪后，剩余的目标板件图像即为待处理板件的全部图像区域，可以提取出目标板件图像的边缘轮廓，将目标板件图像的边缘轮廓与不同形状的标准轮廓进行比较，以确定待处理板件的形状，基于待处理板件的形状来确定中心坐标。
例如，当所述待处理板件为矩形或梯形时，则确定目标板件图像的两条对角线，将目标板件图像的两条对角线进行连接，将两条对角线连接后形成的交点作为待处理板件的中心坐标。
当所述待处理板件为圆形时，可以使用图像采集设备或测量仪器采集圆形板件上的多个点的坐标，这些点可以均匀分布在圆上，然后利用多个点坐标采用最小二乘法拟合圆，拟合得到的圆心即为所求，通过计算出该圆心的坐标，即可确定圆形板件的中心坐标。
在一个实施例中，所述确定所述目标板件图像中所述待处理板件的中心坐标，可具体包括：
当所述待处理板件为不规则形状时，确定所述目标板件图像中所述边缘上每个像素的像素坐标，根据所述目标板件图像中所述边缘上每个像素的像素坐标计算得到边缘重心；
以所述边缘重心为中心向至少三个不同的方向划直线，得到每条直线与所述边缘的交点，并确定同一直线上两个交点之间的中心点；
计算每个中心点到所述边缘的最短距离，选取出最短距离最大对应的中心点作为目标中心点；
确定所述目标中心点的坐标为所述待处理板件的中心坐标。
在本实施例中，对于无特定几何形状的板件，如星形、心形、花瓣形等，需要使用特殊的图像处理技术来确定中心坐标，如将板件与背景分离，并检测板件的轮廓，然后可以使用边缘点的坐标来计算板件的中心坐标，如求取轮廓的最小外接矩形的中心。
具体的，通过遍历目标板件图像上每个像素，判断是否为边缘点，如果是边缘点，则记录该点的像素坐标，以确定目标板件图像中边缘上每个像素的像素坐标。然后将边缘上每个像素的横坐标相加，并将结果除以边缘上像素数量，计算得到边缘重心的横坐标；同时将边缘上每个像素的纵坐标相加，并将结果除以边缘上像素数量，计算得到边缘重心的纵坐标，通过计算得到的横纵坐标，即可确定边缘的重心坐标。
然后以边缘重心为中心在该目标板件图像上向至少三个不同的方向划直线，每条直线都会与边缘形成两个交点，并将同一直线上两个交点之间的中心确定为同一直线上两个交点之间的中心点，得到多个中心点；最后计算每个中心点到边缘的最短距离，选取出最短距离最大所对应的中心点作为目标中心点，将该目标中心点作为待处理板件的中心，将该目标中心点对应的坐标确定为待处理板件的中心坐标，以准确估计板件的中心位置。
最后，获取待处理板件的尺寸大小和摆放位置，不同的尺寸大小需要采用不同吸力的吸盘，不同的摆放位置也需要抓取机器人采用不同的旋转角度进行抓取，包括横放、纵放或斜放，因此可根据待处理板件的尺寸大小选择抓取机器人的吸盘编号、根据待处理板件的摆放位置选择抓取机器人的旋转角度，控制抓取机器人移动至中心坐标的正上方，按照该吸盘编号的吸盘在该中心坐标的位置抓取待处理板件，同时按照该旋转角度抓取待处理板件，以实现了抓取机器人对板件既省力又稳固的抓取。其中，不同的吸盘编号对应不同类型的吸盘，如大小不同或吸力不同的吸盘。
需要说明的是，本实施例的抓取位置除所述待处理板件的中心坐标之外，还可以增设其他抓取位置，如以中心坐标为中心的四个正方形顶点作为增设的抓取位置，在此不做具体限定。
在一个实施例中，所述控制所述抓取机器人移动至所述中心坐标的正上方，包括：
计算所述中心坐标与所述板件坐标的偏移角度及偏移距离；
按照所述偏移角度及偏移距离控制所述抓取机器人移动至所述中心坐标的正上方。
本实施例可以将中心坐标与板件坐标相减，得到一个偏移向量，该偏移向量表示了中心相对于板件的位置偏移，然后使用反正切函数将偏移向量转换为极坐标形式，并计算其偏移角度。其中，偏移角度表示了中心相对于板件的偏移方向。同时，使用欧氏距离公式计算该偏移向量的长度，得到中心坐标与板件坐标之间的偏移距离。该偏移距离表示了中心相对于板件的偏移程度。最后按照所述偏移角度及偏移距离控制抓取机器人移动至中心坐标的正上方，以确保抓取机器人能够准确无误地移动至待处理板件的中心坐标。
本发明提供的板件视觉定位识别抓取方法，按照板件坐标控制抓取机器人移动到待处理板件的上方，控制视觉相机拍摄得到待处理板件的第一板件图像，并预处理后得到第二板件图像，以通过单台视觉相机即可完成板件的图像采集；对第二板件图像进行灰度化处理，生成单通道灰度图像，利用卷积运算将单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；调用水平方向和垂直方向上的Sobel滤波器计算第三板件图像的中心像素周围邻域像素值的差异，对第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到第三板件图像在水平方向和垂直方向上的梯度幅值，计算第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对平方和进行开根号运算后，得到第三板件图像的总体梯度幅值，将第三板件图像中像素值大于总体梯度幅值的像素点标记为边缘，裁剪掉第三板件图像中边缘之外的图像区域后，得到目标板件图像，以实现精准识别板件图像的边缘，从而准确去除板件图像中边缘之外的图像区域，由于图像边缘在图像采集或传输过程中容易受到噪声的干扰，本发明通过精准去除板件图像中边缘之外的图像区域，可以减少噪声对图像的影响，使图像更加清晰和准确；同时，在进行图像处理和分析时，边缘通常包含了图像中物体或结构的重要信息。因此，通过去除图像中边缘之外的图像区域，还可以更容易地提取出图像中的特征信息，如纹理、形状和颜色等，以便控制系统能够准确估计板件图像中板件的中心位置。此外，图像边缘往往是图像中变化剧烈的区域，包含了丰富的高频信息，当需要处理大量图像数据时，通过精准去除板件图像中边缘之外的图像区域还可以减少计算复杂度和存储需求，提高图像处理的效率和速度，从而减少控制系统对板件中心进行准确估计的运算力，提高控制系统的处理效率，并确保板件生产线的正常运转。
在一个实施例中，所述控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，包括：
根据所述待处理板件的尺寸及与视觉相机的垂直距离设置所述视觉相机的拍摄焦距；
根据所述拍摄焦距拍摄得到所述待处理板件的初始图像；
利用LBP算法提取出所述初始图像的纹理特征区域，利用傅里叶变换将所述纹理特征区域转换为频域表示，得到所述纹理特征区域的幅度谱和相位谱；其中，所述幅度谱表示了所述纹理特征区域中不同频率分量的能量大小，所述相位谱表示了所述纹理特征区域中各个频率分量的相对相位信息；
根据所述纹理特征区域的幅度谱和相位谱将所述纹理特征区域分解为高频成分及低频成分，计算所述纹理特征区域中所述高频成分的占比；
当所述纹理特征区域中所述高频成分的占比大于预设比例时，则将所述初始图像作为第一板件图像；
当所述纹理特征区域中所述高频成分的占比不大于预设比例时，则控制安装在所述抓取机器人的所述视觉相机缩短与所述待处理板件的垂直距离，并调低所述视觉相机的拍摄焦距，控制所述视觉相机对所述待处理板件进行重新拍摄，直至重新拍摄的初始图像的纹理特征区域中所述高频成分的占比大于预设比例为止。
在本实施例中，首先确定待处理板件的尺寸，包括待处理板件的长度、宽度；同时，可以使用三角函数或测量工具来确定待处理板件到视觉相机的垂直距离，并将垂直距离转换为与相机参数相匹配的单位(例如英寸或毫米)。然后结合待处理板件的尺寸和待处理板件到视觉相机的垂直距离，使用相机的参数来计算得到合适的焦距。
例如，可以利用待处理板件相对于视觉相机的垂直距离，结合视觉相机的感应器的宽度(通常以对角线长度表示)，计算得到待处理板件在画面中的视角，可以使用如下公式计算视角：视角＝2*arctan((感应器宽度/2)/垂直距离)，最后可以根据待处理板件的尺寸和视角使用三角函数进行计算，得到拍摄焦距，基于所述拍摄焦距设置视觉相机的拍摄焦距，接收视觉相机拍摄得到所述待处理板件的初始图像。可以使用如下公式计算拍摄焦距：拍摄焦距＝(尺寸/2)/tan(视角/2)。
本实施例的LBP(Local Binary Patterns)算法可用于计算机视觉中的特征提取。具体的，在利用LBP算法提取初始图像的纹理特征区域时，可将初始图像中每个像素的灰度值与其周围邻域像素的灰度值进行比较，并将比较结果编码为二进制数。具体而言，对于一个像素，以其为中心，选取一个固定大小的邻域(通常是周围8个像素)，将邻域内每个像素的灰度值与中心像素的灰度值进行比较。若邻域内的像素灰度大于中心像素的灰度，则对应位置为1，否则为0。然后，将这些二进制数按顺时针或逆时针顺序连接起来，形成一个二进制模式，得到该像素的LBP特征值。最后，通过对初始图像中的每个像素应用LBP操作，生成一个与初始图像大小相同的LBP图像，并利用全局阈值或自适应阈值方法对该LBP图像的像素值进行阈值分割，将纹理特征与其他区域进行区分，得到初始图像的纹理特征区域。其中，该LBP图像中的每个像素点表示对应位置的局部纹理特征。
该傅里叶变换(Fourier Transform)可用于将信号从时域表示转换为频域表示，这些频域成分代表了输入信号中各种不同频率的振动。本实施例通过傅里叶变换，可以将纹理特征区域分解为不同频率成分的振动，从而得到纹理特征区域的幅度谱和相位谱，该幅度谱表示了纹理特征区域中不同频率分量的能量大小，相位谱表示了纹理特征区域中各个频率分量的相对相位信息。
本实施例可以通过设定阈值，如固定阈值或基于统计特性的自适应阈值等，分离纹理特征区域的高频成分和低频成分，得到初始高频成分和初始低频成分。例如，通过设定一个阈值，将幅度谱中的较大振幅值归为低频成分，而将较小振幅值归为高频成分，得到纹理特征区域的初始高频成分和初始低频成分。
随后，将分离得到的初始高频成分和初始低频成分对应的相位谱分别与选定的幅度谱进行重新组合。例如，对于初始低频成分，可以直接使用其对应的相位谱。对于初始高频成分，可以选择使用原信号的相位谱，或者将其相位设为零。最后，对于重新组合的频域表示，应用逆傅里叶变换(IDFT)或逆FFT将其转换回时域表示，得到的结果即为所述纹理特征区域分解后的高频成分和低频成分，计算纹理特征区域中高频成分与低频成分的之和，得到总成分，将纹理特征区域中高频成分除以总成分后，得到纹理特征区域中所述高频成分的占比。
由于清晰图像包含更多的高频成分，即细节和边缘。较高的频谱能量表示图像更清晰。因此，本实施例可自定义预设比例，当纹理特征区域中高频成分的占比大于预设比例时，则将该初始图像作为第一板件图像，以得到清晰度满足要求的第一板件图像，以便后续精准确定板件图像中待处理板件的中心坐标。
当纹理特征区域中高频成分的占比不大于预设比例时，则控制安装在抓取机器人的视觉相机缩短与待处理板件的垂直距离，并调低视觉相机的拍摄焦距，但需确保能够将待处理板件完整地拍摄进去，最后控制视觉相机对待处理板件进行重新拍摄，直至重新拍摄的初始图像的纹理特征区域中高频成分的占比大于预设比例为止，以得到清晰度满足要求的第一板件图像。
本实施例通过调低视觉相机的拍摄焦距，较低的拍摄焦距能够更接近待处理板件进行拍摄，而不会失去焦点，以提供更为清晰和充满视觉冲击力的结果。此外，较低的拍摄焦距可以在拍摄待处理板件时，产生浅景深效果，即在焦点范围内保持清晰，而背景模糊，以凸显待处理板件。
在一个实施例中，所述对所述第一板件图像进行预处理后，生成第二板件图像，包括：
获取所述第一板件图像的高度和宽度；
基于所述第一板件图像的高度和宽度，创建一个与所述第一板件图像相同大小的空白图像；
遍历所述第一板件图像的每个像素；
计算每个像素的周围邻域像素值的加权平均值，将所述第一板件图像与空白图像进行对齐，分别将第一板件图像中每个像素的所述加权平均值赋值给所述空白图像对应的像素，得到初始降噪图像；
对所述初始降噪图像进行滤波处理后，得到第二板件图像。
本实施例创建一个与第一板件图像相同高度和宽度的空白图像，然后遍历第一板件图像的每个像素，提取每个像素的周围邻域像素的像素值，该像素的周围邻域指的是该像素周围的一片像素区域。具体来说，对于二维图像中的一个给定像素点，其邻域由其周围的相邻像素组成，通常以该像素为中心，其周围的像素形成一个矩形的区域，包括3x3、5x5、7x7等大小的区域。
基于每个像素的周围邻域像素的像素值及预设的权重，计算得到每个像素的周围邻域像素值的加权平均值，其中，该权重可自定义设置。例如，假设像素A的周围邻域像素A1为1000、A2为1000、A3为800、A4为800、A5为800、A6为1000、A7为1000、A8为1000，假设每个周围邻域像素的权重都为0.8，则该像素A的周围邻域像素值的加权平均值为：
/>
随后，将第一板件图像与空白图像进行对齐，分别将每个像素的加权平均值赋值给空白图像对应的像素，得到初始降噪图像。例如，假设第一板件图像中像素A在空白图像中对应的像素为像素a，则将该像素A的周围邻域像素值的加权平均值740赋值给空白图像对应的像素a，以此类推，直至将第一板件图像中每个像素的加权平均值赋值给空白图像对应的像素，得到初始降噪图像，最后对初始降噪图像进行滤波处理后，得到第二板件图像，以减少噪声对图像的影响，使图像更加清晰和准确。其中，该滤波处理方式包括均值滤波、高斯滤波及中值滤波等等，在此不做具体限定。
在一个实施例中，所述对所述初始降噪图像进行滤波处理后，得到第二板件图像，可具体包括：
将所述初始降噪图像与所述第一板件图像进行逐个像素比较，并计算所述初始降噪图像与所述第一板件图像的比较像素之间的像素差异值，得到降噪数值集；
计算所述降噪数值集中所有像素差异值的平均值，并与预设的调整系数相乘后，得到目标像素差异值；其中，所述调整系数为e-3n，所述n为像素差异值的数量；
基于所述目标像素差异值调整所述初始降噪图像中每个像素的像素值，以使所述初始降噪图像与所述第一板件图像的比较像素之间的像素差异值都为所述目标像素差异值，得到第二板件图像。
本实施例将初始降噪图像与第一板件图像进行对齐后，进行逐个像素比较，并获取初始降噪图像中每个像素的像素值，获取第一板件图像中每个像素的像素值，基于初始降噪图像中每个像素的像素值、及第一板件图像中每个像素的像素值，计算初始降噪图像与第一板件图像的比较像素之间的像素差异值，得到降噪数值集；该降噪数值集包括了多组比较像素之间的像素差异值。
例如，假设初始降噪图像中像素B1的像素值为1000，该像素B1与第一板件图像相比较的像素为像素B2，该像素B2的像素值为800，则初始降噪图像与第一板件图像的比较像素(B1与B2)之间的像素差异值为200。又如，假设初始降噪图像中像素C1的像素值为900，该像素C1与第一板件图像相比较的像素为像素C2，该像素C2的像素值为800，则初始降噪图像与第一板件图像的比较像素(C1与C2)之间的像素差异值为100，以此类推，直至计算得到初始降噪图像与第一板件图像中每两个比较像素之间的像素差异值，生成降噪数值集。
然后，统计降噪数值集中所有像素差异值的数量，并将降噪数值集中所有像素差异值进行累加后除以该数量，得到平均值，并将该平均值与预设的调整系数相乘后，计算得到目标像素差异值，该调整系数可基于像素差异值的数量对平均值进行微调，以达到最优的目标像素差异值。
最后基于目标像素差异值调整初始降噪图像中每个像素的像素值，如将第一板件图像的每个像素分别与该目标像素差异值进行相加后，赋值给初始降噪图像中对应相比较的像素，以使初始降噪图像与第一板件图像的比较像素之间的像素差异值都为目标像素差异值，并将赋值后的初始降噪图像作为第二板件图像，以达到最优的滤波效果。
例如，假设初始降噪图像中像素B1的像素值为1000，该像素B1与第一板件图像相比较的像素为像素B2，该像素B2的像素值为800；初始降噪图像中像素C1的像素值为900，该像素C1与第一板件图像相比较的像素为像素C2，该像素C2的像素值为800，假设该目标像素差异值为150，则经过调整后，初始降噪图像中像素B1的像素值变为800+150＝950，初始降噪图像中像素C1的像素值也变为800+150＝950。
在一个实施例中，所述对所述第二板件图像进行灰度化处理，生成单通道灰度图像，包括：
将所述第二板件图像导入OpenCV图像处理库；
利用所述OpenCV图像处理库中的cv2.cvtColor()函数将所述第二板件图像转换为灰度图像；
提取所述灰度图像的单个通道，生成单通道灰度图像。
其中，OpenCV(Open Source Computer Vision)是一个开源计算机视觉和图像处理库，提供了大量用于图像处理、计算机视觉和机器学习的函数和工具，如用于加载、保存和处理图像数据的函数，可以对图像进行各种操作，如滤波、边缘检测、图像分割、形状识别等。它还包含了许多计算机视觉算法的实现，如特征检测和描述、目标跟踪、摄像头标定、立体视觉等。
cv2.cvtColor()函数是OpenCV库中的一个函数，用于执行图像颜色空间转换。该函数可以将图像从一个颜色空间转换为另一个颜色空间，如RGB、灰度、HSV、Lab等。
本实施例通过将第二板件图像导入OpenCV图像处理库，利用OpenCV图像处理库中的cv2.cvtColor()函数能够简单、高效地将第二板件图像转换为灰度图像。
如果输入的第二板件图像是多通道的彩色图像，在使用cv2.cvtColor()函数将其转换为灰度图像后，只需要选择其中的一个通道作为单通道灰度图像即可。
请参考图2，本发明的实施例还提供了一种板件视觉定位识别抓取装置，包括：
识别模块21，用于当开料好的板件被输送至皮带机的皮带上时，根据预设的加工文件识别出当前皮带机的皮带上所有板件的板件类型，将属于废料的板件类型输送到废料槽，将剩余的板件作为待处理板件；其中，所述加工文件记录了每块板件的板件类型；
获取模块22，用于获取所述待处理板件的板件坐标，按照所述板件坐标控制抓取机器人移动到所述待处理板件的上方，控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，对所述第一板件图像进行预处理后，生成第二板件图像；
灰度化处理模块23，用于对所述第二板件图像进行灰度化处理，生成单通道灰度图像，利用卷积运算将所述单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；
梯度幅值计算模块24，用于调用水平方向和垂直方向上的Sobel滤波器计算所述第三板件图像的中心像素周围邻域像素值的差异，对所述第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到所述第三板件图像在水平方向和垂直方向上的梯度幅值；
总体梯度幅值计算模块25，用于计算所述第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对所述平方和进行开根号运算后，得到所述第三板件图像的总体梯度幅值；
标记模块26，用于将所述第三板件图像中像素值大于所述总体梯度幅值的像素点标记为边缘，裁剪掉所述第三板件图像中边缘之外的图像区域后，得到目标板件图像；
选择模块27，用于确定所述目标板件图像中所述待处理板件的中心坐标，根据所述待处理板件的尺寸大小和摆放位置选择所述抓取机器人的吸盘编号和旋转角度，控制所述抓取机器人移动至所述中心坐标的正上方，按照所述吸盘编号和旋转角度抓取所述待处理板件；其中，不同的吸盘编号对应不同类型的吸盘。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明提供的一种控制系统，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的板件视觉定位识别抓取方法的步骤。
在一个实施例中，本申请一个实施例中提供的控制系统，参照图3，该控制系统可以是计算机设备，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储板件视觉定位识别抓取方法的相关数据。该计算机设备的网络接口用于与外部的控制系统通过网络连接通信。该计算机程序被处理器执行时以实现以上实施例所述的板件视觉定位识别抓取方法。
在一个实施例中，本发明还提供一种板件生产线，包括控制系统、视觉相机、皮带机、开料机及抓取机器人，所述视觉相机、皮带机、开料机及抓取机器人分别与所述控制系统电性连接，所述开料机用于将板件切割成所需尺寸和形状，所述抓取机器人用于抓取板件并运送至目标位置,所述板件生产线的控制系统用于执行如上任一项所述的板件视觉定位识别抓取方法的步骤。
在一个实施例中，本发明还提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述板件视觉定位识别抓取方法。其中，所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种板件视觉定位识别抓取方法，其特征在于，应用于板件生产线上的控制系统，所述板件生产线还包括视觉相机、皮带机、开料机及抓取机器人，所述视觉相机、皮带机、开料机及抓取机器人分别与所述控制系统电性连接，所述开料机用于将板件切割成所需尺寸和形状，所述抓取机器人用于抓取板件并运送至目标位置；所述板件视觉定位识别抓取方法包括：
当开料好的板件被输送至皮带机的皮带上时，根据预设的加工文件识别出当前皮带机的皮带上所有板件的板件类型，将属于废料的板件类型输送到废料槽，将剩余的板件作为待处理板件；其中，所述加工文件记录了每块板件的板件类型；
获取所述待处理板件的板件坐标，按照所述板件坐标控制抓取机器人移动到所述待处理板件的上方，控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，对所述第一板件图像进行预处理后，生成第二板件图像；
对所述第二板件图像进行灰度化处理，生成单通道灰度图像，利用卷积运算将所述单通道灰度图像中每个像素的像素值替换为邻域内像素值的加权平均值，生成第三板件图像；
调用水平方向和垂直方向上的Sobel滤波器计算所述第三板件图像的中心像素周围邻域像素值的差异，对所述第三板件图像的中心像素周围邻域像素值的差异进行梯度计算，得到所述第三板件图像在水平方向和垂直方向上的梯度幅值；
计算所述第三板件图像在水平方向和垂直方向上的梯度幅值的平方和，对所述平方和进行开根号运算后，得到所述第三板件图像的总体梯度幅值；
将所述第三板件图像中像素值大于所述总体梯度幅值的像素点标记为边缘，裁剪掉所述第三板件图像中边缘之外的图像区域后，得到目标板件图像；
确定所述目标板件图像中所述待处理板件的中心坐标，根据所述待处理板件的尺寸大小和摆放位置选择所述抓取机器人的吸盘编号和旋转角度，控制所述抓取机器人移动至所述中心坐标的正上方，按照所述吸盘编号和旋转角度抓取所述待处理板件；其中，不同的吸盘编号对应不同类型的吸盘。
2.根据权利要求1所述的板件视觉定位识别抓取方法，其特征在于，所述控制安装在所述抓取机器人的机械手上的视觉相机拍摄得到所述待处理板件的第一板件图像，包括：
根据所述待处理板件的尺寸及与视觉相机的垂直距离设置所述视觉相机的拍摄焦距；
根据所述拍摄焦距拍摄得到所述待处理板件的初始图像；
利用LBP算法提取出所述初始图像的纹理特征区域，利用傅里叶变换将所述纹理特征区域转换为频域表示，得到所述纹理特征区域的幅度谱和相位谱；其中，所述幅度谱表示了所述纹理特征区域中不同频率分量的能量大小，所述相位谱表示了所述纹理特征区域中各个频率分量的相对相位信息；
根据所述纹理特征区域的幅度谱和相位谱将所述纹理特征区域分解为高频成分及低频成分，计算所述纹理特征区域中所述高频成分的占比；
当所述纹理特征区域中所述高频成分的占比大于预设比例时，则将所述初始图像作为第一板件图像；
当所述纹理特征区域中所述高频成分的占比不大于预设比例时，则控制安装在所述抓取机器人的所述视觉相机缩短与所述待处理板件的垂直距离，并调低所述视觉相机的拍摄焦距，控制所述视觉相机对所述待处理板件进行重新拍摄，直至重新拍摄的初始图像的纹理特征区域中所述高频成分的占比大于预设比例为止。
3.根据权利要求1所述的板件视觉定位识别抓取方法，其特征在于，所述对所述第一板件图像进行预处理后，生成第二板件图像，包括：
获取所述第一板件图像的高度和宽度；
基于所述第一板件图像的高度和宽度，创建一个与所述第一板件图像相同大小的空白图像；
遍历所述第一板件图像的每个像素；
计算每个像素的周围邻域像素值的加权平均值，将所述第一板件图像与空白图像进行对齐，分别将第一板件图像中每个像素的所述加权平均值赋值给所述空白图像对应的像素，得到初始降噪图像；
对所述初始降噪图像进行滤波处理后，得到第二板件图像。
4.根据权利要求3所述的板件视觉定位识别抓取方法，其特征在于，所述对所述初始降噪图像进行滤波处理后，得到第二板件图像，包括：
将所述初始降噪图像与所述第一板件图像进行逐个像素比较，并计算所述初始降噪图像与所述第一板件图像的比较像素之间的像素差异值，得到降噪数值集；
计算所述降噪数值集中所有像素差异值的平均值，并与预设的调整系数相乘后，得到目标像素差异值；其中，所述调整系数为e-3n，所述n为像素差异值的数量；
基于所述目标像素差异值调整所述初始降噪图像中每个像素的像素值，以使所述初始降噪图像与所述第一板件图像的比较像素之间的像素差异值都为所述目标像素差异值，得到第二板件图像。
5.根据权利要求1所述的板件视觉定位识别抓取方法，其特征在于，所述确定所述目标板件图像中所述待处理板件的中心坐标，包括：
当所述待处理板件为不规则形状时，确定所述目标板件图像中所述边缘上每个像素的像素坐标，根据所述目标板件图像中所述边缘上每个像素的像素坐标计算得到边缘重心；
以所述边缘重心为中心向至少三个不同的方向划直线，得到每条直线与所述边缘的交点，并确定同一直线上两个交点之间的中心点；
计算每个中心点到所述边缘的最短距离，选取出最短距离最大对应的中心点作为目标中心点；
确定所述目标中心点的坐标为所述待处理板件的中心坐标。
6.根据权利要求1所述的板件视觉定位识别抓取方法，其特征在于，所述确定所述目标板件图像中所述待处理板件的中心坐标，包括：
当所述待处理板件为矩形或梯形时，确定所述目标板件图像的两条对角线；
将所述目标板件图像的两条对角线进行连接；
将所述两条对角线连接后形成的交点作为所述待处理板件的中心坐标。
7.根据权利要求1所述的板件视觉定位识别抓取方法，其特征在于，所述控制所述抓取机器人移动至所述中心坐标的正上方，包括：
计算所述中心坐标与所述板件坐标的偏移角度及偏移距离；
按照所述偏移角度及偏移距离控制所述抓取机器人移动至所述中心坐标的正上方。
8.根据权利要求1所述的板件视觉定位识别抓取方法，其特征在于，所述对所述第二板件图像进行灰度化处理，生成单通道灰度图像，包括：
将所述第二板件图像导入OpenCV图像处理库；
利用所述OpenCV图像处理库中的cv2.cvtColor()函数将所述第二板件图像转换为灰度图像；
提取所述灰度图像的单个通道，生成单通道灰度图像。
9.一种控制系统，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的板件视觉定位识别抓取方法的步骤。
10.一种板件生产线，其特征在于，包括控制系统、视觉相机、皮带机、开料机及抓取机器人，所述视觉相机、皮带机、开料机及抓取机器人分别与所述控制系统电性连接，所述开料机用于将板件切割成所需尺寸和形状，所述抓取机器人用于抓取板件并运送至目标位置,所述板件生产线的控制系统用于执行如权利要求1至8中任一项所述的板件视觉定位识别抓取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311725917.3A CN117689716B (zh) | 2023-12-15 | 2023-12-15 | 板件视觉定位识别抓取方法、控制系统及板件生产线 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311725917.3A CN117689716B (zh) | 2023-12-15 | 2023-12-15 | 板件视觉定位识别抓取方法、控制系统及板件生产线 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117689716A true CN117689716A (zh) | 2024-03-12 |
| CN117689716B CN117689716B (zh) | 2024-05-17 |
Family
ID=90133285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311725917.3A Active CN117689716B (zh) | 2023-12-15 | 2023-12-15 | 板件视觉定位识别抓取方法、控制系统及板件生产线 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689716B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118014881A (zh) * | 2024-04-08 | 2024-05-10 | 山东拓新电气有限公司 | 基于计算机视觉的盾构机导向系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN108022233A (zh) * | 2016-10-28 | 2018-05-11 | 沈阳高精数控智能技术股份有限公司 | 一种基于改进型Canny算子的工件边缘提取方法 |
| CN110315525A (zh) * | 2018-03-29 | 2019-10-11 | 天津工业大学 | 一种基于视觉引导的机器人工件抓取方法 |
| CN111932490A (zh) * | 2020-06-05 | 2020-11-13 | 浙江大学 | 一种用于工业机器人的视觉系统抓取信息提取方法 |
| CN112907586A (zh) * | 2021-03-30 | 2021-06-04 | 贵州大学 | 基于视觉的机械臂控制方法、装置、系统和计算机设备 |
| CN115922695A (zh) * | 2022-11-03 | 2023-04-07 | 广州市新豪精密科技有限公司 | 一种基于平面视觉引导机械臂的抓取方法 |
| WO2023060926A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
-
2023
- 2023-12-15 CN CN202311725917.3A patent/CN117689716B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934813A (zh) * | 2015-12-31 | 2017-07-07 | 沈阳高精数控智能技术股份有限公司 | 一种基于视觉定位的工业机器人工件抓取实现方法 |
| CN108022233A (zh) * | 2016-10-28 | 2018-05-11 | 沈阳高精数控智能技术股份有限公司 | 一种基于改进型Canny算子的工件边缘提取方法 |
| CN110315525A (zh) * | 2018-03-29 | 2019-10-11 | 天津工业大学 | 一种基于视觉引导的机器人工件抓取方法 |
| CN111932490A (zh) * | 2020-06-05 | 2020-11-13 | 浙江大学 | 一种用于工业机器人的视觉系统抓取信息提取方法 |
| CN112907586A (zh) * | 2021-03-30 | 2021-06-04 | 贵州大学 | 基于视觉的机械臂控制方法、装置、系统和计算机设备 |
| WO2023060926A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 |
| CN115922695A (zh) * | 2022-11-03 | 2023-04-07 | 广州市新豪精密科技有限公司 | 一种基于平面视觉引导机械臂的抓取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈卫东等: "改进直接线性标定的移动机器人视觉定位算法", 小型微型计算机系统, vol. 34, no. 4, 30 April 2013 (2013-04-30) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118014881A (zh) * | 2024-04-08 | 2024-05-10 | 山东拓新电气有限公司 | 基于计算机视觉的盾构机导向系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117689716B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416809B (zh) | 一种基于机器视觉的钢桶螺纹盖位姿识别方法 | |
| CN109785317B (zh) | 自动码垛桁架机器人的视觉系统 | |
| CN106934803B (zh) | 电子器件表面缺陷的检测方法及装置 | |
| CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
| CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
| CN112991302B (zh) | 基于超像素的柔性ic基板变色缺陷检测方法和装置 | |
| CN108416789A (zh) | 图像边缘检测方法及系统 | |
| US6647132B1 (en) | Methods and apparatuses for identifying regions of similar texture in an image | |
| CN105865329B (zh) | 基于视觉的成捆圆钢端面中心坐标的获取系统和方法 | |
| CN107403435B (zh) | 一种基于rgb颜色空间的彩色图像边缘提取方法 | |
| CN111080661A (zh) | 基于图像的直线检测方法、装置以及电子设备 | |
| JPH11110561A (ja) | 画像情報処理装置 | |
| CN110008968B (zh) | 一种基于图像视觉的机器人结算自动触发方法 | |
| CN110378902B (zh) | 一种高噪声背景下的划痕检测方法 | |
| CN112132153B (zh) | 基于聚类和形态学处理的番茄果实识别方法及系统 | |
| CN110009615B (zh) | 图像角点的检测方法及检测装置 | |
| CN112883881B (zh) | 一种条状农产品无序分拣方法及装置 | |
| CN112991374B (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
| CN111242888A (zh) | 一种基于机器视觉的图像处理方法及系统 | |
| CN109255792B (zh) | 一种视频图像的分割方法、装置、终端设备及存储介质 | |
| CN112164050A (zh) | 用于流水线上产品表面缺陷的检测方法、设备及存储介质 | |
| CN110348442B (zh) | 一种基于支持向量机的船载雷达图像海上油膜识别方法 | |
| CN110288619B (zh) | 基于视觉的太阳花模组表面螺钉孔位置检测方法 | |
| CN113283439B (zh) | 基于图像识别的智能计数方法、装置及系统 | |
| CN117764983A (zh) | 一种用于智能制造产线的双目识别的视觉检测的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |