CN115861782B - 一种基于视觉的余料识别与排版系统 - Google Patents

一种基于视觉的余料识别与排版系统 Download PDF

Info

Publication number
CN115861782B
CN115861782B CN202310141005.5A CN202310141005A CN115861782B CN 115861782 B CN115861782 B CN 115861782B CN 202310141005 A CN202310141005 A CN 202310141005A CN 115861782 B CN115861782 B CN 115861782B
Authority
CN
China
Prior art keywords
image
residual
unit
module
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310141005.5A
Other languages
English (en)
Other versions
CN115861782A (zh
Inventor
石立
于飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Bodor Laser Co Ltd
Original Assignee
Jinan Bodor Laser Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Bodor Laser Co Ltd filed Critical Jinan Bodor Laser Co Ltd
Priority to CN202310141005.5A priority Critical patent/CN115861782B/zh
Publication of CN115861782A publication Critical patent/CN115861782A/zh
Application granted granted Critical
Publication of CN115861782B publication Critical patent/CN115861782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供一种基于视觉的余料识别与排版系统，属于余料识别与排版领域，包括切割机工作台面和第一成像设备；第一成像设备架设在切割机工作台面上方，能够拍摄到切割机工作台面的全幅面图像；该系统还包括：成像设备校正单元；系统参数标定单元；余料图像采集单元，用于触发第一成像设备拍摄第一余料图像；自动识别单元，用于自动识别与提取第一余料图像中余料对应地余料像素块；余料轮廓提取单元，用于提取余料像素块的轮廓线；图纸导出单元，用于对得到的余料轮廓线拟合并导出余料图纸；自动排版单元，用于对零件进行排版。本发明用于避免人工肉眼去观察和测量余料，避免手动在余料上排版需要加工的零件，提高效率、精度和余料利用率。

Description

一种基于视觉的余料识别与排版系统
技术领域
本发明涉及余料识别与排版领域，具体涉及一种基于视觉的余料识别与排版系统。
背景技术
在加工非金属（纺织品以及木材等）和金属原材料的行业中，很多材料在进行切割、加工后仍有剩余材料，这些剩余材料称之为余料。对余料进行正确的处理可以提高原材料物资的利用率，进而可降低由浪费余料造成的经济损失。
传统方法中大多依靠人工肉眼去观察和测量余料，且手动在余料上排版需要加工的零件，效率低，精度差，且手工排版不利于提高余料利用率。为此，如何解决效率低、精度差、手工排版不利于提高余料利用率的问题是余料识别与排版亟需解决的问题。
发明内容
为解决上述问题，本发明提供一种基于视觉的余料识别与排版系统，用于避免人工肉眼去观察和测量余料，以及避免手动在余料上排版需要加工的零件，从而提高效率，提高精度，以及提高余料利用率。
本发明的技术方案提供一种基于视觉的余料识别与排版系统，所述系统包括切割机工作台面和第一成像设备；第一成像设备架设在切割机工作台面上方，能够拍摄到切割机工作台面的全幅面图像；所述系统还包括：
成像设备校正单元，用于校正第一成像设备，使第一成像设备的输出图像是校正后图像；
系统参数标定单元，用于标定系统参数，获取第一成像设备的对应的透视矩阵As，并获取切割机工作台面的世界坐标系与像素坐标系的换算比例系数ks；
余料图像采集单元，用于触发第一成像设备拍摄切割机工作台面上放置的待识别与排版余料的图像，记为第一余料图像；
自动识别单元，用于自动识别第一余料图像中的待识别与排版余料，提取待识别与排版余料对应的余料像素块；
余料轮廓提取单元，用于自动提取余料像素块的所有轮廓线，并分别将提取到的轮廓线的像素坐标转换为机械坐标，得到世界坐标系下的各余料轮廓线；
图纸导出单元，用于对世界坐标系下的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸；
自动排版单元，用于将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版。
进一步地，校正第一成像设备的方法为，利用黑白棋盘格对第一成像设备进行畸变校正。
进一步地，所述系统参数标定单元包括：
第一输入模块，用于供用户输入人工记录的十字标定板的四个十字中心机械坐标，分别为sr1(
Figure SMS_2
,/>
Figure SMS_6
)、sr2(/>
Figure SMS_8
,/>
Figure SMS_3
)、sr3(/>
Figure SMS_4
,/>
Figure SMS_5
)和sr4(/>
Figure SMS_7
,/>
Figure SMS_1
)；
第二输入模块，用于输入四张十字标定板图像；
第一处理模块，用于提取所输入的四张十字标定板图像上的十字的中心坐标，得到所输入的四张十字标定板图像上的四个十字中心像素坐标，分别为sp1(
Figure SMS_10
,/>
Figure SMS_12
)、sp2(/>
Figure SMS_13
,/>
Figure SMS_11
)、sp3(/>
Figure SMS_14
,/>
Figure SMS_15
)、sp4(/>
Figure SMS_16
,/>
Figure SMS_9
)；
透视矩阵计算单元，用于基于四个十字中心机械坐标以及四个十字中心像素坐标求解所述透视矩阵As，求解公式为：
Figure SMS_17
比例系数计算单元，用于求解所述的换算比例系数ks,
Figure SMS_18
。
进一步地，所述自动识别单元包括：
预处理模块，用于对所述第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像；
判断模块，用于判断所述二值化图像的中央区域的平均像素值是否大于等于预设值；所述的中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心；
第二处理模块，用于在判断模块判定所述平均像素值大于等于预设值时，调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；并用于在判断模块判定所述平均像素值小于预设值时，先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，然后调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污点噪声；
毛刺与污点噪声去除模块，用于基于第二处理模块的调度，消除目标图像的毛刺与污点噪声，得到第一图像；当判断模块判定所述平均像素值大于等于预设值时，所述的二值化图像即为所述的目标图像；当判断模块判定所述平均像素值小于预设值时，所述的反值化图像即为所述的目标图像；
第三处理模块，用于对第一图像进行连通域分析，选出第一图像中面积最大的连通域作为余料像素块。
进一步地，所述余料轮廓提取单元包括：
第一轮廓提取模块，用于从余料像素块的像素坐标原点出发，逐行遍历余料像素块的每一个像素，若首次遍历到某像素与其一相邻像素的灰度的值为0和255，则值为255的像素判定为边缘点，即为外轮廓边缘起始点，记录当前判定为边缘点的像素坐标，之后由当前记录的该像素坐标按照从左到右、从上到下、顺时针的方向遍历相邻像素，直到发现下一个边缘点，并记录，重复以上步骤，直至遍历到所述外轮廓边缘起始点，然后将记录下来的像素坐标按记录顺序依次连线，即得到余料像素块的外轮廓线；
第二轮廓提取模块，用于在第一轮廓提取模块得到余料像素块的外轮廓线后，遍历余料像素块外轮廓线内部是否有灰度值为0的像素，若否，则调用坐标转换模块，若有，则检测连通的值为0的像素，并按照提取外轮廓线的方法确定出各内轮廓线，然后调用坐标转换模块；
坐标转换模块，用于基于所述的换算比例系数ks，将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标；
输出模块，用于输出余料像素块的机械坐标下的各轮廓线。
进一步地，所述系统还包括手持设备图像采集单元，所述手持设备图像采集单元与所述自动识别单元相连，所述手持设备图像采集单元用于供用户输入利用手持成像设备拍摄的切割机工作台面上放置的待识别与排版余料的图像，并用于将用户输入的图像发送给自动识别单元进行余料像素块提取；
所述手持设备图像采集单元包括第一手持设备图像采集模块；
所述第一手持设备图像采集模块，包括正上方拍摄图像采集单元和第一标定单元；
所述正上方拍摄图像采集单元，用于供用户输入第一余料图像；该第一余料图像，为用户利用手持成像设备处于待识别与排版余料正上方拍摄的余料图像；
所述第一标定单元，用于标定第一余料图像；
所述第一标定单元包括：
第一输入模块，用于供用户输入待识别与排版余料上的两个点的机械坐标，该两个点是用户在待识别与排版余料上选择的两个点，该两个点位于第一余料图像上位置相对的任意两端，其机械坐标记为点T1（xt1,yt1）和点T2(xt2,yt2)；
第一计算模块，用于计算所输入的点T1（xt1,yt1）和点T2(xt2,yt2)之间的直线距离，记为T12，T12=
Figure SMS_19
；
第二计算模块，用于导入所述的第一余料图像，并供用户通过拖拽画线的工具测量点T1（xt1,yt1）和T2(xt2,yt2)之间对应的像素长度，记为Tp12；
第三计算模块，用于自动基于上述计算得到的T12和Tp12,计算单位像素对应的真实长度，即计算比例系数kt，计算公式如下：
kt=T12/Tp12；
在用户选择使用第一手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数kt将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
进一步地，所述手持设备图像采集单元还包括第二手持设备图像采集模块；
所述第二手持设备图像采集模块，包括斜上方拍摄图像采集单元和第二标定单元；
所述斜上方拍摄图像采集单元，用于供用户输入第二余料图像；该第二余料图像，为用户利用手持成像设备处于待识别与排版余料斜上方拍摄的余料图像；
所述第二标定单元，用于标定第二余料图像；
所述第二标定单元包括：
第二输入模块，用于供用户输入待识别与排版余料上的四个点的机械坐标，该四个点是用户手持成像设备拍摄余料图像之前在待识别与排版余料上任意选定的四个标记点，该四个标记点呈四边形分布，其机械坐标记为点Ar(xa1,ya1)、Br(xb1,yb1)、Cr(xc1,yc1)、Dr(xd1,yd1)；
第四计算模块，用于根据机械坐标，自动计算所述四个标记点中两两之间的直线距离，得到六个距离，分别记为Fr1、Fr2、Fr3、Fr4、Fr5、Fr6；
第五计算模块，用于导入第二余料图像，并在导入的第二余料图像上将所述的四个标记点Ar、Br、Cr、Dr按选出顺序标出对应的像素点，利用透视矩阵As对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点Ar、Br、Cr、Dr对应的校正后的像素坐标，依次记为Ap(xa2,ya2)、Bp(xb2,yb2)、Cp(xc2,yc2)和Dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为Fp1、Fp2、Fp3、Fp4、Fp5、Fp6；
第六计算模块，用于自动基于计算所得的Fr1、Fr2、Fr3、Fr4、Fr5、Fr6和Fp1、Fp2、Fp3、Fp4、Fp5、Fp6，计算比例系数kf，计算公式为：
Figure SMS_20
，/>
Figure SMS_21
=1,2,3,...,6;
在用户选择使用第二手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数kf将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
进一步地所述手持设备图像采集单元还包括第三手持设备图像采集模块；
所述第三手持设备图像采集模块，包括工装设备辅助拍摄图像采集单元和第三标定单元；
所述工装设备辅助拍摄图像采集单元，用于供用户输入第三余料图像；第三余料图像，为用户利用手持成像设备拍摄的带有完整的正方形亚克力标定板和完整的待识别与排版余料的余料图像；所述正方形亚克力标定板的边长长度记为a；
所述第三标定单元，用于标定第三余料图像；
所述第三标定单元包括：
导入模块，用于导入第三余料图像；
图像处理模块，用于对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中的正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵As对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长，记为a’；
利用边长a和像素边长a’，计算比例系数ka，计算公式为：
Figure SMS_22
；
在用户选择使用第三手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数ka将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
进一步地，所述系统还包括手动识别单元和识别模式切换单元；手动识别单元是自动识别单元的备用，识别模式切换单元用于实现自动识别单元和手动识别单元之间的切换；系统默认手动识别单元；手动识别单元，用于在判定自动识别单元的识别效果不足以应对当前场景时，由人工通过识别模式切换单元实现自动识别单元到手动识别单元的切换。
进一步地，所述系统配设有余料图像采集方式切换单元，用于实现余料图像默认采集方式和手持设备采集方式的切换；
余料图像默认采集方式为采用第一成像设备拍摄余料图像；
手持设备采集方式为采用手持设备图像采集单元拍摄余料图像；
手持设备采集方式配设有三个图像采集选项，该三个图像采集选项与三个手持设备图像采集模块一一对应；三个手持设备图像采集模块为第一手持设备图像采集模块、第二手持设备图像采集模块和第三手持设备图像采集模块；
点选不同的图像采集选项，采用对应的手持设备图像采集模块拍摄余料图像。
本发明具有以下有益效果：
（1）本发明提供了一种基于视觉的余料识别与排版系统，其包括切割机工作台面和第一成像设备，第一成像设备架设在切割机工作台面上方，能够拍摄到切割机工作台面的全幅面图像，还包括余料图像采集单元、自动识别单元、余料轮廓提取单元、图纸导出单元和自动排版单元，使用时，余料图像采集单元通过第一成像设备拍摄余料图像，拍摄的余料图像依次经自动识别单元、余料轮廓提取单元、图纸导出单元和自动排版单元的作用，自动完成余料的识别与排版，避免了依靠人工肉眼去观察和测量余料，且无需手动在余料上排版需要加工的零件，提高了效率与精度，有助于提高余料利用率。
（2）本发明所述系统还包括手持设备图像采集单元，该手持设备图像采集单元与自动识别单元相连，手持设备图像采集单元的使用，使得本发明支持用户手持成像设备拍摄余料图像，一定程度上有助于使本发明可以匹配手持设备和架设的成像设备工况，使本发明支持任意成像设备采集的图像均可生成余料工件，一定程度上有助于增加本发明使用的灵活性。
（3）本发明提供的基于视觉的余料识别与排版系统，其手持设备图像采集单元包括第一手持设备图像采集模块、第二手持设备图像采集模块和第三手持设备图像采集模块中的至少一种，使得本发明支持用户手持成像设备在余料正上方和/或在余料斜上方拍摄余料图像，从而使本申请不仅可以避免依靠人工肉眼去观察和测量余料且无需手动在余料上排版需要加工的零件，还可以使本申请匹配手持成像设备拍摄余料图像的多种不同实际工况。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的系统的结构框图示意图。
图2是本发明所述系统中第一成像设备的安装状态示意图。
图3是本发明像素坐标系与机械坐标系的相对位置关系示意图。
图4是本发明另一个实施例的系统的结构框图示意图。
其中：101、切割机工作台面，102、第一成像设备，103、成像设备校正单元，104、系统参数标定单元，105、余料图像采集单元，106、自动识别单元，107、余料轮廓提取单元，108、图纸导出单元，109、自动排版单元，110、手持设备图像采集单元，1101、第一手持设备图像采集模块，1102、第二手持设备图像采集模块，1103、第三手持设备图像采集模块，111、待识别与排版余料。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例1：
图1为本发明所述系统的一个示例性实施例。
实施例1对应全自动余料识别、排版方案。
如图1所示，本系统100包括切割机工作台面101和第一成像设备102。第一成像设备102架设在切割机工作台面101正上方。第一成像设备102能够拍摄到切割机工作台面101的全幅面图像。本系统100还包括成像设备校正单元103、系统参数标定单元104、余料图像采集单元105、自动识别单元106、余料轮廓提取单元107、图纸导出单元108和自动排版单元109。
（1）安装视觉设备
本实施例中的视觉设备即第一成像设备102，第一成像设备102采用广角相机。
视觉设备安装：在切割机工作台面101上方，利用金属支架或其它方式架设广角相机，令广角相机可以拍摄到切割机工作台面101全幅面，如图2所示。
图2中：“0”为切割机工作台面101的机械坐标系的原点，“X”和“Y”为切割机工作台面101的机械坐标系的X轴和Y轴。
（2）成像设备校正单元103
成像设备校正单元103，用于校正第一成像设备102，使第一成像设备102的输出图像是校正后图像。
第一成像设备102可以仅在其本身安装时或在本系统100首次使用第一成像设备102采集余料图像时校正。
本实施例采用黑白棋盘格对广角相机进行畸变校正。
在本实施例中，采用黑白棋盘格对广角相机进行畸变校正，包括：
步骤1021、采集校正图像。
步骤1022、成像校正。
所述成像校正，即进行第一成像设备与切割机机床坐标系的匹配。
具体地，将校正图像作为输入，利用畸变校正工具，针对广角相机出现的桶型畸变求出畸变参数，并导入广角相机图像采集模块进行校正，令广角相机输出图像为校正后状态。
（3）系统参数标定单元104
系统参数标定单元104，用于标定系统参数，获取第一成像设备102的对应的透视矩阵As，并获取切割机工作台面101的世界坐标系与像素坐标系的换算比例系数ks。
系统参数标定单元104也可仅在其本身安装时或在本系统100首次使用第一成像设备102采集余料图像时用于系统参数标定。
系统参数标定单元104包括：
第一输入模块，用于供用户输入人工记录的十字标定板的四个十字中心机械坐标， 分别为sr1(
Figure SMS_24
,/>
Figure SMS_26
)、sr2(/>
Figure SMS_29
,/>
Figure SMS_25
)、sr3(/>
Figure SMS_27
,/>
Figure SMS_28
)和sr4(/>
Figure SMS_30
,/>
Figure SMS_23
)；
其中，十字标定板为预先制作的标准十字标定板，该标准十字标定板的背景色为白色，标准十字标定板上的十字为线宽3mm的黑色十字；人工记录四个十字标定板的十字中心机械坐标的方法，具体包括步骤：将所述的十字标定板逐个放置在切割机工作台面101（呈矩形）的四个角上，并且每次在将十字标定板置于切割机工作台面101的角上后，分别启用第一成像设备102拍照获取十字标定板图像，并分别记录四张十字标定板图像中各十字标定板的十字中心的机械坐标，最终得到四张十字标定板图像和所述的四个十字中心机械坐标；
第二输入模块，用于输入所述的四张十字标定板图像；
第一处理模块，用于提取所输入的四张十字标定板图像上的黑色十字的中心坐标，得到所输入的四张十字标定板图像上的四个十字中心像素坐标，分别为sp1(
Figure SMS_32
,
Figure SMS_34
)、sp2(/>
Figure SMS_36
,/>
Figure SMS_33
)、sp3(/>
Figure SMS_35
,/>
Figure SMS_37
)、sp4(/>
Figure SMS_38
,/>
Figure SMS_31
)；透视矩阵计算单元，用于基于四个十字中心机械坐标以及四个十字中心像素坐标求解所述透视矩阵As，
Figure SMS_39
比例系数计算单元，用于求解所述的换算比例系数ks，
Figure SMS_40
需要说明的是，十字标定板还可由本领域技术人员依据实际情况设定。
（4）余料图像采集单元105
余料图像采集单元105，用于触发第一成像设备102拍摄切割机工作台面101上放置的待识别与排版余料的图像，记为第一余料图像。
待识别与排版余料，即待识别与排版的余料。
具体实现时，余料图像采集单元105可以是一个虚拟按键或按钮，也可以是一个实体按键或按钮，本领域技术人员可依据实际情况设定，用于供用户触发第一成像设备102拍摄余料图像。
本实施例中的余料图像采集单元105是一个虚拟按钮，使用时，用户点击该虚拟按钮，即可触发第一成像设备102拍摄余料图像。
（5）自动识别单元106
自动识别单元106，用于自动识别第一余料图像中的待识别与排版余料，提取待识别与排版余料对应的余料像素块。
自动识别单元106包括预处理模块、判断模块、第二处理模块、毛刺与污点噪声去除模块和第三处理模块。其中：
预处理模块，用于对所述第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像。
判断模块，用于判断所述二值化图像的中央区域的平均像素值是否大于等于预设值；所述的中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心。
第二处理模块，用于在判断模块判定所述平均像素值大于等于预设值（比如128像素）时，调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；并用于在判断模块判定所述平均像素值小于预设值时，先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，然后调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污点噪声。
毛刺与污点噪声去除模块，用于基于第二处理模块的调度，消除目标图像的毛刺与污点噪声，得到第一图像；当判断模块判定所述平均像素值大于等于预设值时，所述的二值化图像即为所述的目标图像；当判断模块判定所述平均像素值小于预设值时，所述的反值化图像即为所述的目标图像。
第三处理模块，用于对第一图像进行连通域分析，选出第一图像中面积最大的连通域作为余料像素块。
自动识别单元106使用时：
首先通过预处理模块对第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像；
之后通过判断模块判断所述二值化图像的中央区域（所述中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心）的平均像素值是否大于等于预设值（比如128像素），若大于等于预设值，则继续下一步，若小于预设值，则对二值化图像进行反值化处理得到反值化图像；
然后在判断模块判定所述平均像素值大于等于预设值时，由第二处理模块调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；在判断模块判定所述平均像素值小于预设值时，由第二处理模块先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，再调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污点噪声；
毛刺与污点噪声去除模块在第二处理模块调用下，对目标图像进行毛刺与污点噪声的消除处理，得到第一图像；
之后由第三处理模块对第一图像进行连通域分析，选出第一图像中面积最大的连通域得到余料像素块。
具体实施时，对目标图像进行毛刺与污点噪声的消除处理，可采用如下公式，其中r是噪声半径，σ是正态分布的标准偏差：
Figure SMS_41
（6）余料轮廓提取单元107
余料轮廓提取单元107，用于自动提取余料像素块的所有轮廓线，并分别将提取到的轮廓线的像素坐标转换为机械坐标，得到世界坐标系下的各余料轮廓线。
余料轮廓提取单元107包括第一轮廓提取模块、第二轮廓提取模块、坐标转换模块和输出模块。其中：
第一轮廓提取模块，用于从余料像素块的像素坐标原点出发，逐行遍历余料像素块的每一个像素，若首次遍历到某像素与其一相邻像素的灰度的值为0和255，则值为255的像素判定为边缘点，即为外轮廓边缘起始点，记录当前判定为边缘点的像素坐标，之后由当前记录的该像素坐标按照从左到右、从上到下、顺时针的方向遍历相邻像素，直到发现下一个边缘点，并记录，重复以上步骤，直至遍历到所述外轮廓边缘起始点，然后将记录下来的像素坐标按记录顺序依次连线，即得到余料像素块的外轮廓线；
第二轮廓提取模块，用于在第一轮廓提取模块得到余料像素块的外轮廓线后，遍历余料像素块外轮廓线内部是否有灰度值为0的像素，若否，则调用坐标转换模块，若有，则检测连通的值为0的像素，并按照提取外轮廓线的方法确定出各内轮廓线，然后调用坐标转换模块；
坐标转换模块，用于将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标，转换公式为：
Figure SMS_42
，式中：X’、Y’代表轮廓线上每一个像素点在像素坐标系下的横坐标和纵坐标，X、Y代表轮廓线上每一个像素点（X’，Y’）在机械坐标系下对应的横坐标和纵坐标，W、H依次为所述切割机工作台面101的宽度和长度，/>
Figure SMS_43
取值为换算比例系数ks，此时对应系统的参数标定；
输出模块，用于输出余料像素块的机械坐标下的各轮廓线。
使用时，首先通过第一轮廓提取模块得到余料像素块的外轮廓线，然后通过第二轮廓提取模块确定出余料像素块的内轮廓线，待确立外、内轮廓线（内轮廓线可以没有）后，分别通过坐标转换模块将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标，之后通过输出模块输出余料像素块的机械坐标下的各轮廓线。
像素坐标系默认以左上角为原点，机械坐标系默认以左下角作为原点，如图3所示。
（7）图纸导出单元108
图纸导出单元108，用于对世界坐标系下的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸。
使用时，图纸导出单元108自动对余料轮廓提取单元107输出的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸。
（8）自动排版单元109
自动排版单元109，用于将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版。
使用时，自动排版单元109自动将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版，之后输出排版文件，供切割机切割余料得到零件使用。
实施例2：
图4为本发明所述系统的另一个实施例。
该实施例2对应手持设备拍摄的余料识别、排版方案。
在本实施例中，所述系统100还包括手持设备图像采集单元110。手持设备图像采集单元110与自动识别单元106相连。手持设备图像采集单元110用于供用户输入利用手持成像设备拍摄的切割机工作台面101上放置的待识别与排版余料的图像，并用于将用户输入的图像发送给自动识别单元106进行余料像素块提取。
具体实现时，系统默认使用第一成像设备102拍摄切割机工作台面101上放置的待识别与排版余料的图像，实际使用时，用户可依据实际情况选择启用手持设备图像采集单元110。
在本实施例中，手持设备图像采集单元110包括第一手持设备图像采集模块1101。第一手持设备图像采集模块1101，包括正上方拍摄图像采集单元和第一标定单元。
正上方拍摄图像采集单元，用于供用户输入第一余料图像。
第一余料图像，为用户利用手持成像设备处于待识别与排版余料正上方拍摄的余料图像。
第一标定单元，用于标定第一余料图像。
第一标定单元包括：
第一输入模块，用于供用户输入待识别与排版余料上的两个点的机械坐标，该两个点是用户在待识别与排版余料上选择的两个点，该两个点位于第一余料图像上位置相对的任意两端，其机械坐标记为点T1（xt1,yt1）和点T2(xt2,yt2)；
第一计算模块，用于计算所输入的点T1（xt1,yt1）和点T2(xt2,yt2)之间的直线距离，记为T12，T12=
Figure SMS_44
；
第二计算模块，用于导入所述的第一余料图像，并用于供用户利用拖拽画线的工具测量点T1（xt1,yt1）和T2(xt2,yt2)之间对应的像素长度，记为Tp12；
第三计算模块，用于自动基于上述计算得到的T12和Tp12,计算单位像素对应的真实长度，即计算比例系数kt(mm/pixel)，计算公式如下：
kt=T12/Tp12；
在用户选择使用第一手持设备图像采集模块1101拍摄余料图像时，坐标转换模块的转换公式中
Figure SMS_45
的取值替换为比例系数kt。
可选地，手持设备图像采集单元110还包括第二手持设备图像采集模块1102。
第二手持设备图像采集模块1102包括斜上方拍摄图像采集单元和第二标定单元。
斜上方拍摄图像采集单元，用于供用户输入第二余料图像。
第二余料图像，为用户利用手持成像设备处于待识别与排版余料斜上方拍摄的余料图像。
第二标定单元用于标定第二余料图像。
第二标定单元包括：
第二输入模块，用于供用户输入待识别与排版余料上的四个点的机械坐标，该四个点是用户手持成像设备拍摄余料图像之前在待识别与排版余料上任意选定的四个标记点，该四个标记点呈四边形分布，其机械坐标记为点Ar(xa1,ya1)、Br(xb1,yb1)、Cr(xc1,yc1)、Dr(xd1,yd1)；
第四计算模块，用于根据机械坐标，自动计算所述四个标记点中两两之间的直线距离，得到六个距离，分别记为Fr1、Fr2、Fr3、Fr4、Fr5、Fr6；
第五计算模块，用于导入第二余料图像，并在导入的第二余料图像上将所述的四个标记点Ar、Br、Cr、Dr按选出顺序标出对应的像素点，利用透视矩阵As对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点Ar、Br、Cr、Dr对应的校正后的像素坐标，依次记为Ap(xa2,ya2)、Bp(xb2,yb2)、Cp(xc2,yc2)和Dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为Fp1、Fp2、Fp3、Fp4、Fp5、Fp6；
第六计算模块，用于自动基于计算所得的Fr1、Fr2、Fr3、Fr4、Fr5、Fr6和Fp1、Fp2、Fp3、Fp4、Fp5、Fp6，计算比例系数kf(mm/pixel)，计算公式为：
Figure SMS_46
，/>
Figure SMS_47
=1,2,3,...,6;
在用户选择使用第二手持设备图像采集模块1102拍摄余料图像时，坐标转换模块中转换公式中
Figure SMS_48
的取值为上述比例系数kf。
可选地，手持设备图像采集单元110还包括第三手持设备图像采集模块1103。
第三手持设备图像采集模块1103，包括工装设备辅助拍摄图像采集单元和第三标定单元。
工装设备辅助拍摄图像采集单元，用于供用户输入第三余料图像。第三余料图像，为用户利用手持成像设备拍摄的带有完整的正方形亚克力标定板和完整的待识别与排版余料的余料图像。正方形亚克力标定板的边长长度记为a。
第三标定单元用于标定第三余料图像。
第三标定单元包括：
导入模块，用于导入第三余料图像；
图像处理模块，用于对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中的正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵As对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长，记为a’；
利用边长a和像素边长a’，计算比例系数ka(mm/pixel)，计算公式为：
Figure SMS_49
；
在用户选择使用第三手持设备图像采集模块1103拍摄余料图像时，坐标转换模块转换公式中
Figure SMS_50
的取值替换为比例系数ka。
本实施例中提供的系统对应手持设备拍摄的余料识别、排版方案，为了便于对本发明的理解，下面以本发明基于视觉的余料识别与排版系统的原理，对本实施例提供的基于视觉的余料识别与排版系统的使用方法做进一步地描述。
该基于视觉的余料识别与排版系统的使用方法具体包括：
步骤201：图像标定。
该步骤201包含拍摄人员手持成像设备拍摄得到余料图像以及对人工拍摄得到的余料图像的图像标定。
本实施例中的手持设备采集方式分三种，三种手持设备采集方式分别对应手持设备图像采集单元110的第一手持设备图像采集模块1101、第二手持设备图像采集模块1102和第三手持设备图像采集模块1103。
用户可依据实际情况选用上述三种手持设备采集方式中的任意一种。
不同的手持设备采集方式对应不同的图像标定方法。
用户可依据实际选择的手持设备采集方式进行图像的适应性标定。
本实施例以拍摄人员选择第一手持设备图像采集模块1101对应的手持设备采集方式为例进行说明。
具体标定时：
拍摄人员手持成像设备处于待识别与排版余料正上方拍摄小尺寸（余料可以全部处于相机视野内，相机视野不需要全覆盖整个切割机工作台面101）的余料图像，得到第一余料图像；
之后保持余料位置不变，人工在待识别与排版余料两端（可以是待识别与排版余料上位置相对的任意两端）任意选择两个点（一端选择一个点），并记录所选的这两个点的机械坐标点，为点T1（xt1,yt1）、点T2(xt2,yt2)；
之后通过系统的第一输入模块输入该记录的两个点的机械坐标点，并通过第二计算模块导入所述的第一余料图像；
第一计算模块根据机械坐标，自动计算第一输入模块输入来的点T1（xt1,yt1）和点T2(xt2,yt2)之间的真实距离，记为T12，T12=
Figure SMS_51
；
第二计算模块利用软件内拖拽画线的工具测量点T1（xt1,yt1）和点T2(xt2,yt2)之间对应的像素长度，记为Tp12；
之后由第三计算模块自动计算第一余料图像中单位像素对应的真实长度，即自动计算第一余料图像中真实长度T12与像素长度Tp12之比，得到比例系数kt(mm/pixel)，比例系数kt的计算公式如下：
Figure SMS_52
。
具体实现时，用户可以选择第一手持设备图像采集模块1101对应的手持设备采集方式，也可以选择第二手持设备图像采集模块1102和第三手持设备图像采集模块1103对应的手持设备采集方式。
当用户选择第二手持设备图像采集模块1102对应的手持设备采集方式时，用户（拍摄人员）手持成像设备处于余料斜上方拍摄余料图像，为了消除透视视角造成的失真，此况采用四点标定的方法进行图像标定，具体包括：
拍摄人员手持成像设备处于余料斜上方拍摄待识别与排版余料（放置于拍摄切割机工作台面101上）的余料图像得到第二余料图像，并在待识别与排版余料上任选能够构成一个四边形的四个标记点，记录该四个标记点的机械坐标Ar(xa1,ya1)、Br(xb1,yb1)、Cr(xc1,yc1)、Dr(xd1,yd1)并将记录的四个标记点的机械坐标通过第二输入模块录入系统；
系统第四计算模块根据机械坐标，自动计算所录入的四个标记点中两两之间的直线距离，得到六个距离：Fr1、Fr2、Fr3、Fr4、Fr5、Fr6；
人工将第二余料图像通过第五计算模块导入；
系统的第五计算模块自动在导入的第二余料图像上将所述的四个标记点Ar、Br、Cr、Dr按选出顺序标出对应的像素点，并利用透视矩阵As对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点Ar、Br、Cr、Dr对应的校正后的像素坐标，依次记为Ap(xa2,ya2)、Bp(xb2,yb2)、Cp(xc2,yc2)和Dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为Fp1、Fp2、Fp3、Fp4、Fp5、Fp6；
系统的第六计算模块自动基于计算所得的Fr1、Fr2、Fr3、Fr4、Fr5、Fr6和Fp1、Fp2、Fp3、Fp4、Fp5、Fp6，计算比例系数kf，计算公式为：
Figure SMS_53
，/>
Figure SMS_54
=1,2,3,...,6。
当用户选择第三手持设备图像采集模块1103对应的手持设备采集方式时，标定之前预先准备边长长度为a（比如a取值为200mm(毫米)）的正方形亚克力标定板，具体标定方法包括：
拍摄余料图像的步骤：将正方形亚克力标定板置于切割机工作台面101上，使台面上的待识别与排版余料及标定板全部处于手持成像设备拍摄画幅内进行拍摄（可处于任意方位进行拍摄），得到第三余料图像；
图像标定的步骤：
先由用户通过导入模块将第三余料图像导入系统，之后由系统自动标定，具体地：系统的图像处理模块自动对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵As对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长a’，之后自动关联世界坐标系与像素坐标系，利用边长a和像素边长a’，利用公式
Figure SMS_55
计算出比例系数ka(mm/pixel)。
其中，图像处理模块对导入的第三余料图像进行的预处理包括：对导入的第三余料图像依次进行自适应二值化、四边形检测、连通域筛选以及感兴趣区域提取操作。
步骤202：余料识别。
具体实现时，自动识别单元106在上述步骤201完成图像标定后，自动识别并提取拍摄人员手持成像设备拍摄得到余料图像中的余料对应的余料像素块。
具体实现时：
若用户选择第一手持设备图像采集模块1101对应的手持设备采集方式采集余料图像，自动识别单元106则自动识别并提取第一余料图像中余料对应的余料像素块；
若用户选择第二手持设备图像采集模块1102对应的手持设备采集方式采集余料图像，自动识别单元106则自动识别并提取第二余料图像中余料对应的余料像素块；
若用户选择第三手持设备图像采集模块1103对应的手持设备采集方式采集余料图像，自动识别单元106则自动识别并提取第三余料图像中余料对应的余料像素块。
自动识别单元106每次在提取到余料像素块时，均主动将提取到余料像素块发送至余料轮廓提取单元107。
步骤203：余料轮廓提取。
具体实现时，余料轮廓提取单元107接收自动识别单元106发送的余料像素块，并自动提取接收到的余料像素块的外、内轮廓线并输出给图纸导出单元108。
本实施例中，用户选择第一手持设备图像采集模块1101对应的手持设备采集方式，余料轮廓提取单元107坐标转换模块中的转换公式中
Figure SMS_56
的取值替换为上述比例系数kt。
需要说明的是，具体实现时，若用户选择第二手持设备图像采集模块1102对应的手持设备采集方式，余料轮廓提取单元107坐标转换模块中的转换公式中
Figure SMS_57
的取值替换为上述比例系数kf；若用户选择第三手持设备图像采集模块1103对应的手持设备采集方式，余料轮廓提取单元107坐标转换模块中的转换公式中/>
Figure SMS_58
的取值替换为上述比例系数ka。
步骤204：图纸导出。
具体实现时，图纸导出单元108对余料轮廓提取单元107输出的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸。
步骤205：自动排版。
自动排版单元109接收图纸导出单元108导出的余料图纸，并将余料图纸作为底图，将需要切割为的图纸作为零件，利用预先设定的排样算法对零件进行排版。
实施例3：
本实施例与实施例2不同的是，本实施例中的基于视觉的余料识别与排版系统，还包括手动识别单元和识别模式切换单元。
手动识别单元是自动识别单元106的备用。识别模式切换单元用于实现自动识别单元106和手动识别单元之间的切换。手动识别单元，用于在判定自动识别单元106的识别效果不足以应对当前场景时，由人工通过识别模式切换单元实现自动识别单元106到手动识别单元的切换。
具体使用时，系统默认执行手动识别单元，当用户判定自动识别单元106的识别效果不足以应对当前场景时，可通过识别模式切换单元切换至手动识别单元，转由手动识别单元识别并提取余料图像中余料对应的余料像素块。
具体实现时，手动识别单元可依次利用直方图均衡化、滑动二值化、gamma图像增强、噪声模糊、边缘锐化、连通域分析以及形态学处理识别并提取余料图像中余料对应的余料像素块，并且在识别与提取过程中，可手动对所涉及的算子阈值进行调整，最终输出连通域面积最大的作为余料像素块。
需要说明的是，本实例中的手动识别单元还可采用现有技术提取余料像素块。
实施例4：
本实施例与实施例3不同的是，本实施例中的基于视觉的余料识别与排版系统，配设有余料图像采集方式切换单元。
余料图像采集方式切换单元用于实现余料图像默认采集方式和手持设备采集方式的切换。
本系统支持的余料图像的采集方式，默认采用第一成像设备102拍摄。
手持设备采集方式为采用手持设备图像采集单元110拍摄余料图像。
本实施例中手持设备采集方式配设有三个图像采集选项，该三个图像采集选项与三个手持设备图像采集模块一一对应。三个手持设备图像采集模块为第一手持设备图像采集模块1101、第二手持设备图像采集模块1102和第三手持设备图像采集模块1103。
使用时，点选不同的图像采集选项，系统会支持不同手持设备图像采集模块拍摄的余料图像。
本说明书中各个实施例之间相同相似的部分互相参见即可。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于视觉的余料识别与排版系统，其特征在于，所述系统包括切割机工作台面和第一成像设备；第一成像设备架设在切割机工作台面上方，能够拍摄到切割机工作台面的全幅面图像；所述系统还包括：
成像设备校正单元，用于校正第一成像设备，使第一成像设备的输出图像是校正后图像；
系统参数标定单元，用于标定系统参数，获取第一成像设备的对应的透视矩阵As，并获取切割机工作台面的世界坐标系与像素坐标系的换算比例系数ks；
余料图像采集单元，用于触发第一成像设备拍摄切割机工作台面上放置的待识别与排版余料的图像，记为第一余料图像；
自动识别单元，用于自动识别第一余料图像中的待识别与排版余料，提取待识别与排版余料对应的余料像素块；
余料轮廓提取单元，用于自动提取余料像素块的所有轮廓线，并分别将提取到的轮廓线的像素坐标转换为机械坐标，得到世界坐标系下的各余料轮廓线；
图纸导出单元，用于对世界坐标系下的各余料轮廓线进行曲线拟合和直线拟合，之后导出矢量格式的余料图纸；
自动排版单元，用于将余料图纸作为底图，将需要切割的图纸作为零件，利用预先设定的排样算法对零件进行排版；
所述自动识别单元包括：
预处理模块，用于对所述第一余料图像进行自适应二值化处理，得到第一余料图像对应的二值化图像；
判断模块，用于判断所述二值化图像的中央区域的平均像素值是否大于等于预设值；所述的中央区域，是指所述二值化图像上包含图像正中心的区域，具有预先设定好的形状与尺寸，所述二值化图像的中央区域以所述二值化图像的图像正中心为对称中心；
第二处理模块，用于在判断模块判定所述平均像素值大于等于预设值时，调用毛刺与污点噪声去除模块消除所述二值化图像的毛刺与污点噪声；并用于在判断模块判定所述平均像素值小于预设值时，先对所述二值化图像进行反值化处理，得到所述二值化图像的反值化图像，然后调用毛刺与污点噪声去除模块消除所述反值化图像的毛刺与污点噪声；
毛刺与污点噪声去除模块，用于基于第二处理模块的调度，消除目标图像的毛刺与污点噪声，得到第一图像；当判断模块判定所述平均像素值大于等于预设值时，所述的二值化图像即为所述的目标图像；当判断模块判定所述平均像素值小于预设值时，所述的反值化图像即为所述的目标图像；
第三处理模块，用于对第一图像进行连通域分析，选出第一图像中面积最大的连通域作为余料像素块；
所述余料轮廓提取单元包括：
第一轮廓提取模块，用于从余料像素块的像素坐标原点出发，逐行遍历余料像素块的每一个像素，若首次遍历到某像素与其一相邻像素的灰度的值为0和255，则值为255的像素判定为边缘点，即为外轮廓边缘起始点，记录当前判定为边缘点的像素坐标，之后由当前记录的该像素坐标按照从左到右、从上到下、顺时针的方向遍历相邻像素，直到发现下一个边缘点，并记录，重复以上步骤，直至遍历到所述外轮廓边缘起始点，然后将记录下来的像素坐标按记录顺序依次连线，即得到余料像素块的外轮廓线；
第二轮廓提取模块，用于在第一轮廓提取模块得到余料像素块的外轮廓线后，遍历余料像素块外轮廓线内部是否有灰度值为0的像素，若否，则调用坐标转换模块，若有，则检测连通的值为0的像素，并按照提取外轮廓线的方法确定出各内轮廓线，然后调用坐标转换模块；
坐标转换模块，用于基于所述的换算比例系数ks，将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标；
输出模块，用于输出余料像素块的机械坐标下的各轮廓线。
2.根据权利要求1所述的基于视觉的余料识别与排版系统，其特征在于，校正第一成像设备的方法为，利用黑白棋盘格对第一成像设备进行畸变校正。
3.根据权利要求1所述的基于视觉的余料识别与排版系统，其特征在于，所述系统参数标定单元包括：
第一输入模块，用于供用户输入人工记录的十字标定板的四个十字中心机械坐标，分别为sr1(
Figure QLYQS_1
,/>
Figure QLYQS_4
)、sr2(/>
Figure QLYQS_7
,/>
Figure QLYQS_2
)、sr3(/>
Figure QLYQS_3
,/>
Figure QLYQS_6
)和sr4(/>
Figure QLYQS_8
,/>
Figure QLYQS_5
)；
第二输入模块，用于输入四张十字标定板图像；
第一处理模块，用于提取所输入的四张十字标定板图像上的十字的中心坐标，得到所输入的四张十字标定板图像上的四个十字中心像素坐标，分别为sp1(
Figure QLYQS_10
,/>
Figure QLYQS_12
)、sp2(
Figure QLYQS_15
,/>
Figure QLYQS_9
)、sp3(/>
Figure QLYQS_13
,/>
Figure QLYQS_14
)、sp4(/>
Figure QLYQS_16
,/>
Figure QLYQS_11
)；
透视矩阵计算单元，用于基于四个十字中心机械坐标以及四个十字中心像素坐标求解所述透视矩阵As，求解公式为：
Figure QLYQS_17
比例系数计算单元，用于求解所述的换算比例系数ks,
Figure QLYQS_18
。
4.根据权利要求1-3中任一项所述的基于视觉的余料识别与排版系统，其特征在于，所述系统还包括手持设备图像采集单元，所述手持设备图像采集单元与所述自动识别单元相连，所述手持设备图像采集单元用于供用户输入利用手持成像设备拍摄的切割机工作台面上放置的待识别与排版余料的图像，并用于将用户输入的图像发送给自动识别单元进行余料像素块提取；
所述手持设备图像采集单元包括第一手持设备图像采集模块；
所述第一手持设备图像采集模块，包括正上方拍摄图像采集单元和第一标定单元；
所述正上方拍摄图像采集单元，用于供用户输入第一余料图像；该第一余料图像，为用户利用手持成像设备处于待识别与排版余料正上方拍摄的余料图像；
所述第一标定单元，用于标定第一余料图像；
所述第一标定单元包括：
第一输入模块，用于供用户输入待识别与排版余料上的两个点的机械坐标，该两个点是用户在待识别与排版余料上选择的两个点，该两个点位于第一余料图像上位置相对的任意两端，其机械坐标记为点T1（xt1,yt1）和点T2(xt2,yt2)；
第一计算模块，用于计算所输入的点T1（xt1,yt1）和点T2(xt2,yt2)之间的直线距离，记为T12；
第二计算模块，用于导入所述的第一余料图像，并用于供用户利用拖拽画线的工具测量点T1（xt1,yt1）和T2(xt2,yt2)之间对应的像素长度，记为Tp12；
第三计算模块，用于自动基于上述计算得到的T12和Tp12,计算单位像素对应的真实长度，即计算比例系数kt，计算公式如下：
kt=T12/Tp12；
在用户选择使用第一手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数kt将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
5.根据权利要求1-3中任一项所述的基于视觉的余料识别与排版系统，其特征在于，所述手持设备图像采集单元还包括第二手持设备图像采集模块；
所述第二手持设备图像采集模块，包括斜上方拍摄图像采集单元和第二标定单元；
所述斜上方拍摄图像采集单元，用于供用户输入第二余料图像；该第二余料图像，为用户利用手持成像设备处于待识别与排版余料斜上方拍摄的余料图像；
所述第二标定单元，用于标定第二余料图像；
所述第二标定单元包括：
第二输入模块，用于供用户输入待识别与排版余料上的四个点的机械坐标，该四个点是用户手持成像设备拍摄余料图像之前在待识别与排版余料上任意选定的四个标记点，该四个标记点呈四边形分布，其机械坐标记为点Ar(xa1,ya1)、Br(xb1,yb1)、Cr(xc1,yc1)、Dr(xd1,yd1)；
第四计算模块，用于根据机械坐标，自动计算所述四个标记点中两两之间的直线距离，得到六个距离，分别记为Fr1、Fr2、Fr3、Fr4、Fr5、Fr6；
第五计算模块，用于导入第二余料图像，并在导入的第二余料图像上将所述的四个标记点Ar、Br、Cr、Dr按选出顺序标出对应的像素点，利用透视矩阵As对导入的第二余料图像进行透视校正，得到校正后的图像，并得到上述四个标记点Ar、Br、Cr、Dr对应的校正后的像素坐标，依次记为Ap(xa2,ya2)、Bp(xb2,yb2)、Cp(xc2,yc2)和Dp(xd2,yd2)，之后自动计算以上得到的四个校正后的坐标中两两之间的像素距离，对应记为Fp1、Fp2、Fp3、Fp4、Fp5、Fp6；
第六计算模块，用于自动基于计算所得的Fr1、Fr2、Fr3、Fr4、Fr5、Fr6和Fp1、Fp2、Fp3、Fp4、Fp5、Fp6，计算比例系数kf，计算公式为：
Figure QLYQS_19
，/>
Figure QLYQS_20
=1,2,3,...,6;
在用户选择使用第二手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数kf将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
6.根据权利要求1-3中任一项所述的基于视觉的余料识别与排版系统，其特征在于，
所述手持设备图像采集单元还包括第三手持设备图像采集模块；
所述第三手持设备图像采集模块，包括工装设备辅助拍摄图像采集单元和第三标定单元；
所述工装设备辅助拍摄图像采集单元，用于供用户输入第三余料图像；第三余料图像，为用户利用手持成像设备拍摄的带有完整的正方形亚克力标定板和完整的待识别与排版余料的余料图像；所述正方形亚克力标定板的边长长度记为a；
所述第三标定单元，用于标定第三余料图像；
所述第三标定单元包括：
导入模块，用于导入第三余料图像；
图像处理模块，用于对导入的第三余料图像进行预处理得到第二图像，并自动识别与提取第二图像中的正方形亚克力标定板的四个顶点的像素坐标，然后利用透视矩阵As对第二图像进行透视校正，再提取透视校正后的图像中的正方形亚克力标定板的四个顶点的像素坐标，获得透视校正后的图像中的正方形亚克力标定板的像素边长，记为a’；
利用边长a和像素边长a’，计算比例系数ka，计算公式为：
Figure QLYQS_21
；
在用户选择使用第三手持设备图像采集模块拍摄余料图像时，坐标转换模块基于比例系数ka将获取到的余料像素块的每一个轮廓线的像素坐标转换为对应的机械坐标。
7.根据权利要求4所述的基于视觉的余料识别与排版系统，其特征在于，所述系统还包括手动识别单元和识别模式切换单元；手动识别单元是自动识别单元的备用，识别模式切换单元用于实现自动识别单元和手动识别单元之间的切换；系统默认手动识别单元；手动识别单元，用于在判定自动识别单元的识别效果不足以应对当前场景时，由人工通过识别模式切换单元实现自动识别单元到手动识别单元的切换。
8.根据权利要求6所述的基于视觉的余料识别与排版系统，其特征在于，
所述系统配设有余料图像采集方式切换单元，用于实现余料图像默认采集方式和手持设备采集方式的切换；
余料图像默认采集方式为采用第一成像设备拍摄余料图像；
手持设备采集方式为采用手持设备图像采集单元拍摄余料图像；
手持设备采集方式配设有三个图像采集选项，该三个图像采集选项与三个手持设备图像采集模块一一对应；三个手持设备图像采集模块为第一手持设备图像采集模块、第二手持设备图像采集模块和第三手持设备图像采集模块；
点选不同的图像采集选项，采用对应的手持设备图像采集模块拍摄余料图像。
CN202310141005.5A 2023-02-21 2023-02-21 一种基于视觉的余料识别与排版系统 Active CN115861782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310141005.5A CN115861782B (zh) 2023-02-21 2023-02-21 一种基于视觉的余料识别与排版系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310141005.5A CN115861782B (zh) 2023-02-21 2023-02-21 一种基于视觉的余料识别与排版系统

Publications (2)

Publication Number Publication Date
CN115861782A CN115861782A (zh) 2023-03-28
CN115861782B true CN115861782B (zh) 2023-06-13

Family

ID=85658526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310141005.5A Active CN115861782B (zh) 2023-02-21 2023-02-21 一种基于视觉的余料识别与排版系统

Country Status (1)

Country Link
CN (1) CN115861782B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102495026A (zh) * 2011-11-23 2012-06-13 天津大学 一种用于线激光扫描视觉测量系统的光带中心线提取方法
WO2012120430A1 (en) * 2011-03-07 2012-09-13 Finn-Power Italia S.R.L. Procedure for controlling the shape of a complex metal profile obtained by a series of successive bendings of a sheet metal on a panel bender
CN110936026A (zh) * 2018-09-21 2020-03-31 大族激光科技产业集团股份有限公司 板材余料的切割方法、切割装置、切割设备及存储介质
CN114612447A (zh) * 2022-03-17 2022-06-10 广东美卡智能信息技术有限公司 一种基于数据标定的图像处理方法及装置、图像处理设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103091331B (zh) * 2013-01-11 2014-12-31 华中科技大学 一种rfid天线毛刺和污点缺陷的视觉检测系统及方法
CN111539582B (zh) * 2020-05-11 2023-07-21 湖北汽车工业学院 一种基于图像处理的钢板切割规划装置和方法
CN114821114B (zh) * 2022-03-28 2024-04-30 南京业恒达智能系统有限公司 一种基于视觉系统的坡口切割机器人图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012120430A1 (en) * 2011-03-07 2012-09-13 Finn-Power Italia S.R.L. Procedure for controlling the shape of a complex metal profile obtained by a series of successive bendings of a sheet metal on a panel bender
CN102495026A (zh) * 2011-11-23 2012-06-13 天津大学 一种用于线激光扫描视觉测量系统的光带中心线提取方法
CN110936026A (zh) * 2018-09-21 2020-03-31 大族激光科技产业集团股份有限公司 板材余料的切割方法、切割装置、切割设备及存储介质
CN114612447A (zh) * 2022-03-17 2022-06-10 广东美卡智能信息技术有限公司 一种基于数据标定的图像处理方法及装置、图像处理设备

Also Published As

Publication number Publication date
CN115861782A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
TWI398157B (zh) 影像邊界掃描系統及方法
CN101122457A (zh) 影像边界扫描系统及方法
CN108519734B (zh) 一种确定表面指针位置的系统
CN110930368B (zh) 一种薄板搭接焊缝实时焊接图像特征提取方法
CN107680039B (zh) 一种基于白光扫描仪的点云拼接方法及系统
CN105335976A (zh) 一种图像处理方法和装置
CN113538583A (zh) 一种工件在机床上位置的精准定位方法及视觉系统
CN112084964A (zh) 产品识别设备、方法及存储介质
CN117611578B (zh) 一种图像处理方法及图像处理系统
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN115861782B (zh) 一种基于视觉的余料识别与排版系统
CN115229899A (zh) 巴块切割控制方法、装置及巴块切割系统
CN113607058B (zh) 一种基于机器视觉的直刃刀尺寸检测方法及系统
KR101712489B1 (ko) 영상을 이용한 스폿용접 전극팁 오염도 측정방법
CN111932517B (zh) 余料板材的轮廓测绘方法、装置、电子设备与存储介质
CN113610091A (zh) 一种空气开关状态的智能识别方法、识别装置及存储介质
CN113445709A (zh) 一种瓷砖定位和铺贴方法以及自动瓷砖铺贴设备
CN113362221A (zh) 用于门禁的人脸识别系统与人脸识别方法
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法
CN111241934A (zh) 一种获取人脸图像中油光区域的方法和装置
TW201720130A (zh) 機器視覺中進行影像擷取之方法及裝置
JP6143337B2 (ja) キーパターン検出方法、及び、アライメント方法
CN111438437B (zh) 激光加工控制方法及装置、激光加工设备、可读存储介质
CN114354491A (zh) 一种基于机器视觉的dcb陶瓷基板缺陷检测方法
CN111583137A (zh) 一种基于机器视觉技术的电子屏幕色斑检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant