CN113643280B - 一种基于计算机视觉的板材分拣系统及方法 - Google Patents
一种基于计算机视觉的板材分拣系统及方法 Download PDFInfo
- Publication number
- CN113643280B CN113643280B CN202111005320.2A CN202111005320A CN113643280B CN 113643280 B CN113643280 B CN 113643280B CN 202111005320 A CN202111005320 A CN 202111005320A CN 113643280 B CN113643280 B CN 113643280B
- Authority
- CN
- China
- Prior art keywords
- plate
- sorting
- corner
- image
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 17
- 238000004519 manufacturing process Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000001788 irregular Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 239000002023 wood Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- OTMSDBZUPAUEDD-UHFFFAOYSA-N Ethane Chemical compound CC OTMSDBZUPAUEDD-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于计算机视觉的板材分拣系统及方法，分拣系统包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置。分拣方法为首先通过图像采集装置采集左右图像并分别进行实时拼接，使用预先训练的板材检测模型进行板材区域提取，将提取出的板材区域通过板材角点检测算法进行角点检测和匹配，计算出角点的三维坐标，进而计算出板材的实际尺寸和中心位置，最终将分类结果和板材中心位置传递给分拣机器人控制器，控制分拣机器人对板材进行分拣。本发明能够通过图像获取板材的实际长宽值，对不同尺寸的板材进行分类，并返回控制信号控制分拣机器人拾取板材，从而实现板材智能分拣。
Description
技术领域
本发明涉及智能机器人领域，特别涉及一种基于计算机视觉的机器人板材智能分拣系统及方法。
背景技术
近年来全球经济飞速发展，随着人力成本逐渐上升和绿色环保的要求加强，制造行业的企业都在追求更加经济、节能、高效的制造模式。智能机器人可以将大空间内离散生产单元和地面物流系统无缝连接，将制造数据直接链接到物联网，可实现互联工厂的智能化生产，是现在“无人”工厂的主力军。在板材自动化生产线中，存在多道工序需要对矩形状的板材物料进行分拣。随着计算机视觉技术的发展，机器视觉技术在工业制造领域中被广泛应用到自动化生产流水线的工件识别、缺陷检测、智能分拣等方面。在木工加工生产线中，基于计算机视觉的板材智能分拣可以有效提高生产灵活性和智能化程度。
目前，工业机器人的视觉分拣技术在算法研究和实际应用都取得了很大进展。普渡大学提出了一种基于机器视觉的材料分选系统，其中使用简单的弧形轮廓特征来描述复杂的零件，能够较好地从装有一堆零件的容器中捕获零件；法国S.Trika等提出了利用机器视觉技术通过矩阈值分割方法提取复杂零件的特征，并基于最小二乘法进行模式识别，对不同零件进行分类；深圳大学的陈恳使用工业相机获取图像信息后，采用双边滤波器对原图像进行滤波处理，提取物料轮廓，通过轮廓的大小来判别物料的种类；景卓、陈超波、赵楠等人通过ARM9硬件平台研究了机器视觉在物料分拣问题，改进了在图像处理时的轮廓与拟合误差的计算方式，实现了对规则物料和残次物料的区分，达到了分拣的目的；华南理工大学的何家恒提出了将边缘识别算法和模板匹配算法相结合的视觉识别算法，通过实验验证了改良模板匹配算法的准确性。
龙门机器人作为一种成本相对较低的自动化系统解决方案，具有机械结构简单、作业区域广泛、负载大和运行稳定等优点。青岛科捷机器人采用龙门机器人实现了对橡胶轮胎单件搬运及码垛功能，并配合条码或RFID扫描实现物料智能自动分拣功能。现有的分拣算法视觉解决方案多依靠条码或完整物料轮廓模板进行实现。而在使用龙门机器人进行板材加工生产过程中，在相机安装位置、龙门机器人末端机械手的运动以及大尺寸板材物料等因素的影响下，相机获取的图片中板材存在被遮挡或不完整等情况。鉴于此，本专利提出一种基于计算机视觉的机器人板材智能分拣系统及检测方法。
发明内容
为了提高工业现场智能化，本发明针对板材分拣任务场景，提供了一种基于计算机视觉的矩形板材智能分拣系统及分拣方法，能够对不同尺寸的板材进行角点提取，计算板材的实际尺寸并与板材尺寸库进行匹配，同时对板材进行视觉定位，并将信息自动传回处理器，控制机器人对板材进行自动抓取。
本发明提供了一种基于计算机视觉的板材分拣系统，其包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置；所述图像采集装置包括多个双目相机，所述双目相机安装在所述分拣机器人的机械手上进行图像信息采集；所述信息传输装置将所述图像采集装置采集的图像和所述数据处理分析装置的分拣结果传输到显示装置上；所述数据处理分析装置安装在所述分拣机器人的机械手上，所述数据处理分析装置能够对不同尺寸的矩形板材图像进行矩形角点检测并与板材类型数据库进行匹配以此计算出门板的实际尺寸和位置，并将结果作为输出信号传输给分拣机器人控制器实现控制分拣机器人完成分拣；所述数据处理分析装置包括以下功能模块：
图像拼接模块，用于将多个双目相机采集的图像进行拼接以扩大图像视野；
板材区域提取模块，用于对拼接后的大视野图像进行板材检测；
板材角点检测模块，用于对图像中板材局部区域进行板材的角点检测；
角点匹配模块，用于对双目相机左右图像分别提取的板材角点进行匹配；
板材分拣模块，能够根据检测到的板材角点计算板材实际尺寸与板材尺寸库进行尺寸匹配，然后根据检测到的板材角点计算板材中心位置，并将结果信息传送至分拣机器人的控制器控制机械手完成分拣；
数据存储模块，用于存储相机的参数信息和板材板型尺寸库，并记录检测过程中的图像数据和检测日志。
优选的，所述分拣机器人为四自由度分拣机器人。
优选的，所述四自由度分拣机器人为龙门机器人。
本发明还提供了一种基于计算机视觉的板材分拣方法，其包括以下步骤：
S1、相机标定；
S2、板材检测模型的训练；
S3、板材图像的采集：
S4、使用板材检测模型对步骤S3中采集的图像进行板材区域提取；
S5、对步骤S4提取出的板材区域进行角点检测；
S51、图片预处理：将采集的图像转换成灰度图；
S52、图像边缘提取：使用Edge Drawing边缘检测算法提取边缘像素链；
S53、提取边缘线段：对步骤S52提取的边缘图使用最小二乘线拟合法生成最小长度的初始线段，再通过增加像素点来扩大线段；
S54、边缘线段筛选：通过板材边缘直线的几何特征对步骤S53提取的边缘线段进行筛选，并对短线段、重复线段进行聚合；
具体包括以下步骤：
S541、不规则线段筛选：根据板材边缘邻边直线相互垂直和对边直线相互平行的几何特征，筛选出不规则的线段；
S542、短线段或重复线段的聚合：对复杂边缘提取的多条短线段或重复线段进行筛选，设置线段距离最小阈值，两直线距离计算定义为一条直线的中点到另一条直线的距离，其表达式如下：
其中，d表示两条线段的距离，表示线段i的两个端点坐标，表示线段i中心点的坐标；
S55、计算边缘直线交点：计算筛选后的直线交点，其表达式如下：
其中，(x，y)表示两条直线交点，(ki，bi)表示第i条直线的斜率和截距；
S56、提取板材角点：根据板材角点在极坐标系下的特征对所有交点进行筛选；
具体包括以下步骤：
S561、极坐标系原点选取：根据板材角点在图像坐标系下的坐标特点，选取位于最左下角位置的板材角点作为极坐标系的原点；
S562、所有交点在极坐标系下的特征计算：计算极坐标系下的所有交点的坐标，包括极角和幅值，其表达式如下：
其中，(ρ，θ)表示交点的极坐标，(xi，yi)表示第i个交点，(x0，y0)表示极坐标系原点；
S563、板材角点筛选：根据板材其余角点在极坐标系下的极角和幅值特征进行筛选；
S6、对步骤S5提取的板材角点进行角点匹配；
S7、板材分拣；
S71、将步骤S6中匹配好的特征点按照双目相机标定好的内外参进行深度恢复，计算出板材特征角点在相机坐标系下的三维坐标；
S72、将不同双目相机恢复出的所有角点的坐标转换到龙门机器人末端机械手坐标系下；
S73、由角点的三维坐标计算板材实际尺寸，并与门型尺寸库进行匹配；
S74、板材定位：根据板材角点的三维坐标通过矩形特征计算板材中心坐标，其表达式如下：
并将坐标传回处理器控制分拣机器人机械手对板材进行抓取；其中，(x，y，z)表示板材中心点三维坐标，(xi，yi，zi)表示板材角点三维坐标。
优选的，所述步骤S1相机标定包括双目相机组内外参标定和主相机与末端机械手的手眼标定，通过标定确定双目相机的内参和相机间外参矩阵以及主相机坐标系与龙门机器人末端机械手坐标系的变换矩阵。
优选的，所述步骤S2具体包括：
S21、虚拟数据集制作：使用Unity3D软件建立分拣机器人分拣任务场景仿真，在虚拟场景下拍摄不同背景下带有板材的图片制作数据集，并进行标注；
S22、预训练模型：使用YOLO算法对虚拟数据集进行训练，得到板材检测模型。
优选的，所述步骤S3具体包括：分拣机器人带动双目相机巡航工作区域，采集带有板材的图像，并对多个双目相机采集的左右图像分别进行实时拼接。
优选的，步骤S52具体包括：
S521、高斯滤波：首先对图像进行平滑处理，通过高斯滤波器抑制图像噪声输出平滑图像；
S522、使用梯度算子计算梯度的幅值和像素的方向；
S523、选取梯度算子得到的极大值的像素作为锚点；
S524、连接锚点：从当前锚点利用相邻像素的梯度幅值和方向连接到下一锚点，最终产生具有单像素宽的边缘图。
优选的，步骤S53中通过增加像素点来扩大线段具体包括：拟合到最小长度的初始线段后，继续浏览边缘像素链的剩余像素并计算每个像素到当前拟合线的距离，当像素在当前拟合线的一定距离内，则添加像素到当前线段内，直到线的方向发生改变，最后输出每条拟合线段的两个端点。
优选的，步骤S563中板材角点在极坐标系下的特征定义为：选取每组中左下角点作为极坐标系的原点，即板材矩形角点的左下角点；板材矩形角点的右下角点特征为在极坐标系下的角度最小，幅值最大；板材矩形角点的右上角点特征为在极坐标系下的幅值最大；板材矩形角点的左上角点的特征为在极坐标系下的角度最大，幅值最大。
优选的，步骤S6具体包括：
S61、对板材检测模型提取的板材区域进行区域排序，进行板材区域匹配；
S62、分别将左右图像中的板材区域特征点按照由左至右由下至上依次排序；
S63、对应板材区域内的左右图像一一进行特征点顺序匹配。
与现有技术相比，本发明具有以下有益效果：
1、本发明能够实现板材分拣场景下不同尺寸板材的实时在线检测，节省大量人力和成本；
2、本发明采用基于计算机视觉的方法实现板材角点检测，具有定位直观、灵敏度高、适应性强、方便布设等优势；
3、本发明提出的板材角点检测方法综合多种板材被遮挡和多纹理下的矩形特征，鲁棒性更强。
附图说明
图1是本发明实施例基于计算机视觉的龙门机器人板材智能分拣系统的结构示意图；
图2是角点筛选中矩形角点在极坐标系下的特征示意图；
图3是双目相机恢复像素深度示意图；
图4是本发明实施例基于计算机视觉的板材智能分拣方法流程示意图。
具体实施方式
以下将参考附图详细说明本发明的示例性实施例、特征和性能方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
本发明公开了一种基于计算机视觉的机器人板材智能分拣系统，如图1所示，包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置。本实施例中，板材使用木板。
分拣机器人为大跨距龙门机器人，主体结构主要包括横梁、纵梁、支架、直臂和末端吸盘式机械手。左右两侧平行放置的两个纵梁通过支架固定在地面上，横梁横跨在两根纵梁上，通过对双侧电机的同步控制实现横梁在纵轴上的移动，直臂通过滑箱连接在横梁上，通过电机控制实现垂直方向上的移动，末端吸盘式机械手安装在直臂末端，通过电机控制实现旋转运动。末端吸盘式机械手用于固定安装图像采集装置和数据处理分析装置，并受控制器控制对板材进行拾取。
图像采集装置为双目相机组，由2至4个双目相机安装在龙门机器人末端吸盘式机械手上并采集工作区域内带有不同尺寸板材的图像。本实施例中采用ZED2双目相机，分辨率为720(H)*1280(V)，帧率为60fps，数据接口为USB3.0。
数据处理分析装置为边缘处理器，用于实现数据的采集、存储和处理，并为板材智能分拣算法模块和龙门机器人控制器提供载体。本实施例中，边缘处理器为NVIDIA JetsonTX2。
信息传输装置为5G无线图传设备，用于将相机采集的图像信息无线传输到显示器上，便于对分拣过程的监控。本实施例中，使用CineEye2 pro5G高清图传，支持150米传输，延迟小于0.06秒。
显示装置为21寸液晶显示屏，主要用于显示相机采集的图像和检测的数据信息。
板材智能分拣算法模块安装在边缘处理器中，用于板材智能分拣，包括图像拼接模块、板材区域提取模块、板材角点检测模块、角点匹配模块、板材分拣模块和数据存储模块。
图像拼接模块，用于将多个双目相机采集的图像进行拼接以扩大图像视野，通过以下步骤实现其功能：
步骤1、相机标定工作，包括双目相机组内外参标定和主相机与末端机械手的手眼标定，通过标定确定双目相机的内参和相机间外参矩阵以及主相机坐标系与龙门机器人末端机械手坐标系的变换矩阵；
步骤2、将不同相机采集的图像通过相机间外参矩阵投影到主相机坐标系下，并将不同相机投影的图像进行拼接。
板材区域提取模块，用于对相机采集的图像中存在板材的局部区域进行提取，通过以下步骤实现功能：
步骤1、虚拟数据集制作：使用Unity3D软件建立大跨距龙门机器人分拣任务场景仿真，在虚拟场景下拍摄不同背景下带有板材的图片制作数据集，并进行标注；
步骤2、预训练模型：使用YOLO算法对虚拟数据集进行训练板材检测模型；
步骤3、板材检测：使用预先训练的板材检测模型对相机采集的图像进行板材区域提取，并将同一个板材作为一组完成分组。
板材角点检测模块，用于分析双目相机左右视野的图像数据并根据图像中板材的矩形特征分别对图像中板材的角点进行提取，通过以下步骤实现功能：
步骤1、图片预处理：板材检测前对采集的图像转换成灰度图；
步骤2、图像边缘提取：使用Edge Drawing边缘检测算法对板材图像进行边缘检测；
步骤3、提取边缘线段：对边缘检测算法提取的边缘使用最小二乘线拟合法生成最小长度的初始线段，再通过增加像素点来扩大线段。
拟合到最小长度的初始线段后，继续浏览边缘像素链的剩余像素并计算每个像素的到当前拟合线的距离，当像素在当前拟合线的一定距离内，则添加像素到当前线段内，直到线的方向发生改变，最后输出每条拟合线段的两个端点。
步骤4、边缘线段筛选：通过板材边缘直线的几何特征对提取的边缘线段进行筛选，并对短线段、重复线段进行聚合；
步骤4.1、不规则线段筛选：根据板材边缘邻边直线相互垂直和对边直线相互平行的角度特征，筛选出不规则的线段；
步骤4.2、短线段或重复线段的聚合：对复杂边缘提取的多条短线段或重复线段进行筛选，设置线段距离最小阈值，两直线距离计算定义为一条直线的中点到另一条直线的距离，其表达式如下：
步骤5、计算边缘直线交点：计算筛选后的直线交点；
步骤6、提取板材角点：通过板材角点在极坐标系下的角度和幅值的特征对所有交点进行筛选：
步骤6.1、极坐标系原点选取：根据板材角点在图像坐标系下的坐标特点，选取位于最左下角位置的板材角点作为极坐标系的原点；
步骤6.2、所有交点的极坐标系下的特征计算：计算极坐标系下的所有交点的坐标，包括极角和幅值，其表达式如下：
步骤6.3、板材角点筛选：根据板材其余角点在极坐标系下的极角和幅度特征进行筛选。其中，板材角点在极坐标系下的特征定义为，选取每组中左下角点作为极坐标系的原点，也即板材矩形角点的左下角点；而板材矩形角点的右下角点特征为在极坐标系下的角度最小，幅值最大；板材矩形角点的右上角点特征为在极坐标系下的幅值最大；板材矩形角点的左上角点的特征为在极坐标系下的角度最大，幅值最大。
角点匹配模块，用于对双目相机左右图像分别提取的板材角点进行匹配，通过以下步骤实现功能：
步骤1、对板材检测模型提取的做图像和右图像中的板材区域进行区域排序，并进行板材区域匹配；
步骤2、分别将左图像和右图像中板材区域角点按照由左至右由下至上依次排序；
步骤3、对应板材区域内的左图像和右图像一一进行角点顺序匹配。
板材分拣模块，用于分析板材角点信息计算板材的实际尺寸并与板材尺寸库进行匹配以及根据板材矩形特征计算板材中心位置，并将信号传输至龙门机器人控制器，通过以下步骤实现功能：
步骤1、将匹配好的角点按照双目相机标定好的内外参进行深度恢复，并计算板材角点在相机坐标系下的三维坐标；
步骤2、将不同双目相机恢复出的所有角点坐标转换到龙门机器人末端机械手坐标系下；
步骤3、由角点的三维坐标计算板材实际尺寸，并与板材类型尺寸库进行匹配；
步骤4、板材定位：根据板材角点的三维坐标通过矩形特征计算板材中心坐标，其表达式如下：
并将坐标传回处理器控制龙门机器人末端机械手对板材进行抓取。
数据存储模块用于存储所有板材尺寸信息建立板材尺寸库，并记录检测过程中的图像数据和检测日志。
进行智能分拣前，首先将双目相机组安装在龙门机器人的末端吸盘式机械手上，对应横梁下方为龙门机器人工作区域，双目相机拍摄工作区域内的图像进行数据采集；双目相机组通过usb数据线连接到边缘处理器上，将采集图像传送至边缘处理器进行处理；边缘处理器通过Ethacat总线与龙门控制器连接以传输龙门机器人控制信号；5G无线图传设备安装在边缘处理器上，通过5G信号将图像信息传输到显示器上。进行智能分拣过程前，首先进行板材检测模型的训练，使用虚拟场景下拍摄的板材图片数据集进行训练，其次进行双目相机的标定工作，使用不同双目相机拍摄不同姿态的棋盘格图案，标定双目相机的参数信息以及不同相机间的变换矩阵，最后进行龙门机器人的手眼标定，移动龙门机器人末端机械手在不同位置拍摄标定板，计算出双目相机坐标系与龙门机器人末端机械手坐标系的变换关系。完成标定工作后，开始进行分拣作业，通过地面物流系统从加工生产线上将不同尺寸的木板运输到平台上，龙门机器人带动双目相机依次巡航工作区域采集带有板材的图像，并对多个双目相机采集的左右图像分别进行实时拼接；使用预先训练的板材检测模型进行板材区域提取，将提取出的板材区域进行角点检测，并进行左右图像板材角点匹配，通过双目相机的参数计算出板材角点在相机坐标系下的三维坐标，通过手眼标定中相机与末端吸盘式机械手的变换关系计算出板材角点在末端吸盘式机械手坐标系下的三维坐标，进而计算出木板的实际尺寸和中心位置，同时对计算出的木板尺寸与板材尺寸库进行匹配，最终将分类结果和木板中心位置作为输出信号通过Ethacat网络传递给龙门机器人控制器，龙门机器人在工作区域巡航结束后控制器根据与板材尺寸库中所匹配的版型和位置信号控制末端吸盘式机械手对木板进行依次分拣。
一种基于计算机视觉的板材分拣方法，如图2所示，具体包括以下步骤：
S1、双目相机的标定和分拣机器人的手眼标定：
S11、双目相机的标定工作：使用不同双目相机拍摄不同姿态的棋盘格图案，标定双目相机的参数信息以及不同相机间的变换矩阵；
S12、龙门机器人的手眼标定：移动龙门机器人末端机械手在不同位置拍摄标定板，计算出双目相机坐标系与龙门机器人末端机械手坐标系的变换关系。
S2、板材检测模型的训练：
S21、虚拟数据集制作：使用Unity3D软件在虚拟场景下拍摄不同背景下带有板材的图片制作数据集；
S22、预训练模型：使用YOLO算法对虚拟数据集进行训练，得到板材检测模型。
S3、板材图像的采集：龙门机器人带动双目相机巡航工作区域，采集工作区域内不同尺寸板材的图像，并将多个双目相机采集的左图像拼接到一起，多个双目相机采集的右图像拼接到一起。
S4、使用板材检测模型分别对步骤S3中采集的图像进行板材区域提取，并将同一个板材作为一组完成分组。
S5、对步骤S4提取出的每组板材的板材区域进行角点检测：
S51、图片预处理：相机采集图片为RGB彩色图像并不能反映图像的形态特征，需要对图像进行灰度化处理。本实施例中，使用加权平均法根据重要性及其他指标，将RGB三个分量以不同的权值进行加权平均。基于人眼对绿色的敏感度最高，对蓝色的敏感度最低，因此，对图像RGB三分量进行加权平均能得到较好的灰度图像，表达式如下：
Gray(i，j)＝0.299*R(i，j)+0.578*G(i，j)+0.114*B(i，j) (1)
其中，(i，j)表示像素点坐标，Gray表示该像素点灰度值，R，G，B表示彩色图像三通道像素值。
S52、图像边缘提取：通过Edge Drawing算法对灰度图像提取边缘特征，可以提取出干净的、连续的和单像素宽的边缘像素链。
S52具体包括以下步骤：
S521、高斯滤波：首先对图像进行平滑处理，通过高斯滤波器抑制图像噪声输出平滑图像。本实施例中，使用5×5高斯核。
S522、使用梯度算子计算梯度的幅值和像素的方向。
S523、选取梯度算子得到的极大值的像素作为锚点，表示该像素点为边缘的概率很高。
S524，连接锚点：从当前锚点利用相邻像素的梯度幅值和方向连接到下一锚点，最终产生具有单像素宽的边缘图。
S53、提取边缘线段：对边缘检测算法提取的边缘进使用最小二乘线拟合法生成最小长度的初始线段，再通过增加像素点来扩大线段。拟合到最小长度的初始线段后，继续浏览边缘像素链的剩余像素并计算每个像素的到当前拟合线的距离，当像素在当前拟合线的一定距离内，则添加像素到当前线段内，直到线的方向发生改变，最后输出每条拟合线段的两个端点。
S54、边缘线段筛选：由于边缘纹理等因素的干扰，木门边缘会出现拟合出多条线段的情况，需要对提取的线段进行筛选。
步骤S54具体包括以下步骤：
S541、不规则线段筛选：根据板材边缘邻边直线相互垂直和对边直线相互平行的几何特征，筛选出不规则的线段，例如斜线段。
S542、短线段或重复线段的聚合：对复杂边缘提取的多条短线段或重复线段进行聚合，设置线段距离最小阈值，判断两直线距离，当距离小于一定阈值时去除内部的线段，留下最边缘的线段。本实施例中，两线段距离计算定义为一条线段的中点到另一条线段的距离，其表达式如下：
其中，d表示两条线段的距离，表示线段i的两个端点坐标，表示线段i中心点的坐标。
S55、计算边缘直线交点：步骤S53提取边缘线段中使用两端点描述的线段，在计算交点前先计算每条线段的斜率和截距，使用斜截式描述边缘直线，并计算两直线的交点，其表达式如下：
其中，(x，y)表示两条直线交点，(ki，bi)表示第i条直线的斜率和截距。
S56、提取板材角点：将每组板材中的交点映射到极坐标系中，选取每组板材中左下角的点作为极坐标系的原点，此点也即木门矩形角点的左下角点，根据木门角点在极坐标系下的特征进行筛选。
步骤S56具体包括以下步骤：
S561、极坐标系原点选取：根据板材角点在图像坐标系下的坐标特点，选取位于最左下角位置的板材角点作为极坐标系的原点；
S562、所有交点的极坐标系下的特征计算：计算极坐标系下的所有交点的坐标，包括极角和幅值，其表达式如下：
其中，(ρ，θ)表示交点的极坐标，(xi，yi)表示第i个交点，(x0，y0)表示极坐标系原点。
S563、板材角点筛选：根据板材其余角点在极坐标系下的极角和幅度特征进行筛选。本实施例中，木门角点在极坐标系下的特征定义为，选取每组中左下角点作为极坐标系的原点，也即木门矩形角点的左下角点；而木门矩形角点的右下角点特征为在极坐标系下的角度最小，幅值最大；木门矩形角点的右上角点特征为在极坐标系下的幅值最大；木门矩形角点的左上角点的特征为在极坐标系下的角度最大，幅值最大，角点极坐标系下特征示意图如图3所示。
S6、对步骤S5提取的板材角点进行角点匹配:
S61、对双目相机左图像和右图像中每组板材的板材区域进行排序并匹配；
S62、分别将左图像和右图像中的板材区域角点按照由左至右由下至上依次排序；
S63、对应板材区域内的左图像和右图像一一进行角点顺序匹配。
S7、板材分拣：
S71、将步骤S6中匹配好的角点按照双目相机标定好的内外参进行深度恢复，双目相机进行恢复深度的示意图如图4所示，其表达式如下：
整理可得：
其中，z表示角点的深度值，u1，u2表示角点在左右相机的像素坐标，u0表示像素坐标系的主点，f表示相机的焦点，b表示双目相机的基线。
S72、将不同双目相机恢复出的所有角点坐标转换到龙门机器人末端机械手坐标系下；
S73、由角点的三维坐标计算木材实际尺寸，并与门型尺寸库进行匹配；
S74、板材定位：根据木门角点的三维坐标通过矩形特征计算板材中心坐标，其表达式如下:
其中，(x，y，z)表示板材中心点三维坐标，(xi，yi，zi)表示板材角点三维坐标。将中心坐标由相机坐标系转换到龙门机器人末端机械手坐标系下，并将坐标传回控制器控制龙门机器人末端机械手对板材进行抓取。
本发明提供的基于计算机视觉的龙门机器人板材智能分拣系统及检测方法能够对多矩形块和多纹理的板材以及板材被遮挡情况下，通过板材的矩形边缘直线特征，鲁棒地获取板材的角点，从而计算出板材的实际尺寸和位置实现板材的智能分拣。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种基于计算机视觉的板材分拣系统，其特征在于，其包括图像采集装置、分拣机器人、数据处理分析装置、信息传输装置和显示装置；
所述图像采集装置包括多个双目相机，所述双目相机安装在所述分拣机器人的机械手上进行图像信息采集；所述信息传输装置将所述图像采集装置采集的图像和所述数据处理分析装置的分拣结果传输到显示装置上；
所述数据处理分析装置安装在所述分拣机器人的机械手上，所述数据处理分析装置能够对不同尺寸的矩形板材图像进行矩形角点检测并与板材类型数据库进行匹配以此计算出门板的实际尺寸和位置，并将结果作为输出信号传输给分拣机器人控制器实现控制分拣机器人完成分拣；所述数据处理分析装置包括以下功能模块：
图像拼接模块，用于将多个双目相机采集的图像进行拼接以扩大图像视野；
板材区域提取模块，用于对拼接后的大视野图像进行板材检测；
板材角点检测模块，用于对图像中板材局部区域进行板材的角点检测；
角点匹配模块，用于对双目相机左右图像分别提取的板材角点进行匹配；
板材分拣模块，能够根据检测到的板材角点计算板材实际尺寸与板材尺寸库进行尺寸匹配，然后根据检测到的板材角点计算板材中心位置，并将结果信息传送至分拣机器人的控制器控制机械手完成分拣；
数据存储模块，用于存储相机的参数信息和板材板型尺寸库，并记录检测过程中的图像数据和检测日志。
2.一种基于计算机视觉的板材分拣方法，其特征在于，其包括以下步骤：
S1、相机标定；
S2、板材检测模型的训练；
S3、板材图像的采集：
S4、使用板材检测模型对步骤S3中采集的图像进行板材区域提取；
S5、对步骤S4提取出的板材区域进行角点检测；
S51、图片预处理：将采集的图像转换成灰度图；
S52、图像边缘提取：使用Edge Drawing边缘检测算法提取边缘像素链；
S53、提取边缘线段：对步骤S52提取的边缘图使用最小二乘线拟合法生成最小长度的初始线段，再通过增加像素点来扩大线段；
S54、边缘线段筛选：通过板材边缘直线的几何特征对步骤S53提取的边缘线段进行筛选，并对短线段、重复线段进行聚合；
具体包括以下步骤：
S541、不规则线段筛选：根据板材边缘邻边直线相互垂直和对边直线相互平行的几何特征，筛选出不规则的线段；
S542、短线段或重复线段的聚合：对复杂边缘提取的多条短线段或重复线段进行筛选，设置线段距离最小阈值，两直线距离计算定义为一条直线的中点到另一条直线的距离，其表达式如下：
其中，d表示两条线段的距离，表示线段i的两个端点坐标，/>表示线段i中心点的坐标；
S55、计算边缘直线交点：计算筛选后的直线交点，其表达式如下：
其中，(x,y)表示两条直线交点，表示第i条直线的斜率和截距；
S56、提取板材角点：根据板材角点在极坐标系下的特征对所有交点进行筛选；
具体包括以下步骤：
S561、极坐标系原点选取：根据板材角点在图像坐标系下的坐标特点，选取位于最左下角位置的板材角点作为极坐标系的原点；
S562、所有交点在极坐标系下的特征计算：计算极坐标系下的所有交点的坐标，包括极角和幅值,其表达式如下：
其中，(ρ,θ)表示交点的极坐标，(xi,yi)表示第i个交点，(x0,y0)表示极坐标系原点；
S563、板材角点筛选：根据板材其余角点在极坐标系下的极角和幅值特征进行筛选；
S6、对步骤S5提取的板材角点进行角点匹配；
S7、板材分拣；
S71、将步骤S6中匹配好的特征点按照双目相机标定好的内外参进行深度恢复，计算出板材特征角点在相机坐标系下的三维坐标；
S72、将不同双目相机恢复出的所有角点的坐标转换到龙门机器人末端机械手坐标系下；
S73、由角点的三维坐标计算板材实际尺寸，并与门型尺寸库进行匹配；
S74、板材定位：根据板材角点的三维坐标通过矩形特征计算板材中心坐标，其表达式如下：
并将坐标传回处理器控制分拣机器人机械手对板材进行抓取；其中，(x,y,z)表示板材中心点三维坐标，(xi,yi,zi)表示板材角点三维坐标。
3.根据权利要求2所述基于计算机视觉的板材分拣方法，其特征在于，所述步骤S1相机标定包括双目相机组内外参标定和主相机与末端机械手的手眼标定，通过标定确定双目相机的内参和相机间外参矩阵以及主相机坐标系与龙门机器人末端机械手坐标系的变换矩阵。
4.根据权利要求2所述基于计算机视觉的板材分拣方法，其特征在于，所述步骤S2具体包括：
S21、虚拟数据集制作：使用Unity3D软件建立分拣机器人分拣任务场景仿真，在虚拟场景下拍摄不同背景下带有板材的图片制作数据集，并进行标注；
S22、预训练模型：使用YOLO算法对虚拟数据集进行训练，得到板材检测模型。
5.根据权利要求2所述基于计算机视觉的板材分拣方法，其特征在于，所述步骤S3具体包括：分拣机器人带动双目相机巡航工作区域，采集带有板材的图像，并对多个双目相机采集的左右图像分别进行实时拼接。
6.根据权利要求2所述基于计算机视觉的板材分拣方法，其特征在于，步骤S52具体包括：
S521、高斯滤波：首先对图像进行平滑处理，通过高斯滤波器抑制图像噪声输出平滑图像；
S522、使用梯度算子计算梯度的幅值和像素的方向；
S523、选取梯度算子得到的极大值的像素作为锚点；
S524、连接锚点：从当前锚点利用相邻像素的梯度幅值和方向连接到下一锚点，最终产生具有单像素宽的边缘图。
7.根据权利要求6所述基于计算机视觉的板材分拣方法，其特征在于，步骤S53中通过增加像素点来扩大线段具体包括：拟合到最小长度的初始线段后，继续浏览边缘像素链的剩余像素并计算每个像素到当前拟合线的距离，当像素在当前拟合线的一定距离内，则添加像素到当前线段内，直到线的方向发生改变，最后输出每条拟合线段的两个端点。
8.根据权利要求2所述基于计算机视觉的板材分拣方法，其特征在于，步骤S563中板材角点在极坐标系下的特征定义为：选取每组中左下角点作为极坐标系的原点，即板材矩形角点的左下角点；板材矩形角点的右下角点特征为在极坐标系下的角度最小，幅值最大；板材矩形角点的右上角点特征为在极坐标系下的幅值最大；板材矩形角点的左上角点的特征为在极坐标系下的角度最大，幅值最大。
9.根据权利要求2所述基于计算机视觉的板材分拣方法，其特征在于，步骤S6具体包括：
S61、对板材检测模型提取的板材区域进行区域排序，进行板材区域匹配；
S62、分别将左右图像中的板材区域特征点按照由左至右由下至上依次排序；
S63、对应板材区域内的左右图像一一进行特征点顺序匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111005320.2A CN113643280B (zh) | 2021-08-30 | 2021-08-30 | 一种基于计算机视觉的板材分拣系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111005320.2A CN113643280B (zh) | 2021-08-30 | 2021-08-30 | 一种基于计算机视觉的板材分拣系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113643280A CN113643280A (zh) | 2021-11-12 |
| CN113643280B true CN113643280B (zh) | 2023-09-22 |
Family
ID=78424369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111005320.2A Active CN113643280B (zh) | 2021-08-30 | 2021-08-30 | 一种基于计算机视觉的板材分拣系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643280B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463425B (zh) * | 2022-01-26 | 2024-04-16 | 武汉理工大学 | 一种基于概率Hough直线检测的工件表面无特征点定位方法 |
| CN114708439B (zh) * | 2022-03-22 | 2024-05-24 | 重庆大学 | 基于PROSAC与筛选合并的改进EDLines直线提取方法 |
| CN114693678B (zh) * | 2022-05-31 | 2022-10-14 | 武汉东方骏驰精密制造有限公司 | 工件质量智能检测方法、装置 |
| CN115115602B (zh) * | 2022-05-31 | 2023-09-19 | 江苏濠汉信息技术有限公司 | 线材直径测量过程中纹理定位的算法 |
| CN115026909B (zh) * | 2022-06-29 | 2023-04-18 | 北京建工集团有限责任公司 | 一种板材加工的定位方法、装置、控制设备及存储介质 |
| CN115356261A (zh) * | 2022-07-29 | 2022-11-18 | 燕山大学 | 一种汽车球笼防尘罩的缺陷检测系统及方法 |
| CN117900166B (zh) * | 2024-03-19 | 2024-05-31 | 浙江联运知慧科技有限公司 | 一种智能ai分拣装备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| WO2018018987A1 (zh) * | 2016-07-29 | 2018-02-01 | 深圳市未来媒体技术研究院 | 一种适用于光场相机的标定预处理方法 |
| CN110314854A (zh) * | 2019-06-06 | 2019-10-11 | 苏州市职业大学 | 一种基于视觉机器人的工件检测分拣的装置及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
-
2021
- 2021-08-30 CN CN202111005320.2A patent/CN113643280B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| WO2018018987A1 (zh) * | 2016-07-29 | 2018-02-01 | 深圳市未来媒体技术研究院 | 一种适用于光场相机的标定预处理方法 |
| CN110314854A (zh) * | 2019-06-06 | 2019-10-11 | 苏州市职业大学 | 一种基于视觉机器人的工件检测分拣的装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器视觉的工业机器人分拣技术研究;刘振宇;李中生;赵雪;邹风山;;制造业自动化(第17期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113643280A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113643280B (zh) | 一种基于计算机视觉的板材分拣系统及方法 | |
| CN109785317B (zh) | 自动码垛桁架机器人的视觉系统 | |
| CN106548182B (zh) | 基于深度学习和主成因分析的路面裂纹检测方法及装置 | |
| CN107992881B (zh) | 一种机器人动态抓取方法及系统 | |
| CN103913468B (zh) | 生产线上大尺寸lcd玻璃基板的多视觉缺陷检测设备及方法 | |
| CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
| CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
| CN108229665A (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
| CN111062915A (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN110189375B (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN106546263A (zh) | 一种基于机器视觉的激光水平仪出射激光线检测方法 | |
| CN113538503B (zh) | 一种基于红外图像的太阳能板缺陷检测方法 | |
| CN112164048B (zh) | 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置 | |
| CN112883881B (zh) | 一种条状农产品无序分拣方法及装置 | |
| CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
| CN114004814A (zh) | 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统 | |
| CN208092786U (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
| CN113252103A (zh) | 一种基于matlab图像识别技术计算物料堆体积及质量的方法 | |
| CN206470205U (zh) | 机器视觉焊锡辅助检测系统 | |
| CN113723389B (zh) | 一种支柱式绝缘子定位方法及装置 | |
| CN114387262A (zh) | 一种基于机器视觉的螺母定位检测方法、装置及系统 | |
| CN117381793A (zh) | 一种基于深度学习的物料智能检测视觉系统 | |
| CN112991327A (zh) | 基于机器视觉的钢格网焊接系统、方法和终端设备 | |
| CN115984806B (zh) | 道路标线破损动态检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |