CN117381793A - 一种基于深度学习的物料智能检测视觉系统 - Google Patents

一种基于深度学习的物料智能检测视觉系统 Download PDF

Info

Publication number
CN117381793A
CN117381793A CN202311590408.4A CN202311590408A CN117381793A CN 117381793 A CN117381793 A CN 117381793A CN 202311590408 A CN202311590408 A CN 202311590408A CN 117381793 A CN117381793 A CN 117381793A
Authority
CN
China
Prior art keywords
layer
scene
picture
deep learning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311590408.4A
Other languages
English (en)
Inventor
董浩
李全明
张德瑞
张万喜
郑伟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202311590408.4A priority Critical patent/CN117381793A/zh
Publication of CN117381793A publication Critical patent/CN117381793A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于生产线上料机器人技术领域,提供了一种基于深度学习的物料智能检测视觉系统,包括数据采集单元、信息处理模块和中心控制单元。该系统采用视觉检测算法实现了对多种生产原料的检测,以便机器人后续自动实现生产线的上料工作,识别准确,节省人力,快速高效。在检测算法上采用了传统特征提取算法与深度学习模型相结合的设计方案,能够迅速,准确的识别出多种物料。

Description

一种基于深度学习的物料智能检测视觉系统
技术领域
本发明属于生产线上料机器人技术领域,尤其涉及一种基于深度学习的物料智能检测视觉系统。
背景技术
生产线上料机器人是制造业中的重要组成部分,它们用于将原材料或零部件自动地供应给生产线上的机器和工人。为了提高效率和减少错误,现代制造业已经开始广泛采用基于深度学习的机器人视觉监测系统。这些系统利用深度学习算法来实时识别和监测生产线上的物料、产品和环境,以确保生产流程的顺利进行。
深度学习是一种机器学习方法,它模拟人类大脑的神经网络结构,具有强大的模式识别和特征提取能力。卷积神经网络是深度学习中最常用的一种结构,特别适用于处理具有网格结构的数据,如图像和音频等。它的核心思想是通过卷积操作和池化操作来提取输入数据的特征,然后通过全连接层和分类器进行分类或回归任务。在计算机视觉领域,深度学习已经在图像识别、目标检测和图像分割等任务中取得了卓越的成就。这些技术的成功应用使得生产线上料机器人能够更准确地理解其环境,并执行复杂的任务,如物料识别、定位和搬运。
机器人领域中的视觉检测是一项关键技术,它允许机器人系统使用摄像头和图像处理算法来感知和理解其周围的环境。这项技术为机器人提供了重要的能力,使它们能够执行各种任务。视觉检测中的一个核心任务是物体识别和分类。通过训练深度学习模型,机器人可以识别和分类图像中的物体,从而理解环境并采取相应的行动。例如,在工业机器人中,视觉检测可用于识别和分类不同类型的零部件,以进行自动装配。但是,传统的视觉监测系统往往依赖于手工编写的规则和特征工程,但这些方法通常需要大量的人工劳动和维护,并且在复杂的环境中表现不佳。
发明内容
本发明实施例的目的在于提供一种基于深度学习的物料智能检测视觉系统,旨在解决上述背景技术中提出的问题。
本发明实施例是这样实现的,一种基于深度学习的物料智能检测视觉系统,包括数据采集单元、信息处理模块和中心控制单元;其中:
所述数据采集单元用于采集周围环境的场景数据,并将场景数据发送至信息处理模块,场景数据包括场景图片;
所述信息处理模块,在前期的训练阶段,基于数据采集单元传输的场景数据和设定的卷积神经网络对场景图片信息进行学习处理;在应用阶段,基于场景数据以及训练获得的模型对图片信息进行处理,得到其中包含的物料信息;
中心控制单元用于接收来自信息处理模块的物料信息,并将物料信息传送给其他模块,如控制机器人运动的运动控制单元等,协调视觉功能与运动功能的协作。
进一步的技术方案,所述数据采集单元由若干摄像头组成的摄像头阵列构成;且摄像头的分辨率为1920x1080,帧率为30fps。
进一步的技术方案,所述数据采集单元包括两个摄像头组成的阵列,用于从上下两个角度对物料的种类以及位置进行检测识别,分别为:
顶部摄像头,所述顶部摄像头安装在上料机器人的顶部位置,用于从上方获取物料的图像,所述图像包括物料的整体形状、布局和位置;
底部摄像头,所述底部摄像头安装在上料机器人的底部位置,用于从下方获取物料的图像,以辅助区分不同的物料,且所述图像包括物料的底部特征和状态。
进一步的技术方案,在训练阶段,所述场景数据包括场景图片和图片标签;所述场景图片为在实际生产场景中使用与数据采集单元相同的设备获取的包含物料的场景图片;所述图片标签为预先对每张场景图片中的物料人工标注出的物料类型编号。
进一步的技术方案,所述信息处理模块利用场景数据训练出根据场景图片识别图片中包含的物料类型的神经网络模型的过程为:
将训练数据集作为神经网络模型的输入,神经网络模型以预测物料标签为输出,以每张场景图片实际的图片标签为预测目标,以预测的图片标签相对于实际图片标签的预测准确率作为训练目标,对神经网络模型进行训练,直至预测准确率达到预设的准确率时停止训练;模型训练的过程可以表示为以下公式:
a[l]=activation(W[l]*a[l-1]+b[l])
其中,l表示网络的层数,W[l]是该层的权重矩阵,b[l]是偏置向量,a[l]是计算后的激活输出,activation函数是非线性激活函数。
进一步的技术方案,所述神经网络模型中的卷积神经网络具体包括如下结构:
输入层,用于接收物料图像的像素值作为输入;
边缘检测层,使用Canny边缘检测算法对输入图像进行处理,提取物体的边界,生成二值化的边缘图像;
边界跟踪层,使用Moore-Neighbor边界跟踪算法对边缘图像进行处理,得到物体边界的连续闭合曲线;
关键点提取层,用于在边界跟踪得到的闭合曲线上,使用SIFT算法或其他方法提取关键点作为形状特征的表示;且对于每个关键点,可以计算其相对于其他关键点的位置、角度或弧长等几何特性,作为形状特征的描述子;
卷积层,用于将提取到的关键点信息作为输入,在卷积层中进行特征提取;
激活函数,通过激活函数ReLU将非线性变换引入到卷积层8提取的特征中;
池化层,用于减小特征的空间尺寸,提取主要特征并增强网络的平移不变性;且所述卷积层、激活函数和池化层需要经过多次迭代;
全连接层,用于学习关键点特征与输出类别之间的关系,将经过卷积和池化操作得到的高维特征图展开成一维向量,并连接到全连接层;
输出层,根据任务需求,输出层可以是一个全连接层,最后经过softmax激活函数得到每个类别的概率分布。
本发明实施例提供的一种基于深度学习的物料智能检测视觉系统,采用视觉检测算法实现了对多种生产原料的检测,以便机器人后续自动实现生产线的上料工作,识别准确,节省人力,快速高效。整个检测功能涉及数据采集单元、信息处理模块和中心控制单元三部分。在检测算法上采用了传统特征提取算法与深度学习模型相结合的设计方案,能够迅速,准确的识别出多种物料。
附图说明
图1为本发明实施例提供的一种基于深度学习的物料智能检测视觉系统的结构示意图;
图2为本发明实施例提供的一种基于深度学习的物料智能检测视觉系统中的卷积神经网络的结构图。
附图中:数据采集单元1;信息处理模块2;中心控制单元3;输入层4;边缘检测层5;边界跟踪层6;关键点提取层7;卷积层8;激活函数9;池化层10;全连接层11;输出层12。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示,为本发明一个实施例提供的一种基于深度学习的物料智能检测视觉系统,包括数据采集单元1、信息处理模块2和中心控制单元3;其中:
所述数据采集单元1用于采集周围环境的场景数据,并将场景数据发送至信息处理模块2,场景数据包括场景图片;
所述信息处理模块2,在前期的训练阶段,基于数据采集单元1传输的场景数据和设定的卷积神经网络对场景图片信息进行学习处理;在应用阶段,基于场景数据以及训练获得的模型对图片信息进行处理,得到其中包含的物料信息;
中心控制单元3用于接收来自信息处理模块2的物料信息,并将物料信息传送给其他模块,如控制机器人运动的运动控制单元等,协调视觉功能与运动功能的协作。
作为本发明的一种优选实施例,所述数据采集单元1由若干摄像头组成的摄像头阵列构成。一方面由于整个上料过程机器人需要达到一定的上料速度来满足整个生产线的生产速率需求,这就对摄像头的图像采集速率以及接口的数据传输率提出了较高的要求。相较于其他普通的摄像头,USB3.0工业相机最高支持5Gbps的数据传输速度,可以满足上述需求。具体而言,设置整个摄像头的分辨率为1920x1080,帧率为30fps。另一方面为了提高物料的检测效率及精度,分别在机器人的上部与下部分别安装一台摄像头,两个摄像头组成阵列,从上下两个角度对物料的种类以及位置进行检测识别,具体实施方案如下:
顶部摄像头:安装在上料机器人的顶部位置,用于从上方获取物料的图像。它可以提供整体视角和俯视角度,用于检测物料的整体形状、布局和位置。功能包括:检测物料堆放情况,判断物料是否齐整、平整或有无缺失;获取物料的整体外形和尺寸信息。
底部摄像头:安装在上料机器人的底部位置,用于从下方观察物料。它可以提供底视角,用于检测物料的底部特征和状态。功能包括:检测物料的底部形状和颜色,以帮助区分不同物料;判断物料是否有任何异常或损坏;检测物料的位置和定位准确性。
摄像头阵列采集到的图像数据由USB3.0接口传送至信息处理模块2,具体而言是信息处理模块2中的视觉算法单元,在此部分,图像信息经过特定的算法,其中包含的物料的种类与位置信息被获取,用于后续机器人的移动与物料拾取的使用。为了兼顾检测的速度与准确性,该单元的算法采用了特征提取与深度学习相结合的方式实现物料种类的检测工作。
作为本发明的一种优选实施例,在训练阶段,所述场景数据包括场景图片和图片标签;所述场景图片为在实际生产场景中使用与摄像头阵列相同的拍摄设备拍摄的包含物料的场景图片;所述图片标签为预先对每张场景图片中的物料人工标注出的物料类型编号。
作为本发明的一种优选实施例,所述信息处理模块2利用场景数据训练出根据场景图片识别出图片中包含的物料类型的神经网络模型的过程为:
将训练数据集作为神经网络模型的输入,神经网络模型以预测物料标签为输出,以每张场景图片实际的图片标签为预测目标,以预测的图片标签相对于实际图片标签的预测准确率作为训练目标,对神经网络模型进行训练,直至预测准确率达到预设的准确率时停止训练。模型训练的过程可以表示为以下公式:
a[l]=activation(W[l]*a[l-1]+b[l])
其中,l表示网络的层数,W[l]是该层的权重矩阵,b[l]是偏置向量,a[l]是计算后的激活输出,activation函数是非线性激活函数。
作为本发明的一种优选实施例,对于特征提取,将其作为后期深度学习的数据基础,具体设计方案如下:
首先进行数据收集和预处理,这是算法训练前的前期准备,具体的:预先收集大量的物料图像数据,并为每个图像添加相应的标签,以便进行监督学习。然后,对图像进行预处理,包括调整大小、裁剪和灰度化等操作,以便后续的特征提取和模型训练。
再根据特征提取算法对图像的特征信息进行提取。在传统的计算机视觉方法中,特征提取是一项重要任务,通过提取图像中的关键特征来描述物料的特征。常用的特征提取算法包括颜色直方图、纹理特征和形状特征。为了适应检测不同物料的需要,本设计采取提取形状特征的技术方案,具体的:
边缘检测:首先,使用Canny边缘检测算法对物料图像进行处理,将物体的边界提取出来。边缘检测算法能够识别图像中的边缘,并生成一个二值化的边缘图像。
边界跟踪:对于提取得到的边缘图像,使用Moore-Neighbor跟踪算法来跟踪物体的边界。边界跟踪算法从边缘图像中的一个起始点开始,按照固定的规则追踪边界上的像素点,直到回到起始点为止。这样可以得到物体边界的一个连续闭合曲线。
关键点提取:在边界跟踪得到的闭合曲线上,选择提取一些关键点作为形状特征的表示。关键点可以是曲线上的极值点、拐点或曲率突变点等。由于摄像头矩阵采集的图像具有多角度的特点,故本发明采取了SIFT算法,通过尺度不变性和旋转不变性来提取物料图像的关键点,来应对物料存在尺度和视角变化的情况,并提取出具有稳定特征的关键点,以实现物料的识别和匹配。
如图2所示,作为本发明的一种优选实施例,不同于传统的目标检测需要计算目标形状特征描述子的方式,本方法采用深度学习的方式,直接利用提取到的关键点信息进行对应的训练学习,来达到物料检测的目的。即采用卷积神经网络(CNN)进行处理,因此可以将上述的特征提取工作也加入到卷积神经网络中,故整体的卷积神经网络具体包括如下结构:
输入层4,用于接收物料图像的像素值作为输入;
边缘检测层5,使用Canny边缘检测算法对输入图像进行处理,提取物体的边界,生成二值化的边缘图像;
边界跟踪层6,使用Moore-Neighbor边界跟踪算法对边缘图像进行处理,得到物体边界的连续闭合曲线;
关键点提取层7,用于在边界跟踪得到的闭合曲线上,使用SIFT算法或其他方法提取关键点作为形状特征的表示。对于每个关键点,可以计算其相对于其他关键点的位置、角度或弧长等几何特性,作为形状特征的描述子;
卷积层8,用于将提取到的关键点信息作为输入,在卷积层中进行特征提取;
激活函数9,通过激活函数ReLU将非线性变换引入到卷积层8提取的特征中;
池化层10,用于减小特征的空间尺寸,提取主要特征并增强网络的平移不变性;且卷积层8、激活函数9和池化层10需要经过多次迭代;
全连接层11,用于学习关键点特征与输出类别之间的关系,将经过卷积和池化操作得到的高维特征图展开成一维向量,并连接到全连接层11;
输出层12,根据任务需求,输出层可以是一个全连接层,最后经过softmax激活函数得到每个类别的概率分布。
模型训练和优化:在训练阶段,使用摄像头传输的图像数据作为输入数据,将其传输至CNN模型进行训练。通过反向传播算法和优化方法(如梯度下降)来调整模型的权重和偏置,以减少分类误差,提高模型的预测性能。在训练过程中,使用交叉验证来选择最佳的超参数配置,例如学习率和正则化参数等。
在本发明实施例中,使用验证集对训练好的模型进行评估,计算准确率、精确度和召回率等指标,以衡量模型的性能。根据评估结果,进行模型的调优,包括调整网络结构、增加/删除层以及调整超参数等。通过反复的迭代,可以达到预想结果。
物料检测预测:在实际应用中,使用训练好的模型对新的物料图像进行预测。首先,利用摄像头得到图像数据,然后将这些数据作为输入传递给训练好的CNN模型。最后,根据模型输出的分类结果进行物料的检测和分类。
通过将特征提取算法和卷积神经网络相结合,能够有效地提取物料图像的关键特征,并利用CNN模型进行准确的分类。这种结合能够提高物料检测的准确性和鲁棒性,使得算法能够更好地应对不同物料的变化和噪声干扰。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的物料智能检测视觉系统,其特征在于,包括数据采集单元、信息处理模块和中心控制单元;其中:
所述数据采集单元用于采集周围环境的场景数据,并将场景数据发送至信息处理模块,场景数据包括场景图片;
所述信息处理模块,在前期的训练阶段,基于数据采集单元传输的场景数据和设定的卷积神经网络对场景图片信息进行学习处理;在应用阶段,基于场景数据以及训练获得的模型对图片信息进行处理,得到其中包含的物料信息;
中心控制单元用于接收来自信息处理模块的物料信息,并将物料信息传送给其他模块。
2.根据权利要求1所述的基于深度学习的物料智能检测视觉系统,其特征在于,所述数据采集单元包括由若干摄像头组成的摄像头阵列;且摄像头的分辨率为1920x1080,帧率为30fps。
3.根据权利要求2所述的基于深度学习的物料智能检测视觉系统,其特征在于,所述数据采集单元包括由两个摄像头组成的阵列,用于从上下两个角度对物料的种类以及位置进行检测识别,分别为:
顶部摄像头,所述顶部摄像头安装在上料机器人的顶部位置,用于从上方获取物料的图像,该图像包括物料的整体形状、布局和位置;
底部摄像头,所述底部摄像头安装在上料机器人的底部位置,用于从下方获取物料的图像,以辅助区分不同的物料,且该图像包括物料的底部特征和状态。
4.根据权利要求1所述的基于深度学习的物料智能检测视觉系统,其特征在于,在训练阶段,所述场景数据包括场景图片和图片标签;所述场景图片为在实际生产场景中使用与数据采集单元相同的设备获取的包含物料的场景图片;所述图片标签为预先对每张场景图片中的物料人工标注出的物料类型编号。
5.根据权利要求4所述的基于深度学习的物料智能检测视觉系统,其特征在于,所述信息处理模块利用场景数据训练出根据场景图片识别图片中包含的物料类型的神经网络模型的过程为:
将训练数据集作为神经网络模型的输入,神经网络模型以预测物料标签为输出,以每张场景图片实际的图片标签为预测目标,以预测的图片标签相对于实际图片标签的预测准确率作为训练目标,对神经网络模型进行训练,直至预测准确率达到预设的准确率时停止训练;模型训练的过程表示为以下公式:
a[l]=activation(W[l]*a[l-1]+b[l])
其中,l表示网络的层数,W[l]是该层的权重矩阵,b[l]是偏置向量,a[l]是计算后的激活输出,activation函数是非线性激活函数。
6.根据权利要求2所述的基于深度学习的物料智能检测视觉系统,其特征在于,所述神经网络模型中的卷积神经网络具体包括如下结构:
输入层,用于接收物料图像的像素值作为输入;
边缘检测层,使用Canny边缘检测算法对输入图像进行处理,提取物体的边界,生成二值化的边缘图像;
边界跟踪层,使用Moore-Neighbor边界跟踪算法对边缘图像进行处理,得到物体边界的连续闭合曲线;
关键点提取层,用于提取边界跟踪得到的闭合曲线上的关键点作为形状特征的表示,且对于每个关键点,可计算其相对于其他关键点的位置、角度或弧长,作为形状特征的描述子;
卷积层,用于将提取到的关键点信息作为输入,在卷积层中进行特征提取;
激活函数,通过激活函数ReLU将非线性变换引入到卷积层8提取的特征中;
池化层,用于减小特征的空间尺寸,提取主要特征并增强网络的平移不变性;且所述卷积层、激活函数和池化层需要经过多次迭代;
全连接层,用于学习关键点特征与输出类别之间的关系,将经过卷积和池化操作得到的高维特征图展开成一维向量,并连接到全连接层;
输出层,根据任务需求,输出层可设置为一个全连接层,最后经过softmax激活函数得到每个类别的概率分布。
CN202311590408.4A 2023-11-27 2023-11-27 一种基于深度学习的物料智能检测视觉系统 Pending CN117381793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311590408.4A CN117381793A (zh) 2023-11-27 2023-11-27 一种基于深度学习的物料智能检测视觉系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311590408.4A CN117381793A (zh) 2023-11-27 2023-11-27 一种基于深度学习的物料智能检测视觉系统

Publications (1)

Publication Number Publication Date
CN117381793A true CN117381793A (zh) 2024-01-12

Family

ID=89472078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311590408.4A Pending CN117381793A (zh) 2023-11-27 2023-11-27 一种基于深度学习的物料智能检测视觉系统

Country Status (1)

Country Link
CN (1) CN117381793A (zh)

Similar Documents

Publication Publication Date Title
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
RU2592650C2 (ru) Способ фильтрации изображений целевого объекта в роботехнической системе
CN111695562B (zh) 一种基于卷积神经网络的机器人自主抓取方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN112836734A (zh) 一种异源数据融合方法及装置、存储介质
CN112801977B (zh) 一种基于深度学习的装配体零件相对位姿估计监测方法
CN107992881A (zh) 一种机器人动态抓取方法及系统
CN106156778A (zh) 用于识别三维机器视觉系统的视野中的已知对象的装置和方法
CN113643280B (zh) 一种基于计算机视觉的板材分拣系统及方法
Garfo et al. Defect detection on 3d print products and in concrete structures using image processing and convolution neural network
CN115330734A (zh) 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统
Basamakis et al. Deep object detection framework for automated quality inspection in assembly operations
Wu et al. A cascaded CNN-based method for monocular vision robotic grasping
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉系统
CN110866917A (zh) 一种基于机器视觉的药片类型及排列方式识别方法
Li et al. Robot vision model based on multi-neural network fusion
Shi et al. A fast workpiece detection method based on multi-feature fused SSD
CN115116026A (zh) 一种物流搬运机器人自动循迹方法及系统
CN114140526A (zh) 一种基于深度学习的无序工件三维视觉位姿估计方法
CN113822946A (zh) 一种基于计算机视觉的机械臂抓取方法
CN112233176A (zh) 一种基于标定物的目标位姿测量方法
Mei et al. Target Recognition and Grabbing Positioning Method Based on Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination