CN111470327A - 一种视觉码垛设备及其视觉信息处理方法 - Google Patents

Abstract

本发明公开了一种视觉码垛设备，其视觉获取组件提取图像信息进行处理与分析理解，将信息传递至信息处理器，信息处理器对数据进行处理分析，进而控制抓取装置有效的抓取目标物体，抓取装置结构可在三维空间里多角度自由调节，操作灵活。本发明提供的一种视觉码垛设备能够节约人工生产成本、提高工厂的生产效率、改善生产现场的安全问题，最终实现卸垛环节的自动化，对实现智能化生产具有重大意义。本发明还提供了一种视觉信息处理方法，该方法对获取的图像信息进行处理，有效的排除干扰控制抓取装置进行有效的码垛工作，该方法准确简洁，可以满足多种工业生产方式对视觉信息处理的需求，易于使用。

Description

一种视觉码垛设备及其视觉信息处理方法

技术领域

本发明涉及视觉技术应用技术领域，特别涉及，一种视觉码垛设备及其视觉信息处理方法。

背景技术

目前，中国的制造业在世界属于前列，但依赖人工和制造技术落后的问题，导致制造业的发展越来越慢，工业机器人的发展是对制造业的创新和改革，也是全球工业自动化的趋势，绿色、安全、智能是现代制造业的标志。落后的生产制造设备与社会的巨大需求是目前砖瓦行业出现的主要矛盾。

随着人工成本的增加和对效率的要求，工业自动化的趋势越来越明显，尤其是在重体力领域中，在替代人工的同时，因为国内外工业机器人智能阶段处于初级阶段，目前大多数是事先通过坐标的重复示教来完成业务，所以对物体的判断会产生一些遗漏，并且机器人也需要应对周围环境的变化来做出反应，在码垛及相关重体力领域中，在完整的砖垛后，需要拆垛进行装车，拆垛的流程目前大部分依赖人工，由于数量多，体力消耗大，费时费力的劣势越发明显。

结合目前实际生产情况，亟待研制一款码垛设备，用以解决人工效率低且人工需求量大导致人工成本高或现有机械设备不能适应砖块错位姿态发生变化等外部参数变化造成生产的产品数量和质量得不到保障的问题，同时，控制该设备信息数据处理及运作的相应方法也是设计研发的重点。

发明内容

针对上述缺陷，本发明解决的技术问题在于，提供一种视觉码垛设备及其视觉信息处理方法，以解决现在技术所存在的人工效率低且人工需求量大导致人工成本高或现有机械设备不能适应砖块错位姿态发生变化等外部参数变化造成生产的产品数量和质量得不到保障的问题。

本发明提供了一种视觉码垛设备，包括：

视觉获取组件，设有图像采集器；

信息处理控制设备，与所述视觉获取组件电连接；

抓取装置，与所述信息处理控制设备电连接，所述抓取装置采用节臂分离的结构形式。

优选地，所述图像采集器采用Eye-in-Hand的形式设置于所述抓取装置上。

优选地，所述抓取装置包括：

基座，设有滑轨、与所述滑轨滑动连接的滑块；

躯干，与所述滑块连接；

大臂，与所述躯干铰接；

小臂，与所述大臂铰接；

末端抓取组件，与所述小臂连接，与所述信息处理控制设备电连接；

驱动装置，分别设置于所述大臂与所述躯干之间、所述小臂与所述大臂之间。

优选地，所述大臂与所述躯干连接处、所述小臂与所述大臂连接处分别设有辅助编码器，所述辅助编码器与所述信息处理控制设备电连接。

优选地，所述大臂与所述躯干连接处、所述小臂与所述大臂连接处分别设有辅助编码器，所述辅助编码器与所述信息处理控制设备电连接。

优选地，所述信息处理控制设备包括：

控制器，与所述驱动装置电连接；

TCP通讯模块，与所述控制器电连接；

信息处理器，与所述TCP通讯模块和所述视觉获取组件电连接。

本发明还提供一种视觉信息处理方法，具体步骤包括：

步骤1、通过工业相机获取图像信息，以机器人基座其中一边所在方向为X_w轴，以X_w轴所在边的中点为原点，以竖直向上的方向为Z_w轴，以垂直于Z_w轴、X_w轴方向的直线为Y_w轴，建立世界坐标系(X_w，Y_w，Z_w)，将图像信息投影到坐标系中；

步骤2、根据目标物体的图像特征，对获取的图像信息进行图像预处理；

步骤3、根据图像预处理得到的信息，进行目标空间定位；

步骤4、获取放置位状态信息，处理信息得到机器人行动轨迹；

步骤5、根据行动轨迹信息，控制机器人抓取目标物体并放置到指定位置。

优选地，所述步骤2具体步骤包括：

步骤2.1、对图像进行灰度化处理和图像增强处理；

步骤2.2、采用高斯滤波算法对图像进行平滑处理；

步骤2.3、根据特征孔与目标物体表面颜色的不同把目标物体上的特征孔提取出来，提取方法采用图像的二值化算法，RGB三个颜色的通道阈值为R>G>B，得到图像的目标区域和背景区域两部分；

步骤2.4、提取边缘轮廓线信息，进行边缘检测，根据轮廓线的数量大于目标物体本身的数量时存在开裂情况的标准，判断目标物体的破损状态。

优选地，所述步骤3具体步骤包括：

步骤3.1、对目标物体进行三维位置定位，找到目标物体在像素的位置后，提取目标物体的XYZ坐标，得到目标物体的实际位置；

步骤3.2、从获取的图像数据中提取目标物体的角点，目标物体砖块的角点有4个，分别标记为A、B、C、D，根据每个点的XYZ三个坐标依次计算俯仰角Pitch、偏航角Yaw和横滚角Roll，得到目标物体的姿态定位信息：

俯仰角：Pitch＝atan2((a.z-c.z)，(a.y-c.y))

偏航角：Yaw＝atan2((a.y-c.y)，(a.x-c.x))

横滚角：Roll＝atan2((b.z-a.z)，(b.x-a.x))

其中，atan2为反正切函数，

优选地，所述步骤3.1具体步骤包括：

步骤3.1.1、统计相连的有效像素的数量，得到像素的面积，相连的像素面积大于或小于特征孔面积的平均值，将此像素设为无效像素并过滤掉；

步骤3.1.2、根据提取像素面积进行图形拟合，将拟合得到的图形位置视图与原图片融合对比；

步骤3.1.3、提取像素面积作为特征孔的面积，将原图简化提取特征孔中心位置作为目标物体的中心位置；

步骤3.1.4、根据同一目标物体上特征孔之间距离大于两块相邻目标物体上特征孔距离的特征对特征孔进行分类，对比特征孔之间的距离分辨出目标物体的个数以及每个目标物体在图像中的位置，将每类用不同颜色表示；

步骤3.1.5、根据归类后的特征孔的数据信息，计算目标物体的平均X，Y像素坐标，得到目标物体的中心位置坐标。

由上述方案可知，本发明提供的一种视觉码垛设备，其视觉获取组件提取客观事物的图像信息并加以相关图像处理与分析理解，对目标物体的识别、测量、定位和跟踪，获取有效的目标物体信息，用于实际测量、检测和控制，能够避免人工主观因素的干扰，将信息传递至信息处理器，信息处理器通过其内各组件的相互运作，对数据进行处理分析，进而控制抓取装置有效的抓取目标物体，抓取装置结构可在三维空间里多角度自由调节，操作灵活，其节臂分离结构为模块化设计，容易拆分运输，可以灵活选配不同臂展，对不同工作场景有更强的适应性，同时可以根据实际需要增/减节臂降低不必要的性能浪费，节约成本。本发明提供的一种视觉码垛设备能够节约人工生产成本、提高工厂的生产效率、改善生产现场的安全问题，最终实现卸垛环节的自动化，对实现智能化生产具有重大意义，适于广泛推广。

本发明还提供了一种视觉信息处理方法，该方法通过多种计算方法，对获取的图像信息进行处理，获取特征更明显的图像数据，计算得到准确的目标物体空间位置信息及数量、位姿等信息，有效的排除干扰，进而控制抓取装置进行有效的码垛工作，该方法准确简洁，可以满足多种工业生产方式对视觉信息处理的需求，易于使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的视觉码垛设备的结构示意图；

图2为本发明实施例提供的视觉码垛设备的抓取装置结构示意图；

图3为图2所示抓取装置除基座部分的结构示意图；

图4为本发明实施例提供的视觉码垛设备中抓取装置和视觉获取组件Eye-in-Hand方式结合的结构示意图；

图5为本发明实施例提供的视觉码垛设备中抓取装置和视觉获取组件Eye-to-Hand方式结合的结构示意图；

图6为本发明实施例提供的视觉信息处理方法中三个坐标系关系线性模型的结构示意图；

图7为本发明实施例提供的视觉码垛设备的信息分析的过程框图；

图8为本发明实施例提供的视觉信息处理方法中应用的砖块模型结构示意图；

图9为本发明实施例提供的视觉信息处理方法中砖块颜色提取信息示意图；

图10为本发明实施例提供的视觉信息处理方法中拟合出的圆孔位置与砖块模型融合对比的结果示意图；

图11为本发明实施例提供的视觉信息处理方法中提取圆圈信息后标注中心位置并分类的结果示意图；

图12为本发明实施例提供的视觉信息处理方法中姿态算法的端点选取示意图；

图13为本发明实施例提供的视觉信息处理方法中图像坐标系的结构示意图；

图14为本发明实施例提供的视觉信息处理方法中目标物体面积计算示意图；

图15为本发明实施例提供的视觉信息处理方法中放置位定位系统的立体结构示意图；

图16为本发明实施例提供的视觉信息处理方法中放置位模型图。

图1-16中：

1、抓取装置；2、视觉获取组件；3、信息处理控制设备；4、壳体；6、水平激光雷达；11、基座；12、躯干；13、大臂；14、小臂；15、末端抓取组件；16、驱动装置；17、平衡配重器；18、辅助编码器；31、TCP通讯模块；32、控制器；33、信息处理器；41、工业相机放置位；51、第一垂直激光雷达；52、第二垂直激光雷达；53、第三垂直激光雷达；54、第四垂直激光雷达；111、滑块；112、滑轨；121、肩关节；131、肘关节；132、支撑杆；133、肩关节钣金；141、腕关节；m、砖块一；n、砖块二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请一并参阅图1至图7，现对本发明提供的一种视觉码垛设备的一种具体实施方式进行说明。该种视觉码垛设备包括，抓取装置1、信息处理控制设备3和视觉获取组件2，其中视觉获取组件2设有图像采集器；信息处理控制设备3与视觉获取组件2电连接；抓取装置1与信息处理控制设备3电连接。视觉获取组件2包括图像采集器和图像采集卡，图像采集器包括工业CCD(charge coupled device)相机和镜头或CMOS(Complementary Metal OxideSemiconductor)相机和镜头，采集并传递图像信息至图像采集卡，图像采集卡包括外置采集卡、内置板卡，图像采集器采集到的砖垛图像模拟信号通过图像采集卡经过AD转换成计算机方便存储的数字输出信号，进而将数据信息传至信息处理控制设备3。

视觉获取组件2提取客观事物的图像信息并加以相关图像处理与分析理解，对目标物体的识别、测量、定位和跟踪，获取有效的目标物体信息，用于实际测量、检测和控制，能够避免人工主观因素的干扰，将信息传递至信息处理控制设备3，信息处理控制设备3通过其内各组件的相互运作，对数据进行处理分析，进而控制抓取装置1有效的抓取目标物体，抓取装置1结构可在三维空间里多角度自由调节，操作灵活，其节臂分离结构为模块化设计，容易拆分运输，可以灵活选配不同臂展，对不同工作场景有更强的适应性，同时可以根据实际需要增/减节臂降低不必要的性能浪费，节约成本。该种视觉码垛设备能够节约人工生产成本、提高工厂的生产效率、改善生产现场的安全问题，最终实现卸垛环节的自动化，对实现智能化生产具有重大意义，作用效果显著，适于广泛推广。

请参阅图4，在本实施例中，图像采集器采用Eye-in-Hand的形式设置于所述抓取装置1上。根据抓取装置1与图像采集器安装位置的关系，可把机器人分为Eye-in-Hand和Eye-to-Hand两种组合方式，这里采用Eye-in-Hand的组合方式，该种组合方式是将图像采集器位置固定于抓取装置1靠近末端抓取组件15的小臂14一端，能够随着抓取装置1的运动而运动，在作业过程中，图像采集器的视场因与其连接的抓取装置1的运动而不断变化，随着目标与图像采集器位置的接近，对目标进行图像处理得到的结果与实际物体参数之间的误差会变小。图像采集器不受磁场干扰和影响，体积小、重量轻，易携带，抗震动和抗撞击，实时性好响应速度快，且对光照条件要求低，能够采集到清晰锐利的目标图像。图像采集卡实现信息处理控制设备3对图像采集器拍摄到的现场目标图像的实时处理、存储和显示。

在本实施例中，抓取装置1包括，基座11、躯干12、大臂13、小臂14、末端抓取组件15和驱动装置16，其中基座11设有滑轨112、与滑轨112滑动连接的滑块111；躯干12与滑块111固定连接；大臂13与躯干12铰接；小臂14与大臂13铰接；末端抓取组件15与小臂14连接，与信息处理控制设备3电连接；驱动装置16分别设置于大臂13与躯干12之间、小臂14与大臂13之间。

整个抓取装置1采用节臂分离的结构形式，具体的是，大臂13包括支撑杆132、肘关节131和肩关节钣金133，肘关节131与小臂14铰接，肩关节钣金133与躯干12铰接，支撑杆132与肘关节131焊接，支撑杆132与肩关节钣金133的连接方式包括铆接或螺栓连接。躯干12包括肩关节121和主体，肩关节121和主体焊接，肩关节121与肩关节钣金133铰接，肩关节钣金133与肩关节121之间放置滑动轴承或者是石墨铜垫圈，实现结构紧密配合的同时保证转动的灵活性。末端抓取组件15与小臂14为分离设计，可根据不同精细度、环境等工况的不同需求安装不同工用的末端抓取组件15，使得成本大大降低。小臂14的末端设有腕关节141，腕关节141处设置有用于连接末端抓取组件15的腕关节电机座，腕关节电机座与末端抓取组件15之间通过螺栓固定连接。

请参阅图2，以滑块111初始位置滑轨112的中点为坐标原点，以滑轨112方向为X轴，躯干12所在直线方向为Z轴，与X轴、Z轴垂直的方向为Y轴建立直角坐标系，基座11设有气缸，气缸连接滑块111，推动滑块111在滑轨112上移动，滑块111带动躯干12及其连接的相关组件运动至目标物体(砖块)附近，驱动装置16包括第一驱动装置、第二驱动装置，大臂13与躯干12之间连接的为第一驱动装置，小臂14与大臂13之间连接的为第二驱动装置，第一驱动装置运动带动大臂13在Z轴方向的上下摆动，第二驱动装置运动带动小臂14在Y轴方向的左右摆动，实现末端抓取组件15灵活准确的移动到目标物体处，信息处理控制设备3控制末端抓取组件15精确抓取目标物体。

在本实施例中，大臂13与躯干12连接处、小臂14与大臂13连接处分别设有辅助编码器18，辅助编码器18与信息处理控制设备3电连接。辅助编码器18包括光电编码器或磁编码器，用来检测大臂13与躯干12连接处、小臂14与大臂13连接处的转动角度与角速度，提供反馈至信息处理控制设备3，达到精确控制抓取装置1的效果。辅助编码器18的安装与各个连接处的转动轴同轴。大臂13与躯干12之间、小臂14与大臂13之间分别设有平衡配重器17，平衡配重器17分别与大臂13、躯干12和小臂14铰接。平衡配重器17包括质量块配重、传统机械式拉簧、恒力弹簧、磁性弹簧、氮气平衡器、气缸平衡方法(包括普通气缸和钢绳气缸)，可以减轻驱动装置16受到的作用力，有效的延长驱动装置16的使用寿命。

在本实施例中，信息处理控制设备3包括，TCP(Transmission Control Protocol传输控制协议)通讯模块31、控制器32和信息处理器33，其中控制器32与驱动装置16电连接；TCP通讯模块31与控制器32电连接；信息处理器33与TCP通讯模块31和视觉获取组件2电连接。信息处理器33上设有图像采集和处理软件和坐标分析转换模块。控制器32包括运动控制器、微程序控制器，负责协调获取的数据和发出相关动作指令，最终实现抓取装置1的运动，具有强大的功能，可以实现高速的运动控制和高性能的控制计算，信息处理器33包括工控机即工业控制计算机或PC(Personal Computer)机，能够在工业环境下可靠工作。信息处理器33接收视觉获取组件2获取转化的图像信息，经过图像采集和处理软件进行分析结算，得到简化的图形信息，再经过坐标分析转换模块的信息转换得到最终抓取装置1需要到达的位置坐标，通过TCP通讯模块31发送坐标到控制器32，控制器32控制抓取装置1到指定位置抓取。

实施例2

作为本发明实施例的一种具体实施方式，请一并参阅图1至图7，本实施例视觉码垛设备与实施例1基本相同，其不同之处在于图像采集器与抓取装置1采用Eye-to-Hand组合方式，具体的是，将图像采集器固定于抓取装置1外，一般会固定于特意搭建的目标工件放置平台的支架上，不与抓取装置1连接，在整个抓取作业过程中图像采集器位置和姿态保持不变，这样设置由于图像采集器位置始终保持固定不动，对线缆材料柔韧性要求降低且布线位置方便实际现场作业，对图像采集器进行标定后，标定参数就是常值，减少了后续的标定工作，图像采集器只需固定在一个确定的位置，固定装置结构简单且容易实现，受现场环境影响较小，有利于图像采集器使用寿命的延长。为了保证该种视觉码垛设备的整合和安全运行，可以添加一些相关的辅助设备元件，如电控柜，电控柜的作用是按电气接线要求整合控制系统中主要硬件的载体，基于操作方便、维修容易及外形美观等设计因素的考虑，在内部布局设计上，保证次线的安转距离，避免线路信号相互干扰。电控柜的左侧面连接抓取装置1，右侧面安装的是与控制器32相连的电缆接口和通讯接口。

实施例3

作为本发明实施例的一种具体实施方式，请一并参阅图1至图7，本实施例视觉码垛设备与实施例1基本相同，其不同之处在于具体的实施流程为：首先将图像采集器安装到抓取装置1上，移动抓取装置1到拍照地点，进行拍照返回RGB格式图片，同时输出点云格式的数据。其次通过信息处理器33对图片的处理，包括灰度处理，灰度化处理后易于区分图像特征，进行阈值分割提取特征，制作图像模板。再次通过边缘检测，得到物体的最小外接的对应形状，计算物体图像中的中心点进行输出。在拿到点云的深度数据后，通过和RGB图的分辨率对齐，得到RGBD图像，通过坐标转换模块，进行相机图像中心点到RGBD图像实际坐标中心点的转换。最后通过TCP通讯模块31发送坐标到控制器32，控制抓取装置1到指定位置抓取。

实施例4

作为本发明实施例的一种具体实施方式，请一并参阅图1至图7，本实施例视觉码垛设备与实施例1基本相同，其不同之处在于滑块111与躯干12转动连接，滑块111上设有转动轴，躯干12设置于转动轴上，躯干12与转动轴之间通过轴承连接，使转动更灵活，同时躯干12通过齿轮与电机连接，电机与信息处理控制设备3电连接的，电机带动齿轮转动，齿轮带动躯干12转动，实现抓取装置1自由转动，根据需要任意角度的调节，使得抓取过程更灵活抓取范围更广。

实施例5

请一并参阅图1至图16，现对本发明提供的一种视觉信息处理方法的一种具体实施方式进行说明。该种视觉信息处理方法，具体步骤包括：

步骤1、通过工业相机获取图像信息，以机器人基座其中一边所在方向为X_w轴，以X_w轴所在边的中点为原点，以竖直向上的方向为Z_w轴，以垂直于Z_w轴、X_w轴方向的直线为Y_w轴，建立世界坐标系(X_w，Y_w，Z_w)，将图像信息投影到坐标系中。请参阅图6，获取的图像信息通过另外建立的图像坐标系、摄像机坐标系与世界坐标系的相互转化，最终投影到世界坐标系，实现对目标物体的测距和定位。世界坐标系的建立解决了由于工业相机位置的不确定性造成目标物体的三维位置描述困难的问题，所以在外部空间中根据计算和描述的方便等原则自由选取和定义一个基准坐标系即世界坐标系(X_w，Y_w，Z_w)，将世界坐标系与机器人基坐标系作为一体，能够极大的简化标定工作和相关数学表达式。

步骤1.1、建立常用坐标系，包括世界坐标系(X_w，Y_w，Z_w)、摄像机坐标系(X_c，Y_c，Z_c)和图像坐标系(u，v)。摄像机坐标系(X_c，Y_c，Z_c)是以摄像机镜头光心O为坐标原点，坐标轴X_c、Y_c分别平行于图像平面，坐标轴Z_c垂直于图像平面。图像坐标系为世界坐标系下目标物体在图像平面上的投影表示的二维直角坐标系，具有以物理长度(如毫米)为单位的(x，y)坐标系和以像素为单位的(u，v)坐标系这两种表示方式。图像坐标系上的坐标(u_o，v_o)为摄像机的主点即摄像机的轴心点，是坐标轴Z_c与图像平面的交点，主点一般经过图像平面的中心位置处。像素表示为数组中的每一个元素，而图像点的亮度即灰度代表每一个元素的数值。请参阅图13，将图像坐标系的左上角定义为以像素为单位的坐标系(u，v)原点，将以物理长度为单位的坐标系原点设定在图像坐标系的中心点O(u_o，v_o)处，两个坐标轴X轴、Y轴分别与u轴、v轴平行，每一个像素点在X轴与Y轴方向上的物理尺寸表示为d_x、d_y，图像中的任意一个像素点在物理坐标系和图像坐标系下的坐标相互转换关系如下：

步骤1.2、以世界坐标系中的任意一点P为起点，依据在摄像机坐标系和图像坐标系的位置表示，进而推导出摄像机小孔成像模型，得到摄像机的线性测量模型，坐标相互转化关系：空间点P经过小孔成像投射在图像平面上并与图像平面的物理坐标系相交于一点M(x，y)，由小孔成像关系可得

用齐次坐标表示为：

其中f为摄像机光学系统的焦距，世界坐标系与摄像机坐标系的关系：

其中(x_w，y_w，z_w)和(x_c，y_c，z_c)分别为点P在世界坐标系和摄像机坐标系下的坐标，R为3×3的正交矩阵，T为平移向量，0^T＝[0 0 0]^T，M₁为4×4矩阵，世界坐标系的点P坐标(x_w，y_w，z_w)与图像平面上以像素为单位的点M的坐标(u，v)的关系：

其中，

M₁为外参数由世界坐标系和摄像机的相对位姿关系共同决定，M₂为内参数由摄像机本身属性决定并只与摄像机本身有关，M为3×4的投影矩阵；

步骤1.3、世界坐标系分别与摄像机坐标系和图像坐标系平行，则R＝I,T＝[0 0d]^T，d为世界坐标系与摄像机坐标系之间的距离，得到

垂直于光轴平面的点P坐标可表示为(x_w，y_w，0)得到

将目标物体在世界坐标系下沿Y_w方向等分为M份，每一份为一个矩形，将第i个矩形的4个顶点分别标记为

目标物体的面积为：

得到：

S₁表示目标物体在图像平面上的面积，得到：

选择特征点P_s为目标前表面某点，得到在世界坐标系下，特征点P_s到原点O_w的距离L_w为

目标物体到摄像机光心距离为

步骤2、根据目标物体的图像特征，对获取的图像信息进行图像处理预处理。图像处理有利于改善图像品质提高视感质量，提取并分析目标图像特征信息，为后续的目标物体识别、测量等工作做好准备，变换、压缩和编码图像数据，提高图像数据传输效率，极大节省计算机的存储空间。

目标物体砖块的识别方法主要根据砖的外形特征进行识别，砖块有如下特征：1、砖的颜色均为亮红色；2、砖的表面为多孔结构，由于不反光孔的颜色呈现暗黑色；3、砖孔与孔之间有固定的距离以及排布方式。

步骤2.1、对图像进行灰度化处理和图像增强处理。

灰度化处理方法包括分量法、最大值法、平均值法和加权平均值法，其中加权平均值法根据人眼对蓝色最不敏感、对绿色最敏感的现象，对三个分量以不同的权值进行加权平均，不仅没有丢失图像原有的信息，而且灰度化后的图像平滑效果更好。加权平均值法即对具有多种颜色的原始图像进行处理使图像中每个像素的信息由一个量化的灰度级来描述，没有彩色信息，应用公式包括：Gray＝W_R*R+W_G*G+W_B*B，其中，W_R、W_G、W_B分别为R、G、B的不同权值。灰度图像像素的灰度级通常是0-255，“0”表示纯黑色，“255”表示纯白色。工业相机采集到的彩色图像的任何颜色均由红、绿、蓝三基色组成，彩色图像转换成灰度图像后，其三基色的灰度值保持不变，并且保留下了原始彩色图像的数据信息。图像灰度化减少了图像处理的计算量，具有与彩色图像同等的特征描述能力，同时可以提高视觉系统对目标物体砖垛识别和定位的速度，提高工作效率。

图像增强包括空域和频域两种作业域，图像增强可以改善图像的质量、视觉效果，显现被模糊的细节或突出图像中有用的特征，为后期的特征提取、角点检测等计算机后续处理操作奠定基础。图像空域处理是指对目标图像像素直接进行处理，包括灰度变换增强、直方图修正、图像平滑化等。通过傅里叶变换可以将数字图像处理从空域转化到频域，通过傅里叶反变换转换回空域时信息不丢失，并能够重新对空域内图像进行处理。空域变换进行图像增强处理的数学模型可使用描述为g(x,y)＝T[f(x,y)]，其中g(x，y)表示经空域增强处理后的输出图像点(x，y)的像素灰度值，f(x，y)表示原始图像点(x，y)的像素灰度值，T表示空域增强变换算法。图像频域处理是先对图像空域进行傅里叶变换转化为频域，然后对图像的变换系数进行运算，最后可以通过傅里叶反变换重建获得图像增强效果。图像直方图表示图像各个灰度级的统计信息，解决图像灰度值分布不均匀的问题。直方图均衡化即输出图像的直方图是均匀的，输入图像在经过均衡化处理后，各像素将占有可能多的灰度级且分布均匀，增加了图像的对比度和灰度值动态范围、突出显示目标物体图像的特性。

步骤2.2、采用高斯滤波算法对图像进行平滑处理。图像平滑处理算法包括高斯滤波算法、双边滤波算法，图像滤波能够最大限度的弱化噪声干扰，尽可能多的保留图像中的目标特征信息。针对于含有较多高斯噪声成分的图像，适合使用高斯滤波方法，具体的是选定一个中心点权重较大的高斯模板，对图像中领域内的像素一视同仁的进行扫描，将扫描灰度值结果加权平均后去代替选定的高斯模板中心像素点的灰度值。双边滤波结合了图像像素值相似度和相邻空间物理距离这两方面因素，进行折衷处理的方法，同时考虑到空域信息和灰度相似性，在消除噪声干扰的同时又很好的保留了物体的边缘信息。

步骤2.3、根据特征孔与目标物体表面颜色的不同可以把目标物体上的特征孔提取出来，提取方法采用图像的二值化算法，RGB三个颜色的通道阈值为R>G>B，最终将图像区分为目标区域和背景区域两部分。请一并参阅图8至图9，对图像进行二值化处理，最终使图像上像素点的灰度值为0或255，将图像分为目标区域和背景区域。图像的二值化可以使图像变得简单清晰，突出目标区域，减少数据处理量，有利于对图像做进一步处理。二值化方法包括固定值法、大津法，其中大津法又叫最大类间方差法，是一种自适应阈值确定方法，基于最小二乘法原理推导得出，能够很好的对不均匀光照情况下及模糊图像进行二值化处理。

步骤2.4、提取该图像信息的边缘轮廓线并计算轮廓线的数量，进行边缘检测，根据轮廓线的数量大于目标物体本身的数量时存在开裂情况的标准，判断目标物体的破损状态，解决在烧制的过程中有些砖块可能出现开裂，断开等情况对分析结果的影响。采用Canny算法进行边缘检测，获取目标图像的边缘信息，边缘具有丰富的图像内在信息，当目标图像的边缘信息被精确测量和定位时，就能实现对整个目标物的测量和定位。

步骤3、根据图像处理得到的信息，进行目标空间定位，获取每块目标物体的位置、摆放方式和高度信息。

步骤3.1、目标物体三维位置的定位，找到目标物体在像素的位置后，根据图像的索引从工业相机的RGBXYZ点云数据库中提取目标物体的XYZ坐标即可得到目标物体的实际位置。

步骤3.1.1、统计相连的有效(非零)像素的数量，得到的数量值就是像素的面积，如果相连的像素面积大于或小于特征孔面积的平均值，则将此像素设为无效像素并过滤掉；

步骤3.1.2、根据提取像素面积进行圆形拟合，已知圆的面积S＝πR²，将提取的像素面积作为特征孔的面积S，结算方程可得圆的半径，进而提取特征孔中心位置作为目标物体的中心位置，请参阅图10，可以看到圆圈和砖孔能够匹配，说明成功提取到了砖上的孔的位置，把原图像进行简化，即仅仅抽取出砖的孔的中心位置；

步骤3.1.3、根据同一目标物体上特征孔之间距离大于两块相邻目标物体上特征孔距离的特征对特征孔进行分类，对比特征孔之间的距离分辨出目标物体的个数以及每个目标物体在图像中的位置，将每类用不同颜色表示，请参阅图11，可以看出提取得到的数据分为两类，分别是左部砖块一m与右部砖块二n，两部分中间中心点距离与内部中心点距离有明显区别；

步骤3.1.4、根据归类后的特征孔的数据信息，计算目标物体的平均X，Y像素坐标，得到坐标即为目标物体的中心位置坐标。

步骤3.2、在实际的工厂环境中有时候存在砖的倾斜、翻倒的情况，如果视觉系统无法检测反倒情况将会造成抓取的失败，进行目标物体的姿态定位避免上述情况，具体方法，从获取的图像数据中提取目标物体的角点，从工业相机的3维点云数据中提取到砖块的角点有4个，分别标记为A、B、C、D，根据每个点的XYZ三个坐标依次计算俯仰角Pitch、偏航角Yaw和横滚角Roll，得到

俯仰角：Pitch＝atan2((a.z-c.z)，(a.y-c.y))

偏航角：Yaw＝atan2((a.y-c.y)，(a.x-c.x))

横滚角：Roll＝atan2((b.z-a.z)，(b.x-a.x))

其中，atan2为反正切函数，

步骤4、获取放置位状态信息，处理信息得到机器人行动轨迹。根据获取的图像信息，得到在三维坐标系内描述放置位信息需要的参数，包括X(前后位置)、Y(左右位置)和Z(高度信息)三个位置信息，以及yaw(偏航)、Pitch(俯仰)和Roll(横滚)三个角度信息，放置位包括施工地点砖块的特定摆放台或装载车。该步在机器人将目标物体码放至放置位的过程中避免由于载荷分布的变化，放置位姿态出现变化，造成码放精度要求高的场合容易出现相互碰撞或者物料之间的缝隙过大的问题。

激光雷达和工业相机等装置设置于放置位附近，用于获取位置信息，4个激光雷达平行放置，相互之间形成一个多边形，相互之间的距离范围为10mm-10000mm，水平激光雷达6的放置方向与垂直激光雷达阵列的放置方向完全垂直，并且放置位置处于垂直激光雷达阵列所形成的多边形的中心位置，水平激光雷达6和垂直激光雷达设置于壳体4内，防止灰尘对激光雷达信息获取造成影响，壳体4上设有工业相机放置位41，用于放置工业相机，便于获取放置位图像信息。垂直激光雷达阵列为点状或线状雷达，激光光线直接照射在放置位放置平面上用来测量放置位的高度和俯仰角(Pitch)，横滚角(Roll)。水平激光雷达6为360°线状雷达或机械扫描雷达，用于测量放置位(车体)的宽度、长度、和偏航角度(Yaw)，具体如下：

步骤4.1、将激光雷达伸入放置位内，水平激光雷达6对放置位外轮廓进行扫描，扫描后将获得每次扫描总计N个(x，y)坐标点，每一个坐标点记为p，p＝(x，y)，第i个坐标点记为pi(0＝<i<N)

步骤4.2、在扫描的过程中，往往会由于环境光干扰或者反光原因造成较大的测量误差，为了提高算法的稳定性本算法引入了高斯滤波算法过滤噪音。定义：p′_i＝(x′_i,y′_i)＝(p_i-p_i-1)²，将p′_i带入高斯分布函数：

高斯滤波算法根据需要保留前80％-99％之间的数据用于带入模板匹配函数。

步骤4.3、通过过滤的坐标点带入矩形模板匹配算法后，得到矩形框的长和宽，矩形框的长和宽即是放置位(车体)本身的长度和宽度。

步骤4.4、通过模板匹配后，得到车外框的模型，a、b、c、d为车体的四个顶点，每个顶点得到一组(x，y)坐标点，通过如下公式计算放置位偏航角(Yaw)：Yaw＝atan2(a.y-b.y,a.x-b.x)

步骤4.5、垂直激光雷达阵列获得放置位的高度、俯仰和横滚角信息，得到：放置位(车体)的平均高度:

放置位(车体)的横滚角度：Roll＝atan2(l1-l2，la)，放置位的俯仰角度：Pitch＝atan2(l1-l4，lb)，其中l1-l4为第一垂直激光雷达51-第四垂直激光雷达54分别取得的距离数据点，la为第一垂直激光雷达51到第二垂直激光雷达52的实际距离，lb为第一垂直激光雷达51到第四垂直激光雷达54的实际距离。

步骤5、根据行动轨迹信息，控制机器人抓取目标物体并放置到指定位置。机器人完成一次抓取搬运工作后，放置位设置的工业相机进行实时的放置位状态信息获取，工业相机的朝向和垂直激光雷达光线发射的朝向相同并平行，检测放置位和货物的姿态变化并实时进行下一次机器人运动轨迹的计算及调整。本方法的图像识别流程可以适配任何一款工业机器人，减少了结构设计的流程，增加了视觉信息处理方法和结构配合的容错性，易于使用。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视觉码垛设备，其特征在于，包括：

视觉获取组件(2)，设有图像采集器；

信息处理控制设备(3)，与所述视觉获取组件(2)电连接；

抓取装置(1)，与所述信息处理控制设备(3)电连接，所述抓取装置(1)采用节臂分离的结构形式。

2.根据权利要求1所述的一种视觉码垛设备，其特征在于，所述图像采集器采用Eye-in-Hand的形式设置于所述抓取装置(1)上。

3.根据权利要求2所述的一种视觉码垛设备，其特征在于，所述抓取装置(1)包括：

基座(11)，设有滑轨(112)、与所述滑轨(112)滑动连接的滑块(111)；

躯干(12)，与所述滑块(111)连接；

大臂(13)，与所述躯干(12)铰接；

小臂(14)，与所述大臂(13)铰接；

末端抓取组件(15)，与所述小臂(14)连接，与所述信息处理控制设备(3)电连接；

驱动装置(16)，分别设置于所述大臂(13)与所述躯干(12)之间、所述小臂(14)与所述大臂(13)之间。

4.根据权利要求3所述的一种视觉码垛设备，其特征在于，所述大臂(13)与所述躯干(12)连接处、所述小臂(14)与所述大臂(13)连接处分别设有辅助编码器(18)，所述辅助编码器(18)与所述信息处理控制设备(3)电连接。

5.根据权利要求4所述的一种视觉码垛设备，其特征在于，所述大臂(13)与所述躯干(12)之间、所述小臂(14)与所述大臂(13)之间分别设有平衡配重器(17)，所述平衡配重器(17)分别与所述大臂(13)、所述躯干(12)和所述小臂(14)铰接。

6.根据权利要求5所述的一种视觉码垛设备，其特征在于，所述信息处理控制设备(3)包括：

控制器(32)，与所述驱动装置(16)电连接；

TCP通讯模块(31)，与所述控制器(32)电连接；

信息处理器(33)，与所述TCP通讯模块(31)和所述视觉获取组件(2)电连接。

7.一种视觉信息处理方法，其特征在于，包括以下步骤：

步骤1、通过工业相机获取图像信息，以机器人基座其中一边所在方向为X_w轴，以X_w轴所在边的中点为原点，以竖直向上的方向为Z_w轴，以垂直于Z_w轴、X_w轴方向的直线为Y_w轴，建立世界坐标系(X_w，Y_w，Z_w)，将图像信息投影到坐标系中；

步骤2、根据目标物体的图像特征，对获取的图像信息进行图像预处理；

步骤3、根据图像预处理得到的信息，进行目标空间定位；

步骤4、获取放置位状态信息，处理信息得到机器人行动轨迹；

步骤5、根据行动轨迹信息，控制机器人抓取目标物体并放置到指定位置。

8.根据权利要求7所述的一种视觉信息处理方法，其特征在于，所述步骤2具体步骤包括：

步骤2.1、对图像进行灰度化处理和图像增强处理；

步骤2.2、采用高斯滤波算法对图像进行平滑处理；

步骤2.3、根据特征孔与目标物体表面颜色的不同把目标物体上的特征孔提取出来，提取方法采用图像的二值化算法，RGB三个颜色的通道阈值为R>G>B，得到图像的目标区域和背景区域两部分；

步骤2.4、提取边缘轮廓线信息，进行边缘检测，根据轮廓线的数量大于目标物体本身的数量时存在开裂情况的标准，判断目标物体的破损状态。

9.根据权利要求8所述的一种视觉信息处理方法，其特征在于，所述步骤3具体步骤包括：

步骤3.1、对目标物体进行三维位置定位，找到目标物体在像素的位置后，提取目标物体的XYZ坐标，得到目标物体的实际位置；

步骤3.2、从获取的图像数据中提取目标物体的角点，目标物体砖块的角点有4个，分别标记为A、B、C、D，根据每个点的XYZ三个坐标依次计算俯仰角Pitch、偏航角Yaw和横滚角Roll，得到目标物体的姿态定位信息：

俯仰角：Pitch＝atan2((a.z-c.z)，(a.y-c.y)

偏航角：Yaw＝atan2((a.y-c.y)，(a.x-c.x))

横滚角：Roll＝atan2((b.z-a.z)，(b.x-a.x))

其中，atan2为反正切函数，

10.根据权利要求9所述的一种视觉信息处理方法，其特征在于，所述步骤3.1具体步骤包括：

步骤3.1.1、统计相连的有效像素的数量，得到像素的面积，相连的像素面积大于或小于特征孔面积的平均值，将此像素设为无效像素并过滤掉；

步骤3.1.2、根据提取像素面积进行图形拟合，将拟合得到的图形位置视图与原图片融合对比；

步骤3.1.3、提取像素面积作为特征孔的面积，将原图简化提取特征孔中心位置作为目标物体的中心位置；

步骤3.1.4、根据同一目标物体上特征孔之间距离大于两块相邻目标物体上特征孔距离的特征对特征孔进行分类，对比特征孔之间的距离分辨出目标物体的个数以及每个目标物体在图像中的位置，将每类用不同颜色表示；

步骤3.1.5、根据归类后的特征孔的数据信息，计算目标物体的平均X，Y像素坐标，得到目标物体的中心位置坐标。

Images