CN105666485B - 一种基于图像处理的自动识别和定位摆棋机器人 - Google Patents

Abstract

本发明一种基于图像处理的自动识别和定位摆棋机器人，包括机械系统和与机械系统连接的视觉系统；视觉系统包括图像采集装置和与该装置连接的环形低角度LED光源；机械系统包括传动机构和与传动机构连接的机器人载体；其中：所述传动机构由步进电机、挡板、光电传感器和分别与步进电机连接的翻转机构及传送带连接构成，步进电机带动传送带运动传送棋子；翻转机构上设有吸嘴将棋子固定、翻转后，落到传送带上重新进行传送；挡板分别设置在传送带两侧，在挡板上分别设有光电传感器，当棋子经传送带到达挡板中央时，光电传感器感知棋子，并控制棋子继续向前运动至图像采集装置视野范围内，传送带停止运转。该机器人结构简单、自动化程度高，适应性强。

Description

一种基于图像处理的自动识别和定位摆棋机器人

技术领域

本发明涉及机器人技术，具体是一种基于图像处理的自动识别和定位摆棋机器人。

背景技术

目前，象棋机器人视觉已经应用到下棋过程中，但在开局摆棋过程上，由于棋子放置位置的随意性，象棋机器人大都采用人工摆好棋子，然后才是机器人自己下棋，这样的象棋机器人的下棋效率低，摆棋需要人为干预，不利于象棋机器人的通用性和推广。

发明内容

为此，本发明所要解决的问题是提供一种基于图像处理的自动识别和定位摆棋机器人，该机器人实现了对棋子进行定位、识别和摆放等一系列动作，还具备将放反了的棋子进行翻转并重新定位、摆放的功能。

本发明的目的是这样实现的：

一种基于图像处理的自动识别和定位摆棋机器人，包括机械系统和与机械系统连接的视觉系统；

视觉系统包括图像采集装置和与该装置连接的环形低角度LED光源；

机械系统包括传动机构和与传动机构连接的机器人载体；其中：

所述传动机构由步进电机、挡板、光电传感器和分别与步进电机连接的翻转机构及传送带连接构成，步进电机带动传送带运动传送棋子；翻转机构上设有吸嘴将棋子固定、翻转后，落到传送带上重新进行传送；挡板分别设置在传送带两侧，在挡板上分别设有光电传感器，当棋子经传送带到达挡板中央时，光电传感器感知棋子，并控制棋子继续向前运动至图像采集装置视野范围内，传送带停止运转；

所述机器人载体包括从下至上顺序连接的第一关节、第二关节、第三关节、第四关节、第五关节、第六关节和抓棋吸嘴，每个关节分别与对应的传动机构、旋转机构、关节电机连接。

所述旋转机构包括能水平、垂直自由旋转的关节转动轴、分别与每个关节转动轴连接的关节电机和旋转臂，关节电机与关节电气系统连接。

所述关节转动轴从下至上分别为第一关节转动轴、第二关节转动轴、第三关节转动轴、第四关节转动轴、第五关节转动轴、第六关节转动轴，抓棋吸嘴与第六关节转动轴连接，通过相应的关节转动轴的转动，控制抓棋吸嘴在三维空间内伸缩灵活并准确抓取象棋；其中：

第一关节转动轴平行于水平面做旋转运动，运动角度范围为240°，最大运动速度为420°/s；

第二关节转动轴垂直于水平面做旋转运动，运动角度范围为120°，最大运动速度为300°/s；

第三关节转动轴垂直于水平面做旋转运动，运动角度范围为164°，最大运动速度为250°/s；

第四关节转动轴垂直于水平面做旋转运动，运动角度范围为200°，最大运动速度为540°/s；

第五关节转动轴平行于水平面做旋转运动，运动角度范围为120°，最大运动速度为620°/s；

第六关节转动轴垂直于水平面做旋转运动，运动角度范围为360°，最大运动速度为720°/s；

所述关节电机分别与每个关节转动轴连接，内部设置有失电制动器和减速器，由直流伺服电机驱动，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中：减速器为谐波减速器。

所述图像采集装置设置在距离地面70cm的固定架上；固定架固定在传动机构的左边。

所述环形低角度LED光源位于图像采集装置正下方10cm处，所提供的正光源为红光，使象棋表面的文字或图案清晰，背光源使象棋的轮廓清晰。

所述传送带内部还设置有平行光源，用于为相机提供背光，以利于工件边缘的识别。

本发明的工作过程如下：

整个装置初始化完成之后，棋子落到传动机构的传送带上，传送带载着棋子向前方移动。在挡板两侧安装有光电传感器，当棋子经过挡板中央时，光电传感器会感知到棋子，控制棋子继续向前运动至图像采集装置视野范围内后，传送带停止运转。在视野范围内给予一定的正光源和背光源，图像采集装置获得棋子的初始图像。将获得原始图像进行灰度处理，得到棋子原始图像的灰度图片，根据颜色深浅区分双方棋子，运用SIFT算法对得到的待识别图像进行处理，识别图像上的棋子，并对识别出的棋子进行计算出其相对图片上的坐标，再根据图像坐标和实际坐标的关系，将其坐标转换成实际坐标。将计算得出的棋子实际坐标发送到终端控制计算机，终端控制计算机控制机械臂吸取并摆放棋子。棋子摆放完毕后，机械臂将回到初始位置并等待下一次识别和抓取。若棋子正面朝下，则控制机械臂抓取棋子放入翻转机构，翻转机构具有吸嘴，可将物料固定，并将棋子翻转后落在传送带上重新进行传送。若多个棋子同时进入到图像采集装置视野内，则不识别棋子，传送带继续传送并将多个棋子送出传动机构。

所述的SIFT算法为尺度不变特征变换算法，即：是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。运用SIFT算法提取的SIFT特征点向量具有如下优点：独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量SIFT特征向量。为现有技术。

本发明的优点是：本发明利用视觉系统进行检测，可以让机器人自动识别要抓取棋子的位置，从而赋予了机器人运动更大的灵活性。通过在传送带装置上方加装一套图像采集装置来自动检测象棋的颜色，文字，然后对获取的图像进行自动处理、检测与识别，传送带的旁边装有一套机器人载体，根据视觉系统处理得到的结果吸取和摆放棋子，或者放入翻转机构翻转棋子，大大提高了摆棋的效率和准确性，实现了象棋的开局摆棋的自动化，突破了以往象棋机器人不能自动摆棋的缺点，不需要人为摆棋的干预，实现了真正的摆棋自动化。另外本发明是以机器人的摆放棋子为平台，实现图像采集、处理、识别、定位等关键技术的融合，可以运用于其他领域，结构简单、自动化程度高，适应性强，具有广阔的前景。

附图说明

图1为本发明整体结构连接示意图；

图2为机械手的结构示意图；

图3是本发明识别棋子的程序流程图；

图4是系统运作流程图。

具体实施方式

下面结合附图和实施例对本发明进行阐述，但不是对本发明内容的限定。

如图1、图2所示，本发明一种基于图像处理的自动识别和定位摆棋机器人，包括视觉系统、机器人载体、传动机构，其中：

视觉系统由固定在固定架1上的CCD相机2和环形低角度LED光源3构成，CCD相机2通过数据传输线与终端控制计算机上的数据采集卡相连接；CCD相机2设置在距离地面70cm的架子1上；固定架1固定在传动机构的左边；环形低角度LED光源3位于CCD相机2正下方10cm处，所提供的正光源为红光，使象棋表面的文字或图案清晰，背光源使象棋的轮廓清晰。

传动机构包括支架17、步进电机4，传送带5，挡板7，光电传感器6，上料口滑槽10和翻料机构8；棋子19通过上料口滑槽10滑入传送带5，步进电机4带动传送带5运动传送棋子19；翻转机构8上设有吸嘴9，若棋子正面朝下，则通过该吸嘴9将棋子19固定、翻转到正面后，落到传送带5上重新进行传送；挡板7分别设置在传送带5两侧，在挡板7上分别设有光电传感器6，当棋子19经传送带5到达挡板7中央时，光电传感器6感知棋子19，并控制棋子19继续向前运动至图像采集装置视野范围内，传送带5停止运转；整个传动机构部分主要用于实现棋子19的进退、翻转等功能。另外，在传送带5内部还安装有平行光源，用于为相机提供背光，以利于工件边缘的识别。

机器人载体是整体系统的柔性机械手部分，从下至上是机械臂基座18、肩部16、上臂15、肘部14、前臂13、腕部12和抓棋吸嘴11依次通过对应的旋转机构连接，旋转机构由能水平、垂直四维度自由旋转的关节转动轴、与关节转动轴连接的关节电机、光电机构和旋转臂组成，关节转动轴从下至上分为第一关节转动轴26、第二关节转动轴25、第三关节转动轴24、第四关节转动轴23，第五节转动轴22和第六节转动轴21（如图2所示），各关节转动轴顺序串联，由全直流伺服电机驱动，其中：

第一关节转动轴26平行于水平面做旋转运动，运动角度范围为240°，最大运动速度为420°/s；第二关节转动轴25垂直于水平面做旋转运动，运动角度范围为120°，最大运动速度为300°/s；第三关节转动轴24垂直于水平面做旋转运动，运动角度范围为164°，最大运动速度为250°/s；第四关节转动轴23垂直于水平面做旋转运动，运动角度范围为200°，最大运动速度为540°/s；第五关节转动轴22垂直于水平面做旋转运动，运动角度范围为120°，最大运动速度为620°/s；第六关节转动轴21垂直于水平面做旋转运动，运动角度范围为360°，最大运动速度为720°/s。抓棋吸嘴11与机械臂的腕部12相连接，通过第六关节转动轴21的转动，使抓棋吸嘴11在三维空间内伸缩灵活并准确抓取象棋。

所述的关节转动轴分别于对应的关节电机通过传动机构连接，关节电机分别与关节电气系统连接，其内设置有失电制动器和谐波减速器，由直流伺服电机驱动，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中：减速器为谐波减速器。所述关节电气系统由直流电机、编码器、制动器和光电开关相连组成。

如图3所示，是本发明视觉系统识别棋子的流程图，所述的双目视觉系统主要通过视觉系统采集象棋的照片，通过数据传输线传送至PC处；主要步骤如下：

（1）初始化CCD相机和开启PC处理端；

（2）所述的相机同时获取图像，并传至PC处理端；

（3）对原始图像进行灰度处理，得到象棋原始图像的灰度图片（SIFT算法只能识别灰度图片，不能处理彩色图片，同时为了提高实时性，所以进行灰度处理，将彩色图片处理成灰度图片）。由于正光源和背光源的照射，可以根据象棋双方颜色的不同开区分双方棋子；

（4）运用SIFT算法对得到的待识别图像进行处理，通过检测尺度空间极值点、精确定位极值点、为每个关键点指定方向参数及关键点描述棋子的生成这几步之后，提取出对旋转、尺度缩放、亮度变化保持不变性SIFT特征向量，并存储在计算机数据库中，对目标图片进行匹配处理，来识别图片上的棋子；

（5）对识别出的棋子进行计算得出其相对图片上的坐标，再根据图像坐标和实际坐标的关系，将其坐标转换成实际坐标，为机器人摆棋提供依据；

（6）将计算得出的棋子实际坐标发送到终端控制计算机，终端控制计算机控制机器人载体的抓棋吸嘴摆放棋子。

如图4所示，是系统整体运作流程图，主要步骤如下：

（1）整个装置进行初始化；

（2）棋子19经由滑槽10滑落到传送带5上，由传送带5载着棋子19向前方移动；

（3）挡板7两侧安装有光电传感器6，当棋子19经过挡板7中央时，光电传感器6感知到棋子19，控制传送带5载着棋子19继续向前运动至相机视野范围内，传送带5停止运转；

（4）通过CCD相机拍摄棋子19，并将原始图片经由数据传输线传送至PC端，对棋子19进行位置、颜色、文字的识别；

（5）若能识别出棋子19，则将棋子19的位置和状态数据发送给机械臂，机械臂吸取并摆放棋子19在棋盘20上，棋子摆放完毕后，机械臂将回到初始位置并等待下一次识别和抓取；

（6）若不能识别出棋子，则棋子是反向的，PC端控制机械臂吸取棋子放在翻料机构8上的吸嘴9上，机械臂将回到初始位置并等待下一次识别和抓取。翻料机构就会吸住棋子19进行翻转，翻转后棋子19落在传送带5上，重新进行第（3）步，并以此循环。

Claims (3)

1.一种基于图像处理的自动识别和定位摆棋机器人，其特征是：包括机械系统和与机械系统连接的视觉系统；

视觉系统包括图像采集装置和位于图像采集装置正下方10cm处的环形低角度LED光源，所述环形低角度LED光源所提供的正光源为红光，使象棋表面的文字或图案清晰；

机械系统包括传动机构和与传动机构连接的机器人载体；其中：

所述传动机构由步进电机、挡板、光电传感器和分别与步进电机连接的翻转机构及传送带连接构成，步进电机带动传送带运动传送棋子；翻转机构上设有吸嘴将棋子固定、翻转后，落到传送带上重新进行传送；挡板分别设置在传送带两侧，在挡板上分别设有光电传感器，当棋子经传送带到达挡板中央时，光电传感器感知棋子，并控制棋子继续向前运动至图像采集装置视野范围内，传送带停止运转；

所述机器人载体包括从下至上顺序连接的第一关节、第二关节、第三关节、第四关节、第五关节、第六关节和抓棋吸嘴，每个关节分别与对应的传动机构、旋转机构、关节电机连接；

所述旋转机构包括能水平或垂直自由旋转的关节转动轴、与关节转动轴连接的关节电机和旋转臂，关节电机与关节电气系统连接；

所述关节转动轴从下至上分别为第一关节转动轴、第二关节转动轴、第三关节转动轴、第四关节转动轴、第五关节转动轴、第六关节转动轴，抓棋吸嘴与第六关节转动轴连接，通过所有关节转动轴的转动，控制抓棋吸嘴在三维空间内伸缩灵活并准确抓取象棋；

其机器人的操作方法包括如下步骤：

（1）传送带运送棋子经过光电传感器，控制传送带继续运转至棋子进入相机视野范围内停止；

（2）相机对棋子进行图像采集，得到棋子的原始图像和棋子的坐标；

（3）对原始图像进行灰度处理，根据灰度图片颜色深浅区分双方棋子，并且运用SIFT算法识别出棋子；

（4）将图像坐标装换成实际坐标，并发送给PC终端，控制机械臂吸取并摆放棋子；

（5）若不能识别出棋子，则控制机械臂吸取棋子放在翻转机构的吸嘴上，翻转机构翻转使棋子落在传送带上，重复步骤（1）。

2.根据权利要求1所述的基于图像处理的自动识别和定位摆棋机器人，其特征是：所述关节电机分别与每个关节转动轴连接，内部设置有失电制动器和减速器，分别控制每个关节转动轴运动，其供电电源和功率分别为24v和400w，其中：减速器为谐波减速器。

3.根据权利要求1所述的基于图像处理的自动识别和定位摆棋机器人，其特征是：所述图像采集装置设置在距离地面70cm的架子上；架子固定在传动机构的左边。