CN110039525A - 6s管理用机器人 - Google Patents

6s管理用机器人 Download PDF

Info

Publication number
CN110039525A
CN110039525A CN201910442379.4A CN201910442379A CN110039525A CN 110039525 A CN110039525 A CN 110039525A CN 201910442379 A CN201910442379 A CN 201910442379A CN 110039525 A CN110039525 A CN 110039525A
Authority
CN
China
Prior art keywords
image
motor
material object
management
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910442379.4A
Other languages
English (en)
Inventor
侯媛媛
王磊
王亚威
彭凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiber Rui Technology Co Ltd (changsha Robot)
Original Assignee
Seiber Rui Technology Co Ltd (changsha Robot)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiber Rui Technology Co Ltd (changsha Robot) filed Critical Seiber Rui Technology Co Ltd (changsha Robot)
Priority to CN201910442379.4A priority Critical patent/CN110039525A/zh
Publication of CN110039525A publication Critical patent/CN110039525A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种6S管理用机器人，包括机械臂、相机、处理器和存储器及用于执行下述步骤的程序：通过相机采集桌面图像；对图像进行高斯滤波和图像反转处理；将处理后的图像通过模板匹配算法，找到与桌面标签或实物的模板相似度最高的图像块，输出该图像块的中心位置坐标及用于所述图像反转处理的方向角；将所述中心位置坐标进行坐标变换，获得桌面标签或实物的位置信息；机械臂运动到实物处进行抓取；抓取实物后的机械臂运动到桌面标签处放置该实物。本发明能将图像识别技术和机器人技术结合起来，完成6S管理辅助工作，保持6S管理可持续进行。

Description

6S管理用机器人
技术领域
本发明涉及一种机器人，尤其涉及一种6S管理用机器人。
背景技术
6S管理是现代企业行之有效的管理理念和方法，为企业解决如何用好空间、用足空间、保持环境清洁、形成良好习惯等问题。6S即整理(SEIRI)、整顿(SEITON)、清扫(SEISO)、清洁(SEIKEISU)、素养(SHITSUKE)，安全管理(SAFETY)，通过规范现场、现物，营造一种舒适、一目了然的工作环境，培养员工良好的工作习惯，最终提升人的品质，提高企业的现场管理水平。
然而由于人的惰性，再加上执行、督查等方面的原因，大部分企业无法将6S管理工作持续执行下去。因而，利用机器人去实现整理和现场监督等6S管理中比较繁杂重复的工作，具有广泛的应用前景。
发明内容
本发明要解决的技术问题是提供一种6S管理用机器人，它能将图像识别技术和机器人技术结合起来，完成6S管理辅助工作。
本发明的6S管理用机器人，其特征是包括机械臂、相机、处理器和存储器及用于执行下述步骤的程序：
通过相机采集桌面图像；
对图像进行高斯滤波和图像反转处理；
将处理后的图像通过模板匹配算法，找到与桌面标签或实物的模板相似度最高的图像块，输出该图像块的中心位置坐标及用于所述图像反转处理的方向角；
将所述中心位置坐标进行坐标变换，获得桌面标签或实物的位置信息；
机械臂运动到实物处进行抓取；
抓取实物后的机械臂运动到桌面标签处放置该实物。
所述机械臂包括腕部及腕部电机、小臂及小臂电机、大臂及大臂电机和腰部及腰部电机。
还包括基于STM32-FPGA的运动控制卡，其与腕部电机、小臂电机、大臂电机和腰部电机均连接。
所述模板匹配算法包括如下步骤：
从模板图像和待配准图像中提取它们共有的显著特征；
匹配从两幅图像中提取的特征点；
根据配准特征对计算出几何变换参数；
根据所述计算出的几何变换参数，对待配准图像进行重采样，使得待配准图像和模板图像实现空间位置上的一一对应。
本发明的6S管理用机器人的技术效果是：一、可以通过模板匹配算法，获得桌面标签或实物的位置信息；以待机械臂运动到实物处进行抓取；并进一步运动到桌面标签处放置该实物，经过6S桌面管理机器人整理后，桌面摆放整齐。避免了人工作业，由此可保持6S管理的持续执行。二、本发明的模板匹配法基于特征点匹配，既提高了准确率，又达到实时效果。三、基于STM32-FPGA的运动控制卡，可以使得电机并行工作，最终提高了执行效率。
附图说明
图1是本发明的6S管理用机器人的结构图。
图2是本发明的6S管理用机器人的工作流程图。
具体实施方式
现结合附图，对本发明的实施例作详细说明。
参看图1，本发明的机器人主要由两部分组成，一是CCD相机5，二是机械臂，所述机械臂包括腕部及腕部电机4、小臂及小臂电机1、大臂及大臂电机3和腰部及腰部电机2。相机相当于机械臂的眼睛，机械臂相当于机器人的手。
还包括处理器和存储器，及用于执行下述步骤的程序：
（1）相机打开后，拍摄桌面照片，采集图像；
（2）图像处理，通过高斯滤波和图像反转处理；
（3）进行模板匹配，通过模板匹配算法程序，可以在输入图像中找到与6s标签内容和实物的模板相似度最高的图像块，用红色矩形框框出，并用红点表示矩形框的中心，输出该中心坐标和相似度；
（4）机械臂的抓取：计算机将中心位置进行坐标换算之后，将待抓取位置信息发送到机械臂，机械臂接收到信号后，运动到指定位置，对物品进行抓取；
（5）机械臂接收到计算机发来的6s标签的位置信息，放置到指定的位置；
（6）机械臂对没有放置到指定位置的物品逐一识别，然后抓取并放置到指定的位置，所有物品整理好后，完成整理，机械臂自动回到原位。经过6S桌面管理机器人整理后，桌面摆放整齐。
在实际应用中，由于受到光照、周围环境、系统自身等方面的影响，图像在采集、传输和记录的过程中会不可避免地受到干扰，进而导致图像失真，图片质量下降，使后续处理环节受到了影响，降低了处理的效率和准确性。因此，需要采取相应的措施以改善图像的视觉效果，提高图像质量。图像预处理主要包括高斯滤波和图像反转，高斯滤波主要用来消除高斯噪声，一般高斯滤波用窗口卷积的实现方式。高斯滤波的主要优点是对于正太噪声的抑制消除效果比其他滤波技术要好的多。由于6S品标签是由人员手工贴在桌面的，往往会有一定角度的倾斜，为了提高6S标签内容识别区域分割的准确性，需要对标签图像进行旋转处理，使识别标签内容区域保持水平，在提高标签内容区域分割准确性的同时，也有利于后续与6S标签数据库匹配的操作。本系统根据模板匹配定位操作返回的方向角对图像进行反转，然后根据标签内容区域与标签模板之间位置关系固定这一特点对标签内容区域进行定位分割操作。
经过预处理后的图像是二值图像，尽管二值图像中物体和背景分离，但是还不能确定目标物体的位置，因此需要通过算法识别目标物体。图像识别算法一般来说分为两类：模板匹配法和特征匹配法，模板匹配法就是计算机通过计算比对待识别物体与模板的相似度来确定是否为目标物体，特征匹配法是通过物体的形状、颜色等明显特征来区分待识别物体。模板匹配是通过对比模板和原始图片的相似度来识别目标图像。对于一张给定的图片，划分成很多不同的小块，通过依次移动模板图片，比对模板和原始图片小块的相似度，找到相似度最大的一块，用红色矩形框出。
模板匹配识别是把二维的图像灰度值投影变换成为一维的数据,然后再在一维数据的基础上进行匹配运算。通过减少数据的维数,来达到减少待计算的数据量的目的,从而可有效地提高匹配的速度。模板匹配方法简单快速,但是对于字符有断裂和粘连等情况容易造成错误的判断。针对以上情况，本发明提出了一种简单易行的方法,即先对图像进行二值化和字符分割,再利用模板匹配和特征点匹配相结合的方法进行字符识别,这样既提高了准确率,又可达到实时效果。因为一些字母与数字形状和结构很相似,在出现笔划断裂、粘连和模糊不清的情况时,仅进行模板匹配可能会造成误判断,譬如把这些容易混淆的字母和数字分成相应的组对它们用特征点匹配法来进行检查。特征点识别字符是先对待识别字符进行关键点提取,即对字符进行拓扑分析以得到字符边缘的关键点,再确定字符的分类。用这种方法仅用个特征点就可以把这些字符分开。
基于特征的模板匹配算法的具体步骤如下：（1）从模板图像和待配准图像中提取它们共有的显著特征（点、线、面等）；（2）匹配从两幅图像中提取的特征点；（3）根据配准特征对计算出几何变换参数；（4）图像重采样，即根据第（3）步中计算出的几何变换参数，对待配准图像进行重采样，从而使得待配准图像和模板图像实现空间位置上的一一对应。
FPGA即现场可编程门阵列，可以通过重复分配计算资源，同时执行多个编程人员设计出来的程序，本发明在传统的机械臂单STM32串行控制的基础上，加入FPGA的控制单元，将接收到的控制指令转化为不同电机的实际运动控制脉冲信号，控制电机完成制定工作任务。将STM32对复杂程序的快速处理能力以及丰富的外设拓展能力与FPGA的流水线型程序执行能力相结合，利用FPGA的并行处理能力来分担STM32程序中的重复计算逻辑，从而实现提高运动控制卡运行效率的功能。
以上所述仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.一种6S管理用机器人，其特征是包括机械臂、相机、处理器和存储器及用于执行下述步骤的程序：
通过相机采集桌面图像；
对图像进行高斯滤波和图像反转处理；
将处理后的图像通过模板匹配算法，找到与桌面标签或实物的模板相似度最高的图像块，输出该图像块的中心位置坐标及用于所述图像反转处理的方向角；
将所述中心位置坐标进行坐标变换，获得桌面标签或实物的位置信息；
机械臂运动到实物处进行抓取；
抓取实物后的机械臂运动到桌面标签处放置该实物。
2.如权利要求1所述的6S管理用机器人，其特征是：所述机械臂包括腕部及腕部电机、小臂及小臂电机、大臂及大臂电机和腰部及腰部电机。
3.如权利要求2所述的6S管理用机器人，其特征是：还包括基于STM32-FPGA的运动控制卡，其与腕部电机、小臂电机、大臂电机和腰部电机均连接。
4.如权利要求1所述的6S管理用机器人，其特征是：所述模板匹配算法包括如下步骤：
从模板图像和待配准图像中提取它们共有的显著特征；
匹配从两幅图像中提取的特征点；
根据配准特征对计算出几何变换参数；
根据所述计算出的几何变换参数，对待配准图像进行重采样，使得待配准图像和模板图像实现空间位置上的一一对应。
5.如权利要求1~4任一项所述的6S管理用机器人，其特征是：所述相机是CCD相机。
CN201910442379.4A 2019-05-25 2019-05-25 6s管理用机器人 Pending CN110039525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910442379.4A CN110039525A (zh) 2019-05-25 2019-05-25 6s管理用机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910442379.4A CN110039525A (zh) 2019-05-25 2019-05-25 6s管理用机器人

Publications (1)

Publication Number Publication Date
CN110039525A true CN110039525A (zh) 2019-07-23

Family

ID=67283528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910442379.4A Pending CN110039525A (zh) 2019-05-25 2019-05-25 6s管理用机器人

Country Status (1)

Country Link
CN (1) CN110039525A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331894A (zh) * 2014-11-19 2015-02-04 山东省科学院自动化研究所 一种基于双目立体视觉的机器人拆垛方法
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
CN206373904U (zh) * 2016-12-15 2017-08-04 淮阴工学院 小型桌面搬运机器人结构
US10058997B1 (en) * 2016-06-16 2018-08-28 X Development Llc Space extrapolation for robot task performance
CN109685837A (zh) * 2018-11-07 2019-04-26 中国矿业大学 一种基于地物结构相似度的异源遥感影像配准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331894A (zh) * 2014-11-19 2015-02-04 山东省科学院自动化研究所 一种基于双目立体视觉的机器人拆垛方法
CN104626169A (zh) * 2014-12-24 2015-05-20 四川长虹电器股份有限公司 基于视觉与机械综合定位的机器人抓取零件的方法
US10058997B1 (en) * 2016-06-16 2018-08-28 X Development Llc Space extrapolation for robot task performance
CN206373904U (zh) * 2016-12-15 2017-08-04 淮阴工学院 小型桌面搬运机器人结构
CN109685837A (zh) * 2018-11-07 2019-04-26 中国矿业大学 一种基于地物结构相似度的异源遥感影像配准方法

Similar Documents

Publication Publication Date Title
Kokic et al. Learning task-oriented grasping from human activity datasets
Kang et al. Visual perception and modeling for autonomous apple harvesting
JP5209751B2 (ja) ロボットの駆動システム、ロボットの駆動方法、及び、ロボットの駆動プログラム
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN111507317B (zh) 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
Ge et al. Symmetry-based 3D shape completion for fruit localisation for harvesting robots
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
Lin et al. Using synthetic data and deep networks to recognize primitive shapes for object grasping
Abe et al. Virtual 3-D interface system via hand motion recognition from two cameras
Tara et al. Hand segmentation from depth image using anthropometric approach in natural interface development
Schröder et al. Real-time hand tracking with a color glove for the actuation of anthropomorphic robot hands
Hu et al. Trajectory image based dynamic gesture recognition with convolutional neural networks
CN114495273A (zh) 一种机器人手势遥操作方法及相关装置
Pradhan et al. A hand gesture recognition using feature extraction
Ikeda et al. Tomato recognition for harvesting robots considering overlapping leaves and stems
CN110039525A (zh) 6s管理用机器人
CN207752527U (zh) 一种机器人动态抓取系统
CN116206189A (zh) 一种曲面图形标识码及其识别方法
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
Rong et al. RGB-D hand pose estimation using fourier descriptor
Infantino et al. Visual control of a robotic hand
CN114786468A (zh) 通过集成激光及视觉在非结构化及嘈杂环境中用于农业物体检测的人机导引系统
CN111368853A (zh) 一种标签的构建方法、系统、装置及存储介质
Su et al. Pose-Aware Placement of Objects with Semantic Labels-Brandname-based Affordance Prediction and Cooperative Dual-Arm Active Manipulation
Chen et al. A new semantic-based tool detection method for robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190723

WD01 Invention patent application deemed withdrawn after publication