CN106625697A - 一种基于机器视觉技术的智能桌面式机械臂系统 - Google Patents

一种基于机器视觉技术的智能桌面式机械臂系统 Download PDF

Info

Publication number
CN106625697A
CN106625697A CN201611004789.3A CN201611004789A CN106625697A CN 106625697 A CN106625697 A CN 106625697A CN 201611004789 A CN201611004789 A CN 201611004789A CN 106625697 A CN106625697 A CN 106625697A
Authority
CN
China
Prior art keywords
mechanical arm
desktop
module
host computer
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611004789.3A
Other languages
English (en)
Inventor
卜王辉
尹科
颜爽
杨晨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201611004789.3A priority Critical patent/CN106625697A/zh
Publication of CN106625697A publication Critical patent/CN106625697A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/003—Manipulators for entertainment
    • B25J11/004—Playing a music instrument
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明涉及一种基于机器视觉技术的智能桌面式机械臂系统，用于对桌面上应用模块进行识别并操控应用模块，智能桌面式机械臂系统包括上位机、下位机、机械臂与摄像头，摄像头、上位机、下位机、机械臂顺序连接，上位机包括相互联系的图像处理模块、动作指令模块与计算模块。摄像头拍摄桌面上的物体，上位机的图像处理程序识别桌面物体，结合图像处理程序识别的结果，上位机自动生成机械臂末端每一时刻的位置坐标，上位机的计算模块基于运动学逆解计算方法根据位置坐标解算出对应的关节转角，下位机控制关节运动到关节所对应的角度，从而使机械臂末端到达目标位置，执行相关任务。与现有技术相比，本发明具有组件简单，成本低廉，控制精准等优点。

Description

一种基于机器视觉技术的智能桌面式机械臂系统
技术领域
本发明涉及自动机械技术领域，尤其是涉及一种基于机器视觉技术的智能桌面式机械臂系统。
背景技术
机器人技术得到了快速的发展，各行各业都有其广泛应用，如：工业制造、生物医疗、紧急救灾等。音乐可以让人消除工作紧张、减轻生活压力、避免各类慢性疾病，所以聆听音乐、鉴赏音乐，是现代人极为普遍的生活调剂。积木玩具的搭建，充满了乐趣，是现代儿童普遍流行的一种儿童游戏。
如果有一种可以自主弹奏电子琴并且可以自主搭建积木玩具的桌面式机械臂系统，对于音乐爱好者，该系统将提供一种现代化的享受生活、评鉴音乐方式，甚至可以帮助歌手在演出时进行电子琴的弹奏，节省人力又不失高端、华丽；对于儿童，该机械臂系统可以完成积木玩具的搭建，给好玩的小朋友们带来无穷乐趣。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种组件简单、成本低廉的基于机器视觉技术的智能桌面式机械臂系统。
本发明的目的可以通过以下技术方案来实现：
一种基于机器视觉技术的智能桌面式机械臂系统，用于对桌面上应用模块进行识别并操控应用模块，所述的智能桌面式机械臂系统包括上位机、下位机、机械臂与摄像头，所述的摄像头与上位机连接，所述的上位机还与下位机连接，所述的下位机与机械臂连接；所述的摄像头拍摄桌面上应用模块的实时图像并传送给上位机，所述的上位机包括相互联系的图像处理模块、动作指令模块与计算模块，所述的上位机图像处理模块识别桌面上应用模块的图像，动作指令模块根据桌面上应用模块的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对桌面上应用模块的操控。
进一步的，本发明的智能桌面式机械臂系统尤其适用于应用模块具体为已打开应用程序页面的智能终端的情形。
所述的桌面上应用模块具体为已打开应用程序页面的智能终端，所述的上位机的图像处理模块识别智能终端上应用程序页面的图像，动作指令模块根据桌面上智能终端上应用程序页面的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对智能终端上应用程序页面的操控。
更近一步地，所述的桌面上应用模块具体为已打开电子琴操作界面的智能手机，所述的摄像头拍摄桌面上智能手机上电子琴操作界面的实时图像并传送给上位机，所述的上位机的图像处理模块识别智能手机上电子琴操作界面上的按键位置，动作指令模块根据智能手机上电子琴操作界面的实时图像信息生成每一时刻的按键顺序指令，计算模块基于运动学逆解程序根据电子琴操作界面上的按键位置解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而实现对电子琴进行弹奏。
进一步的，本发明的智能桌面式机械臂系统尤其适用于应用模块具体为积木玩具的情形。
所述的桌面上应用模块具体为桌面上的积木玩具，所述的摄像头拍摄桌面上积木玩具的实时图像并传送给上位机，所述的上位机的图像处理模块识别桌面上积木玩具形状和位置，动作指令模块根据桌面上积木玩具形状和位置信息自动生成每一时刻的机械臂末端吸盘位置，计算模块基于运动学逆解程序根据位置坐标解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而使机械臂末端吸盘吸取积木进行积木搭建。
所述的摄像头与上位机之间通过数据线进行连接。
所述的上位机与下位机之间通过数据线进行连接。
进一步地，所述的上位机上设有两个USB接口，分别与下位机和摄像头连接。
所述的上位机为可以直接发出操控命令的计算机。
所述的下位机为直接控制设备获取设备状况的计算机。
所述的机械臂为自动机器人领域常用机械臂。
与现有技术相比，本发明具有以下优点及有益效果：摄像头拍摄桌面上的物体，图像处理程序识别桌面物体，结合图像处理程序识别的结果，上位机自动生成机械臂末端每一时刻的位置坐标，计算模块基于运动学逆解计算方法根据位置坐标解算出对应的关节转角，下位机控制关节运动到关节所对应的角度，从而使机械臂末端到达目标位置，执行相关任务。
附图说明
图1为本发明智能桌面式机械臂系统硬件结构示意图；
图2为本发明智能桌面式机械臂系统控制框图；
图3为电子琴弹奏时系统硬件结构示意图；
图4为电子琴弹奏时系统控制框图；
图5为积木搭建时系统硬件结构示意图；
图6为积木搭建时系统控制框图。
图中标号：1、摄像头，2、机械臂，3、下位机，4、上位机，5、桌面，6、应用模块，7、智能手机，8、积木模块。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例1
一种基于机器视觉技术的智能桌面式机械臂系统，如图1、图2所示，用于对桌面5上应用模块6进行识别并操控应用模块6，智能桌面式机械臂系统包括上位机4、下位机3、机械臂2与摄像头1，上位机4上设有两个USB接口，分别与下位机3和摄像头1通过数据线连接。上位机4为可以直接发出操控命令的计算机。下位机3为直接控制设备获取设备状况的计算机。机械臂2为自动机器人领域常用机械臂。下位机3与机械臂2连接。
摄像头1拍摄桌面上应用模块6的实时图像并传送给上位机4，上位机4包括相互联系的图像处理模块、动作指令模块与计算模块，上位机图像处理模块识别桌面上应用模块的图像，动作指令模块根据桌面上应用模块的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对桌面上应用模块的操控。
在图像处理模块含有图像处理程序，动作指令模块含有具体针对应用模块进行操作的指令程序，计算模块含有运动学逆解程序。
实施例2
一种基于机器视觉技术的智能桌面式机械臂系统，如图3、图4所示，用于对桌面5上智能手机7进行识别并操控智能手机7的电子琴操作界面，智能桌面式机械臂系统包括上位机4、下位机3、机械臂2与摄像头1，上位机4上设有两个USB接口，分别与下位机3和摄像头1通过数据线连接。上位机4为可以直接发出操控命令的计算机。下位机3为直接控制设备获取设备状况的计算机。机械臂2为自动机器人领域常用机械臂。下位机3与机械臂2连接。在图像处理模块含有图像处理程序，动作指令模块含有具体针对应用模块进行操作的指令程序，计算模块含有运动学逆解程序。
本实施例中，桌面上应用模块具体为已打开电子琴操作界面的智能手机，在电子琴弹奏时，从图4中可知，上位机4由图像处理程序、音乐生成模块、运动学逆解、数据传输四个部分组成，上位机4是整个智能桌面式机械臂系统的核心，用来完成整个过程的数据控制。上位机4一方面对摄像头1采集的图像进行处理，另一方面，产生正确的关节角度数据并传输给下位机3进行机械臂2的运动控制。从图4中可知，摄像头实时采集智能手机7上电子琴图像；上位机4分别用USB接口1、USB接口2与摄像头1、下位机3进行连接，完成数据传输；机械臂2由下位机控制，末端用来点奏电子琴。
实施例3
一种基于机器视觉技术的智能桌面式机械臂系统，如图5、图6所示，用于对桌面5上积木模块8进行识别并操控积木模块8，智能桌面式机械臂系统包括上位机4、下位机3、机械臂2与摄像头1，上位机4上设有两个USB接口，分别与下位机3和摄像头1通过数据线连接。上位机4为可以直接发出操控命令的计算机。下位机3为直接控制设备获取设备状况的计算机。机械臂2为自动机器人领域常用机械臂。下位机3与机械臂2连接。
本实施例中，桌面上应用模块具体为桌面上的积木模块，摄像头拍摄桌面上积木玩具的实时图像并传送给上位机，上位机的图像处理模块识别桌面上积木玩具形状和位置，动作指令模块根据桌面上积木玩具形状和位置信息自动生成每一时刻的机械臂末端吸盘位置，计算模块基于运动学逆解程序根据位置坐标解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而使机械臂末端吸盘吸取积木进行积木搭建。
摄像头1实时采集积木堆和已搭建好城堡图像，通过USB接口1将图像实时传输给上位机图像处理程序，积木搭建模块结合图像处理程序处理结果给出本次机械臂2末端吸盘位置坐标，运动学逆解模块将位置坐标反解出关节转角，并通过USB接口2传输给下位机3，下位机3控制机械臂2的运动，使末端吸盘吸取积木进行本步积木搭建，整个过程不断循环，直至城堡搭建完毕，图6给定的是积木搭建时系统图。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉技术的智能桌面式机械臂系统，用于对桌面上应用模块进行识别并操控应用模块，其特征在于，所述的智能桌面式机械臂系统包括上位机、下位机、机械臂与摄像头，所述的摄像头与上位机连接，所述的上位机还与下位机连接，所述的下位机与机械臂连接；
所述的摄像头拍摄桌面上应用模块的实时图像并传送给上位机，所述的上位机包括相互联系的图像处理模块、动作指令模块与计算模块，所述的上位机图像处理模块识别桌面上应用模块的图像，动作指令模块根据桌面上应用模块的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对桌面上应用模块的操控。
2.根据权利要求1所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的桌面上应用模块具体为已打开应用程序页面的智能终端，所述的上位机的图像处理模块识别智能终端上应用程序页面的图像，动作指令模块根据桌面上智能终端上应用程序页面的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对智能终端上应用程序页面的操控。
3.根据权利要求2所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的桌面上应用模块具体为已打开电子琴操作界面的智能手机，所述的摄像头拍摄桌面上智能手机上电子琴操作界面的实时图像并传送给上位机，所述的上位机的图像处理模块识别智能手机上电子琴操作界面上的按键位置，动作指令模块根据智能手机上电子琴操作界面的实时图像信息生成每一时刻的按键顺序指令，计算模块基于运动学逆解程序根据电子琴操作界面上的按键位置解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而实现对电子琴进行弹奏。
4.根据权利要求1所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的桌面上应用模块具体为桌面上的积木玩具，所述的摄像头拍摄桌面上积木玩具的实时图像并传送给上位机，所述的上位机的图像处理模块识别桌面上积木玩具形状和位置，动作指令模块根据桌面上积木玩具形状和位置信息自动生成每一时刻的机械臂末端吸盘位置，计算模块基于运动学逆解程序根据位置坐标解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而使机械臂末端吸盘吸取积木进行积木搭建。
5.根据权利要求1所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的摄像头与上位机之间通过数据线进行连接。
6.根据权利要求1所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的上位机与下位机之间通过数据线进行连接。
7.根据权利要求1所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的上位机为可以直接发出操控命令的计算机。
8.根据权利要求1所述的一种基于机器视觉技术的智能桌面式机械臂系统，其特征在于，所述的下位机为直接控制设备获取设备状况的计算机。
CN201611004789.3A 2016-11-15 2016-11-15 一种基于机器视觉技术的智能桌面式机械臂系统 Pending CN106625697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611004789.3A CN106625697A (zh) 2016-11-15 2016-11-15 一种基于机器视觉技术的智能桌面式机械臂系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611004789.3A CN106625697A (zh) 2016-11-15 2016-11-15 一种基于机器视觉技术的智能桌面式机械臂系统

Publications (1)

Publication Number Publication Date
CN106625697A true CN106625697A (zh) 2017-05-10

Family

ID=58807059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611004789.3A Pending CN106625697A (zh) 2016-11-15 2016-11-15 一种基于机器视觉技术的智能桌面式机械臂系统

Country Status (1)

Country Link
CN (1) CN106625697A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108544531A (zh) * 2018-04-12 2018-09-18 江苏科技大学 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法
CN109968017A (zh) * 2017-12-28 2019-07-05 中国科学院沈阳自动化研究所 一种乐高积木自动装配机组
CN112008727A (zh) * 2020-08-31 2020-12-01 北京云迹科技有限公司 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人
CN114952868A (zh) * 2022-07-26 2022-08-30 之江实验室 7自由度srs型机械臂控制方法及装置、弹琴机器人
CN115741682A (zh) * 2022-11-08 2023-03-07 安徽信息工程学院 一种基于数字孪生技术的智能机械臂远程控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398720A (en) * 1981-01-05 1983-08-16 California R & D Center Robot computer chess game
US4729563A (en) * 1984-12-28 1988-03-08 Nintendo Co., Ltd. Robot-like game apparatus
CN204263170U (zh) * 2014-07-15 2015-04-15 广州大学 摆放与拆除积木智能机器人
CN105500378A (zh) * 2016-01-12 2016-04-20 上海交通大学 自动完成游戏节奏大师的机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398720A (en) * 1981-01-05 1983-08-16 California R & D Center Robot computer chess game
US4729563A (en) * 1984-12-28 1988-03-08 Nintendo Co., Ltd. Robot-like game apparatus
CN204263170U (zh) * 2014-07-15 2015-04-15 广州大学 摆放与拆除积木智能机器人
CN105500378A (zh) * 2016-01-12 2016-04-20 上海交通大学 自动完成游戏节奏大师的机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈珑斌: "冗余灵巧臂的示教学习", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109968017A (zh) * 2017-12-28 2019-07-05 中国科学院沈阳自动化研究所 一种乐高积木自动装配机组
CN108544531A (zh) * 2018-04-12 2018-09-18 江苏科技大学 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法
CN108544531B (zh) * 2018-04-12 2020-11-10 江苏科技大学 一种基于视觉标定的自动化验机械臂装置、控制系统及其控制方法
CN112008727A (zh) * 2020-08-31 2020-12-01 北京云迹科技有限公司 基于仿生视觉的乘梯机器人按键控制方法及乘梯机器人
CN114952868A (zh) * 2022-07-26 2022-08-30 之江实验室 7自由度srs型机械臂控制方法及装置、弹琴机器人
CN115741682A (zh) * 2022-11-08 2023-03-07 安徽信息工程学院 一种基于数字孪生技术的智能机械臂远程控制系统

Similar Documents

Publication Publication Date Title
CN106625697A (zh) 一种基于机器视觉技术的智能桌面式机械臂系统
CN108453742B (zh) 基于Kinect的机器人人机交互系统及方法
CN110262664B (zh) 一种具有认知能力的智能交互手套
EP2559463B1 (en) Device and method for processing a virtual world
CN105868715B (zh) 一种手势识别方法、装置及手势学习系统
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
JP7382994B2 (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
WO2019024577A1 (zh) 基于多感知数据融合的人机自然交互系统
CN102053702A (zh) 动态手势控制系统与方法
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN109739358B (zh) 基于裸眼3d的手势碰撞检测方法及设备
WO2024008217A1 (zh) 仿人钢琴演奏机器人
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
CN107292295B (zh) 手势分割方法及装置
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN205516182U (zh) 跑步机
CN106774839A (zh) 一种智能穿戴键盘装置及其输入方法
CN106512391B (zh) 一种双手手势识别方法及基于其的模拟驾驶系统、方法
CN105034006A (zh) 一种基于LeapMotion设备的猜拳机器人及猜拳手势识别方法
CN110363841B (zh) 一种虚拟驾驶环境中手部运动跟踪方法
CN203600249U (zh) 一种工业机器人运动控制装置
CN107914273A (zh) 基于手势控制的机械臂示教系统
Thakar et al. Hand gesture controlled gaming application
CN207704451U (zh) 手势采集系统
Tseng et al. Vision-based finger guessing game in human machine interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination