CN206416179U - 一种基于双目视觉的运动目标跟踪定位与抓取系统 - Google Patents
一种基于双目视觉的运动目标跟踪定位与抓取系统 Download PDFInfo
- Publication number
- CN206416179U CN206416179U CN201720041297.5U CN201720041297U CN206416179U CN 206416179 U CN206416179 U CN 206416179U CN 201720041297 U CN201720041297 U CN 201720041297U CN 206416179 U CN206416179 U CN 206416179U
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- video camera
- workbench
- binocular vision
- industrial computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Control Of Position Or Direction (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
本实用新型公开了一种基于双目视觉的运动目标跟踪定位与抓取系统，包括工作台，工作台两端分别设置有机械臂和光源，机械臂通过导线依次连接有电控柜、显示屏、工控机和电源，工控机通过导线连接有摄像机，摄像机位于工作台的顶端，光源通过导线连接电源。本实用新型通过采用使用摄像机和图像采集卡的结合，对运动目标工件位置进行实时跟踪定位，然后通过工控机对位置信息分析后将目标工件位置信息传送给运动控制卡，运动控制卡通过给伺服端子发出指令信息使机械臂做出动作、同时快速抓取工件，结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题，有很好的实用价值。
Description
技术领域
本实用新型属于目标抓取设备技术领域，具体涉及一种基于双目视觉的运动目标跟踪定位与抓取系统。
背景技术
在生产线中，对于流水线上的工件，机器人存在着对其进行操作的需求。传统工业生产线上是通过机械手设定固定位姿对运动目标工件进行抓取，实现对运动目标工件的抽样检测。在实际生产过程中，由于工件的外形、工件所处的位置不确定等因素，导致在利用传统机器人进行目标工件抓取时出现抓取失败的情况。为了解决这一问题，采用单目相机提取视觉信息进行目标工件的抓取，这种方法省时、简单；但是当运动目标是未知的情况时，深度视觉信息的丢失限制了伺服操作和复杂的控制设计等，还是存在不能精确快速的对目标工件的跟踪和抓取。
实用新型内容
本实用新型的目的是提供一种基于双目视觉的运动目标跟踪定位与抓取系统，解决了现有生产线上目标工件不能够快速定位和抓取的问题。
本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统所采用的技术方案是，包括工作台，工作台两端分别设置有机械臂和光源，机械臂通过导线依次连接有电控柜、显示屏、工控机和电源，工控机通过导线连接有摄像机，摄像机位于工作台的顶端，光源通过导线连接电源。
本实用新型的特征还在于，
机械臂为四自由度机械臂，且机械臂的自由度与电控柜内的伺服端子数量相同。
工控机内还设置有图像采集卡和运动控制卡。
摄像机与机械臂、光源位于工作台同侧，且摄像机为双目摄像机。
图像采集卡为Matrox图像采集卡。
运动控制卡为GT-400-SG运动控制卡。
本实用新型的有益效果是：本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统，通过采用使用摄像机和图像采集卡的结合，对运动目标工件位置进行实时跟踪定位，然后通过工控机对位置信息分析后将目标工件位置信息传送给运动控制卡，运动控制卡通过给伺服端子发出指令信息使机械臂做出动作、同时快速抓取工件，结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题，有很好的实用价值。
附图说明
图1是本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统的结构示意图。
图中，1.工作台，2.机械臂，3.电控柜，4.工控机，5.光源，6.显示屏，7.电源，8.摄像机，9.导线，10.图像采集卡，11.运动控制卡，12.伺服端子。
具体实施方式
下面结合附图和具体实施方式对本实用新型进行详细说明。
本实用新型一种基于双目视觉的运动目标跟踪定位与抓取系统，如图1所示，包括工作台1，工作台1上有运动的目标工件，工作台1两端分别设置有机械臂2和光源5，机械臂2通过导线9依次连接有电控柜3、显示屏6、工控机4和电源7，工控机4通过导线9连接有摄像机8，摄像机8位于工作台1的顶端，光源5通过导线9连接电源7，光源5为普通的LED灯。
机械臂2为四自由度机械臂，且机械臂2的自由度与电控柜3内的伺服端子12数量相同。
工控机4内还设置有图像采集卡10和运动控制卡11。图像采集卡10与摄像机8配合工作，将工件位置信息传送给工控机4；工控机4通过计算将结果显示在显示屏6上，同时将指令信息发送至运动控制卡11，运动控制卡11接收到工控机4的信息后，通过伺服端子12使机械臂2做出抓取的动作。
摄像机8与机械臂2、光源5位于工作台10同侧，且摄像机8为双目摄像机。
图像采集卡10为Matrox图像采集卡。
运动控制卡11为GT-400-SG运动控制卡。
本实用新型的使用过程：
步骤1，接通电源，打开光源5和摄像机8，对工作台1上方的摄像机8进行标定，标定时采用经典张正友标定方法，对于摄像机8采集的图像，选取3个标定位图像、每个标定位图像分别取6个点，即可求取摄像机8的内外参数；
步骤2，通过摄像机8采集工作台1上的运动目标工件的图像信号，然后实时传输给图像采集卡10、工控机4；
步骤3，工控机4实时获取步骤2中传输过来的运动目标工件图像信息，利用背景差分法进行运动目标工件检测；
步骤4，根据步骤3的检测结果提取目标工件轮廓，工控机4利用Kalman滤波预测Camshift搜索窗口的初始位置，然后利用Camshift算法计算目标工件的位置和大小，再以此位置作为观测值更新Kalman滤波信息，当目标发生大面积遮挡时，Camshift算法得出的目标位置和大小不准确，可使用Kalman滤波信息预测值作为观测值更新Kalman滤波信息，实现对运动目标的跟踪定位；
步骤5，根据步骤1中摄像机8的标定信息、步骤4中的对运动目标工件的跟踪位置信息，确定运动目标的实际抓取位置，具体为：根据摄像机8标定的结果，获得摄像机8图像像素位置与场景点位置之间的关系，通过立体匹配获得图像的深度信息，结合背景差分法与形态学检测到的轮廓信息，确定运动目标的三维信息，完成对目标的定位，确定抓取的位置；将此位置传给运动控制卡11，运动控制卡11通过运动学反解，求取机械臂2各个关节的运动参数，同时发出指令信息给伺服端子12使机械臂2完成抓取动作。
本实用新型通过采用使用摄像机8和图像采集卡10的结合，对运动目标工件位置进行实时跟踪定位，然后通过工控机4对位置信息分析后将目标工件位置信息传送给运动控制卡11，运动控制卡11通过给伺服端子12发出指令信息使机械臂2做出动作、同时快速抓取工件，结构简单、克服了现有生产线上目标工件不能够快速定位和抓取的问题，有很好的实用价值。
Claims (6)
1.一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，包括工作台(1)，工作台(1)两端分别设置有机械臂(2)和光源(5)，所述的机械臂(2)通过导线(9)依次连接有电控柜(3)、显示屏(6)、工控机(4)和电源(7)，工控机(4)通过导线(9)连接有摄像机(8)，摄像机(8)位于工作台(1)的顶端，所述的光源(5)通过导线(9)连接电源(7)。
2.根据权利要求1所述的一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，所述的机械臂(2)为四自由度机械臂，且机械臂(2)的自由度与电控柜(3)内的伺服端子(12)数量相同。
3.根据权利要求1所述的一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，所述的工控机(4)内还设置有图像采集卡(10)和运动控制卡(11)。
4.根据权利要求1所述的一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，所述的摄像机(8)与机械臂(2)、光源(5)位于工作台(1)同侧，且摄像机(8)为双目摄像机。
5.根据权利要求3所述的一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，所述的图像采集卡(10)为Matrox图像采集卡。
6.根据权利要求3所述的一种基于双目视觉的运动目标跟踪定位与抓取系统，其特征在于，所述的运动控制卡(11)为GT-400-SG运动控制卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720041297.5U CN206416179U (zh) | 2017-01-13 | 2017-01-13 | 一种基于双目视觉的运动目标跟踪定位与抓取系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201720041297.5U CN206416179U (zh) | 2017-01-13 | 2017-01-13 | 一种基于双目视觉的运动目标跟踪定位与抓取系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN206416179U true CN206416179U (zh) | 2017-08-18 |
Family
ID=59572550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201720041297.5U Expired - Fee Related CN206416179U (zh) | 2017-01-13 | 2017-01-13 | 一种基于双目视觉的运动目标跟踪定位与抓取系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN206416179U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108972556A (zh) * | 2018-08-14 | 2018-12-11 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
| CN112518748A (zh) * | 2020-11-30 | 2021-03-19 | 广东工业大学 | 面向运动物品的视觉机械臂自动抓取方法与系统 |
-
2017
- 2017-01-13 CN CN201720041297.5U patent/CN206416179U/zh not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108972556A (zh) * | 2018-08-14 | 2018-12-11 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
| CN108972556B (zh) * | 2018-08-14 | 2021-07-09 | 广东工业大学 | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 |
| CN112518748A (zh) * | 2020-11-30 | 2021-03-19 | 广东工业大学 | 面向运动物品的视觉机械臂自动抓取方法与系统 |
| CN112518748B (zh) * | 2020-11-30 | 2024-01-30 | 广东工业大学 | 面向运动物品的视觉机械臂自动抓取方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
| WO2018108098A1 (zh) | 一种基于多传感器信息融合的带电作业机器人自主作业方法 | |
| CN104959989B (zh) | 一种视觉引导下的电梯门板上料定位方法 | |
| CN111421539A (zh) | 一种基于计算机视觉的工业零件智能识别与分拣系统 | |
| CN107263468B (zh) | 一种利用数字图像处理技术的scara机器人装配方法 | |
| CN111897332A (zh) | 一种语义智能变电站机器人仿人巡视作业方法及系统 | |
| CN113276106B (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
| CN105547153B (zh) | 基于双目视觉的插件元件针脚视觉定位方法及装置 | |
| CN108053449A (zh) | 双目视觉系统的三维重建方法、装置及双目视觉系统 | |
| CN106041937A (zh) | 一种基于双目立体视觉的机械手抓取控制系统的控制方法 | |
| CN113450408A (zh) | 一种基于深度相机的非规则物体位姿估计方法及装置 | |
| CN108177143A (zh) | 一种基于激光视觉引导的机器人定位抓取方法及系统 | |
| CN112010024B (zh) | 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 | |
| CN103895042A (zh) | 一种基于视觉引导的工业机器人工件定位抓取方法及系统 | |
| CN110065068B (zh) | 一种基于逆向工程的机器人装配作业演示编程方法及装置 | |
| CN104626206A (zh) | 一种非结构环境下机器人作业的位姿信息测量方法 | |
| CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与系统 | |
| Momeni-k et al. | Height estimation from a single camera view | |
| CN105373130A (zh) | 基于立体建模的特种设备事故现场信息探测系统 | |
| CN206416179U (zh) | 一种基于双目视觉的运动目标跟踪定位与抓取系统 | |
| CN208092786U (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
| CN113701750A (zh) | 一种井下多传感器的融合定位系统 | |
| CN111399634B (zh) | 一种手势引导物体识别的方法及装置 | |
| CN115629066A (zh) | 一种基于视觉引导的面向自动配线的方法及装置 | |
| CN117325170A (zh) | 基于深度视觉导引机械臂抓取硬盘架的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170818 Termination date: 20180113 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |