CN2715931Y - 一种实现基于物体表面颜色的快速跟踪方法的装置 - Google Patents
一种实现基于物体表面颜色的快速跟踪方法的装置 Download PDFInfo
- Publication number
- CN2715931Y CN2715931Y CN 200420077773 CN200420077773U CN2715931Y CN 2715931 Y CN2715931 Y CN 2715931Y CN 200420077773 CN200420077773 CN 200420077773 CN 200420077773 U CN200420077773 U CN 200420077773U CN 2715931 Y CN2715931 Y CN 2715931Y
- Authority
- CN
- China
- Prior art keywords
- robot
- picture
- image
- computer
- card
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 11
- 210000000707 wrist Anatomy 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 7
- 239000004744 fabric Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Abstract
一种实现基于物体表面颜色的快速跟踪方法的装置,在计算机中安装图像采集卡,通过摄像机和图像采集卡,将运动物体的图像采集到计算机中。然后采用特定的图像处理算法,根据物体表面颜色块的特性,选取出需要的物体,给出物体图像的质心位置。将物体图像质心的位置与给定图像点位置的差作为反馈控制量,控制机器人运动,从而带动摄像机运动,实现对物体的快速跟踪。本实用新型图像处理方法简洁,速度快,独立成为一个单元,适应性强,移植性强。图像处理中采用了基于颜色信息的学习方法,对物体变化、环境光线的改变有很好的适应性。能够始终保持物体在摄像机的视野内。本实用新型适合于智能监控、工业产品自动检测、流水线视觉控制等领域。
Description
技术领域
本实用新型属于机器人领域中的视觉跟踪技术领域,具体地说是用于获得运动物体的表面图像,根据图像的颜色特征,选取出特定物体并实现快速跟踪的方法和装置。
背景技术
目前,在基于视觉的快速运动物体跟踪研究中,需要被跟踪的物体具有明显的颜色特征,所以,都采用在物体表面粘贴单一颜色色标的方法(其典型结构见“胡英、赵姝颖、徐心和,色标设计与辨识算法研究,中国图像图形学报,第7卷(A版),12期,2002年12月,1291~1295页”)。粘贴色标的方法有一定局限性,不能适用于智能监控、流水线零件跟踪等场合。
实用新型内容
本实用新型的目的是提供一种实现基于物体表面颜色的快速跟踪方法的装置,可适用于视觉跟踪的简单、快速、有效的图像处理方法。
为了实现上述目的,本实用新型的技术方案是提供一种实现基于物体表面颜色的快速跟踪方法的装置,包括机器人、机器人控制系统,视觉处理系统组成,其机器人控制系统由主控计算机和机器人控制器组成,视觉处理系统由摄像机、图像采集卡及图像处理计算机组成,其中,摄像机安装在机器人末端,摄像机输出端接图像采集卡,图像采集卡置于图像处理计算机内,机器人与机器人控制器电连接,机器人控制器与图像处理计算机分别和主计算机电连接。
所述的装置,其所述机器人为五自由度机器人,是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成,旋转手腕安装在直角坐标机器人垂直轴的末端,该旋转手腕上固接有摄像机;机器人由一台主控计算机和机器人控制器控制。
所述的装置,其所述图像采集卡及图像处理计算机,是选用PCI总线图象采集卡,将图像卡安装在主频为≥2.8G的通用PC机中,构成图像处理系统。
本实用新型的突出特点是摄像机不需要标定,不需要粘贴色标,能够对表面覆盖多种颜色的物体进行快速跟踪。
本实用新型图像处理方法简洁,速度快,效果好,独立成为一个单元,适应性强,移植性强。图像处理中采用了基于颜色信息的学习方法,对物体变化、环境光线的改变有很好的适应性。在不对摄像机进行标定的情况下,使用摄像机和图像采集卡,得到运动物体的图像,采用特别的图像处理算法,对物体表面的颜色特征和颜色块的面积进行学习,学习的结果作为运动物体跟踪过程中,识别物体和界定物体的标准。得到被跟踪物体的图像后,计算出图像质心位置c(uc,vc),以物体图像质心位置c(uc,vc)与图像中给定点s(us,vs)之间的像素差e,作为视觉反馈量,控制机器人带动摄像机运动,利用机器人的旋转关节跟踪运动物体,反映迅速,跟踪速度快,能够始终保持物体的图像在摄像机的视野内。本实用新型阐述的视觉处理方法,对环境光线的变化不敏感,而且适用于表面多种颜色覆盖的运动物体跟踪。
本实用新型适合于智能监控、工业产品自动检测、流水线视觉控制等领域。
附图说明
图1为本实用新型实现基于物体表面颜色的快速跟踪方法的装置的原理图;
图2为本实用新型基于物体表面颜色的快速跟踪方法对运动图像处理过程示意图。
具体实施方式
一种实现基于物体表面颜色的快速跟踪方法的装置,包括机器人、机器人控制系统,视觉处理系统组成,整体装置的原理如图1所示。机器人控制系统装置由主控计算机和机器人控制器组成,视觉处理系统由摄像机、图像采集卡,以及图像处理计算机组成。其中,本实用新型将摄像机安装在机器人末端,摄像机输出端接图像采集卡,图像采集卡置于图像处理计算机内,机器人与机器人控制器电连接,机器人控制器与图像处理计算机分别和主计算机电连接。
在图像处理算法中,采用在线学习的方法,在进行跟踪任务之前,经过图象采集卡,得到一幅数字化的RGB彩色图像。用户使用鼠标选择需要跟踪的物体的矩形区域。系统将选取的局部图像以BMP文件形式存储在计算机上,作为后面识别需要的阈值和对实时采集的图像进行分割的依据。将该局部彩色图像转化为HSV模型,对其H、S两个分量分别做直方图,得到选定区域的H、S阈值。在随后的实时图像识别中,该阈值作为物体分割的标准不会变化,直到用户重新进行学习。
这种学习过程的好处是在跟踪物体变化的情况下,无需对程序内部进行任何改动,每次当条件变化,比如光线发生明显变化,被跟踪物体变化的情况下,只要在跟踪前,拍摄一幅当前图片,用鼠标选中被跟踪物体就完成了学习的过程。
跟踪开始时,程序首先读取物体的区部图片BMP文件,对该BMP文件生成跟踪物体的HSV直方图以及阈值,图像卡以并行工作的方式实时采集图像,每幅图像都与该阈值进行比较,剔除背景,分割物体,找到物体的图像边缘和中心点。在被跟踪物体没有发生变化,光线也没有强烈变化的情况下,都不需要进行重新学习,直至跟踪过程完成。完整的处理过程如图2所示。
在运动物体跟踪时,机器人带动摄像机运动,使运动物体始终处于摄像机的视野范围内,这个过程中,物体图象识别的步骤如下:
第一步:首先将需要进行识别和跟踪的物体从背景中分离出来。背景即图像上静止不动的象素的集合,它不属于任何在摄像机前运动的物体。然后实时采集图像,对每一幅图像,经过与刚才计算出的HSV的阈值比较,将符合颜色范围的象素区域保留下来,其余部分作为背景剔除,分离出物体图像区域。这一步可能会分割出多个颜色相近的物体。
F(x,y)=1 (t1<=F(x,y)<=t2)
F(x,y)=0 (其它)
第二步:将已经分离出的物体图像区域二值化,生成二值化的黑白图像。对该二值图像滤波处理得到平滑的黑白图像。
第三步:用Canny算子锐化边缘,并用膨胀算法以达到去除小孔的效果。
第四步:使用边缘提取算法,得到物体的轮廓。
第五步:使用形状参数,确定图像区域的几何模型,剔除不符合被跟踪物体几何模型的像素区域,找到被跟踪物体图像的质心。形状参数F在一定程度上描述了区域的紧凑性,它是根据区域的周长B和区域的面积A计算出来的:
F=B*B/(4*PI*A)其中,形状参数对圆形区域取到最小值1,而当区域为其它形状时,F总大于1。在识别球状物体的时候,首先通过面积阈值将面积过小的噪音虑除。然后考虑F最接近1的区域,可以将图片中规则的圆与其它形状区别出来。如果需要识别的其它规则形状,比如正方形,可以通过正方形的特征得到正方形的F值接近于4/PI(=1.3)。
第六步:确定物体图像的质心后,根据物体质心的运动,控制机器人带动摄像机运动,将物体的图像始终保持在摄像机的视野内,跟踪该运动物体。
下面给出本实用新型的一个实例。实例中,将摄像机安装在一台五自由度的机器人末端,机器人是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成,旋转手腕安装在直角坐标机器人垂直轴的末端,机器人由一台主控制计算机和控制器控制。将一台工业用标准彩色摄像机固定在旋转手腕上,选用OK系列PCI总线图象采集卡,将图像卡安装在主频为2.8G的通用PC机中,构成图像处理系统。整个装置的工作原理如图1所示。
应用实例系统,在自然采光照射下,对一台遥控小汽车进行跟踪。遥控车表面为黄绿相间的颜色,前后车窗为黑色,使用本实用新型中描述的学习方法,在运动跟踪之前,进行学习,得到遥控车表面颜色的H、S阈值。使用遥控器控制小车运动,按照图2所示的流程,采用第一步到第六步的图像识别方法,实现了遥控小车的运动跟踪。
可见,本实用新型中的方法和装置,能够在摄像机无标定情况下,不需要粘贴色标,对表面颜色复杂的物体,实现快速视觉跟踪。
Claims (3)
1、一种实现基于物体表面颜色的快速跟踪方法的装置,包括机器人、机器人控制系统,视觉处理系统组成,其特征在于:机器人控制系统由主控计算机和机器人控制器组成,视觉处理系统由摄像机、图像采集卡及图像处理计算机组成,其中,摄像机安装在机器人末端,摄像机输出端接图像采集卡,图像采集卡置于图像处理计算机内,机器人与机器人控制器电连接,机器人控制器与图像处理计算机分别和主计算机电连接。
2、如权利要求1所述的装置,其特征在于:所述机器人为五自由度机器人,是由一个三自由度的直角坐标机器人和一个两自由度的旋转手腕组成,旋转手腕安装在直角坐标机器人垂直轴的末端,该旋转手腕上固接有摄像机;机器人由一台主控计算机和机器人控制器控制。
3、如权利要求1所述的装置,其特征在于:所述图像采集卡及图像处理计算机,是选用PCI总线图象采集卡,将图像卡安装在主频为≥2.8G的通用PC机中,构成图像处理系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200420077773 CN2715931Y (zh) | 2004-07-13 | 2004-07-13 | 一种实现基于物体表面颜色的快速跟踪方法的装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200420077773 CN2715931Y (zh) | 2004-07-13 | 2004-07-13 | 一种实现基于物体表面颜色的快速跟踪方法的装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN2715931Y true CN2715931Y (zh) | 2005-08-10 |
Family
ID=34874471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200420077773 Expired - Lifetime CN2715931Y (zh) | 2004-07-13 | 2004-07-13 | 一种实现基于物体表面颜色的快速跟踪方法的装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN2715931Y (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100393486C (zh) * | 2004-07-13 | 2008-06-11 | 中国科学院自动化研究所 | 一种基于物体表面颜色的快速跟踪方法 |
CN101872423A (zh) * | 2010-05-27 | 2010-10-27 | 天津大学 | 一种生产线上运动目标追踪方法 |
CN103608741A (zh) * | 2011-06-13 | 2014-02-26 | 微软公司 | 由移动机器人来追踪及跟随运动对象 |
CN105437768A (zh) * | 2015-09-13 | 2016-03-30 | 常州大学 | 基于机器视觉的智能艺术喷绘机器人 |
CN106096599A (zh) * | 2016-04-28 | 2016-11-09 | 浙江工业大学 | 一种基于涂色块的内部集卡定位方法 |
CN106227092A (zh) * | 2016-08-09 | 2016-12-14 | 大连理工大学 | 智能老人服务机器人 |
CN107110648A (zh) * | 2014-11-06 | 2017-08-29 | 金泰克斯公司 | 用于可视范围检测的系统和方法 |
CN110355765A (zh) * | 2019-05-27 | 2019-10-22 | 西安交通大学 | 一种基于视觉识别的自动跟随避障方法及机器人 |
CN114974001A (zh) * | 2022-06-13 | 2022-08-30 | 苏州金螳螂文化发展股份有限公司 | 一种机械手摇装置与显示屏组合展示的结构 |
-
2004
- 2004-07-13 CN CN 200420077773 patent/CN2715931Y/zh not_active Expired - Lifetime
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100393486C (zh) * | 2004-07-13 | 2008-06-11 | 中国科学院自动化研究所 | 一种基于物体表面颜色的快速跟踪方法 |
CN101872423A (zh) * | 2010-05-27 | 2010-10-27 | 天津大学 | 一种生产线上运动目标追踪方法 |
CN103608741A (zh) * | 2011-06-13 | 2014-02-26 | 微软公司 | 由移动机器人来追踪及跟随运动对象 |
CN107110648A (zh) * | 2014-11-06 | 2017-08-29 | 金泰克斯公司 | 用于可视范围检测的系统和方法 |
CN105437768A (zh) * | 2015-09-13 | 2016-03-30 | 常州大学 | 基于机器视觉的智能艺术喷绘机器人 |
CN106096599A (zh) * | 2016-04-28 | 2016-11-09 | 浙江工业大学 | 一种基于涂色块的内部集卡定位方法 |
CN106096599B (zh) * | 2016-04-28 | 2019-03-26 | 浙江工业大学 | 一种基于涂色块的内部集卡定位方法 |
CN106227092A (zh) * | 2016-08-09 | 2016-12-14 | 大连理工大学 | 智能老人服务机器人 |
CN106227092B (zh) * | 2016-08-09 | 2018-12-21 | 大连理工大学 | 智能老人服务机器人 |
CN110355765A (zh) * | 2019-05-27 | 2019-10-22 | 西安交通大学 | 一种基于视觉识别的自动跟随避障方法及机器人 |
CN114974001A (zh) * | 2022-06-13 | 2022-08-30 | 苏州金螳螂文化发展股份有限公司 | 一种机械手摇装置与显示屏组合展示的结构 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100393486C (zh) | 一种基于物体表面颜色的快速跟踪方法 | |
Malima et al. | A fast algorithm for vision-based hand gesture recognition for robot control | |
Zhou et al. | Moving vehicle detection for automatic traffic monitoring | |
CN100544446C (zh) | 用于视频监控的实时运动检测方法 | |
Hu et al. | Visual gesture recognition for human-machine interface of robot teleoperation | |
Xiao et al. | Moving shadow detection and removal for traffic sequences | |
CN111360780A (zh) | 一种基于视觉语义slam的垃圾捡拾机器人 | |
CN111402203A (zh) | 一种基于卷积神经网络的织物表面缺陷检测方法 | |
CN107038424A (zh) | 一种手势识别方法 | |
CN2715931Y (zh) | 一种实现基于物体表面颜色的快速跟踪方法的装置 | |
CN108257158A (zh) | 一种基于循环神经网络的目标预测与跟踪方法 | |
CN1417739A (zh) | 具有片内模式识别功能的cmos图像传感器 | |
CN104239886A (zh) | 基于图像分析的草坪与背景分界线的提取方法 | |
CN109117838A (zh) | 应用于无人船感知系统的目标检测方法及装置 | |
CN113643280B (zh) | 一种基于计算机视觉的板材分拣系统及方法 | |
CN107081765A (zh) | 一种变电站巡视机器人自主识别方法和一种巡视机器人 | |
CN108734172A (zh) | 基于直线边缘特征的目标识别方法、系统 | |
CN112926503A (zh) | 一种基于矩形拟合的抓取数据集自动生成方法 | |
CN110170456A (zh) | 基于图像处理的水果分拣装置 | |
CN112329646A (zh) | 一种基于手的质心坐标的手势运动方向识别方法 | |
Foresti | Object detection and tracking in time-varying and badly illuminated outdoor environments | |
Liu et al. | Effective road lane detection and tracking method using line segment detector | |
NOZ-SALINAS et al. | Door-detection using computer vision and fuzzy logic | |
Kiratiratanapruk et al. | Vehicle detection and tracking for traffic monitoring system | |
CN113319013A (zh) | 一种基于机器视觉的苹果智能分拣的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CX01 | Expiry of patent term |
Expiration termination date: 20140713 Granted publication date: 20050810 |