CN109740613B - 一种基于Feature-Shift和预测的视觉伺服控制方法 - Google Patents
一种基于Feature-Shift和预测的视觉伺服控制方法 Download PDFInfo
- Publication number
- CN109740613B CN109740613B CN201811326964.XA CN201811326964A CN109740613B CN 109740613 B CN109740613 B CN 109740613B CN 201811326964 A CN201811326964 A CN 201811326964A CN 109740613 B CN109740613 B CN 109740613B
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- workpiece
- features
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 230000005484 gravity Effects 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 20
- 230000008859 change Effects 0.000 abstract description 16
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000000605 extraction Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明公开了一种基于Feature‑Shift和预测的视觉伺服控制方法，包括：S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature‑Shift方法检测目标特征；S2、判断初始化是否成功，如果不成功则返回步骤S1，成功则进行步骤S3；S3、计算当前帧的K个特征的重心位置，预测目标状态；S4、读取下一帧的图像，调用Feature‑Shift方法检测目标特征，寻找初始帧的K个特征的匹配；S5、用找到匹配的若干特征，计算得到校正后的目标状态，作为该帧图像上目标的实际定位来驱动机械臂跟踪目标；S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪。本发明着力解决因工件发生偏转、远近大小变化、光照变化等情况下，目标检测存在误差进一步影响定位精度的问题。
Description
技术领域
本发明涉及伺服控技术领域，具体涉及一种基于Feature-Shift和预测的视觉伺服控制方法。
背景技术
基于机器视觉的分拣系统是指在获知工件类型以及工件传送位置的前提下，通过图像传感器对工件进行图像采集，根据预设分析程序，引导机械臂对其进行分拣。现阶段国内外学者正对基于机器视觉的自动分拣系统进行更深一步的研究，针对分拣速度、精确度、抗干扰度等方向对分拣系统做进一步完善。
按照自动分拣系统的工作流程将其依次分为三个组成部分：目标跟踪子系统、目标识别子系统、视觉伺服机构。其中目标跟踪子系统负责在图像上定位工件目标；目标识别子系统负责对定位的工件进行识别分类；视觉伺服技术则是最后驱动执行机构(机械臂)根据工件定位信息和分类信息对工件进行分拣操作。系统涉及的机器视觉技术主要是目标跟踪技术和目标识别技术。
对于自动分拣系统，首要任务是定位工件。直接使用目标检测技术从每帧图像上检测工件目标的方法(当然也属于目标跟踪的一类方法)，虽然容易操作和理解，但适用面窄，而且每帧图像都进行检测的计算量比较大。因此，实践中更多使用针对连续多帧图像的目标跟踪方法。这类方法充分利用目标运动信息，进行目标导向的图像分析，例如Mean-Shift方法，从而提高目标跟踪计算效率和精确度，也适用于多目标的跟踪(便于后续目标识别)。
根据需要跟踪的目标自身信息的不同以及跟踪环境的不同，目标跟踪的方法大致可以分为五类：基于对比度分析的方法、基于匹配的方法、预测跟踪的方法、运动检测的方法以及其他方法。
基于对比度分析的方法是在每一帧图像中根据目标图像与目标背景的差异来锁定目标，其根据参照点的不同，一般有边缘跟踪、形心跟踪和质心跟踪，此类算法适合背景图像较为简单的目标跟踪，属于基于目标检测的跟踪方法。
基于匹配的方法是在相邻两帧图像中根据特征的匹配从而确定目标图像，特征匹配一般因特征提取方法与特征的选择不同而分为多种方法。一般选择的特征有：外形轮廓、几何形状、特征点以及子空间特征。近几年来，经常被用到的特征提取算法有：SURF算法、KLT(Kanade-Lucas-Tomasi)算法、SIFT算法和Harris算法。而有些目标的特征经常是随目标运动而变化的，为此一般用直方图统计的方法对目标特征进行描述，常用到的有边缘方向直方图和彩色直方图。
预测跟踪的方法，相比于传统的特征匹配方法，其具有一定的预测性。即跟踪目标在运动时，可以通过该方法比较准确的预测目标下一时刻到达的位置。这类方法目前比较流行，主要可以分为两类，即贝叶斯滤波跟踪方法和基于核的跟踪方法。对于前者，主要包括卡尔曼滤波(Kalman Filter，KF)方法及其变形。KF能够预估目标运动的位置，从而特征匹配只需在预估位置进行特征提取，减少了一定的工作量与检测时间。至于核方法，其直接对跟踪目标的相似概率密度函数进行连续估计，具有代表性的是Mean-shift方法。Mean-shift跟踪算法将数据点按其矢量方向收敛于一个概率密度极值点，能够稳定的定位目标位置，但是对于运动较快的目标会失效，之后又有多核跟踪算法与最优核平移算法等对其进行完善。
运动检测的方法不是对单帧的图像进行目标定位，而是根据目标与背景运动的方向不同来锁定目标。只需将图像划分为目标区域与非目标区域，该方法可用于多目标的检测与跟踪。传统的运动检测方法有三种：光流法、帧间差分法和背景减除法。
其他方法。我们常用的一般是对单目标的跟踪，生产应用中常常会遇到需要对多个目标进行跟踪的问题。对于多目标跟踪，主要算法有概率数据关联与联合概率数据关联，主要是根据多个特征来检测目标的相似度，从而可以对不同目标进行编号，即不同目标拥有不同的特征检测标准。除此之外还存在另一种多目标跟踪的方法，即随机集滤波和有限集统计算法，该算法相比于前者可以有效的解决目标数量增减的问题。
目标定位后，需要进一步识别工件，以便确定操作策略。当然，工件定位和识别工作也可以同步并行完成。在得到工件定位信息和操作策略后，驱动执行机构(机械臂)完成抓取(或吸附等)分拣动作。当然，这其中需要将工件定位信息从图像坐标空间转换到机械臂的坐标空间。
Kalman滤波和Mean-Shift算法是两种业内广泛使用，并且比较有效的目标跟踪算法，大多应用在视频监控的运动目标跟踪环境中。文献【刘振宇,赵彬等.Mean-Shift和Kalman算法在工件分拣技术中的应用[J].仪器仪表学报,2012,33(12):2796-2802】针对生产线上动态工件的跟踪分拣问题，提出了一种Kalman预测目标和Mean-Shift搜索目标综合应用的跟踪算法，实现了对履带上工件的动态跟踪。该算法首先利用Kalman滤波估计出后续运动目标的位置、速度和匹配范围，然后使用基于HSV色彩空间融合的Mean-Shift算法进行小范围搜索和目标匹配，最后将Mean-Shift算法得到的目标位置作为下一帧Kalman滤波器的输入参数使得后续状态具有预测的能力，迭代执行，直至搜索到目标为止。
为了跟踪算法的简化，做如下要求:1)履带匀速运动；2)为了避免抓取干涉和碰撞，机械工件离散放置，并且有足够间隙；3)同类别工件不相邻放置，有助于检验算法的可靠性和准确性；4)目前仅限于处理几何形状规则的机械工件。
由于HSV色彩空间对目标亮度变化具有不敏感性，该方法采用的Mean-Shift跟踪算法是以HSV颜色直方图作为目标的特征。
该方法选取的核函数窗口是Uniform核函数，表示如下：
该算法工作过程是首先在第一帧中指定核窗口大小(h)的目标区域，并计算该区域的H(hue,色调)颜色直方图作为特征。使用Kalman滤波器估计出运动目标在下一帧中最可能出现的位置，在下一帧图像到来时，在预测的候选目标位置，进行最小范围搜索。搜索(跟踪)实际上就是要寻找出在图像的候选位置附近到底哪个位置才能使得候选位置目标特征与目标本身特征最匹配。匹配判断需要计算核函数窗口内图像的H颜色直方图，并基于Bhattacharyya系数定义相似度量函数。在找到匹配程度最好的位置以后，将其作为Kalman滤波的测量值，校正候选目标位置，从而可以获得更好的跟踪效果。
Mean-Shift算法是一种半自动快速跟踪的基于密度梯度的无参数估计算法，具有效率高、快速模式匹配等优点。但当背景和目标的颜色相同或者接近时，背景会对该算法产生较大的干扰甚至使算法失效。目标快速移动超过核窗口大小时，该算法也会失效。
Kalman滤波器是一种迭代预测，有预测目标位置的能力，然而当目标形状大小变化时，目标检测本身误差较大会造成目标跟踪失败。
将Kalman预测目标和Mean-Shift方法结合是一种有益的尝试，但该方法同样不能解决目标偏转、远近尺度变化等问题，而且Mean-Shift的搜索效率不高。
发明内容
本发明提供一种基于Feature-Shift和预测的视觉伺服控制方法，着力解决因工件发生偏转、远近大小变化、光照变化等情况下，目标检测存在误差进一步影响定位精度的问题；以及利用运动信息预测进而快速定位工件的方法中，无法适应快速运动目标的问题。
为解决上述技术问题，本发明采用了如下的技术方案：
一种基于Feature-Shift和预测的视觉伺服控制方法，包括以下步骤：
S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征，并取前K个特征作为代表目标的显著特征，确定目标区域，作为初始目标位置，同时初始化目标运动的速度；
S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；
S3、针对当前帧的K个特征，计算其重心位置，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态；
S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置，在此新区域内，调用Feature-Shift方法检测目标特征，取前K个特征作为代表目标的显著特征，寻找初始帧的K个特征的匹配；
S5、用找到匹配的若干特征，计算其重心位置，作为目标的观测结果，将此观测传入Kalman滤波器，计算得到校正后的目标状态，根据此坐标，转换为距离，并用其更新目标位置，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；
S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态，执行步骤S4。
进一步地，在步骤S1中，以工件落到传送带的时刻所采集的图像作为第一帧，以无工件的传送带图像作为模板，运用帧差法从第一帧图像中检测到工件的粗轮廓，以工件轮廓为边界向外延十六像素，从而产生工件目标区域，再通过Feature-Shift方法检测目标特征。
进一步地，在步骤S1中Feature-Shift方法检测目标特征的具体步骤如下：
S11、建立多尺度特征空间，形成一个中心级和至少两个边缘级；
S12、计算灰度对比图，用G(c，s)表示，计算公式为：
其中，G代表灰度值，
是级间对比度算子，定义为：
其中，Gij(c)代表中心级图像的坐标为i,j像素点的灰度特征值，Gm(c)代表中心级图像的灰度特征的均值，Gij(s)、Gm(s)分别代表边缘级图像的灰度特征值与均值；
S13、计算纹理对比度；
首先计算图像上每点的梯度方向θ，计算公式为：
其中，Gij代表坐标为i,j像素点的灰度值；
然后以每点为中心，统计八邻域的梯度方向，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T，再计算级间纹理对比度，可以产生两张子图，计算公式为：
T(c，s)＝T(c)-T(s)；
其中，T(c)代表中心级图像的梯度方向纹理图，T(s)代表边缘级图像的梯度方向纹理图；
S14、综合四张对比子图，形成显著性指示图S，再在显著性指示图S上取前K个显著点，并以该点的灰度归一值和梯度主方向作为该点的显著特征表示。
进一步地，在步骤S3中，计算K个特征的重心位置的具体计算公式为：
px表示重心位置的横坐标，py表示重心位置的纵坐标；pkx表示第k个特征点的横坐标，pky表示第k个特征点的纵坐标。
进一步地，在步骤S4中，寻找初始帧的K个特征的匹配方法为：
根据K个特征的表示值，在第二帧的候选区域搜索是否存在匹配的特征点，匹配计算为：
其中，Y代表第二帧的像素，X代表第一帧的像素，并设置合理的阈值作为判断依据。
进一步地，在步骤S3和S6中采用Kalman滤波器预测目标状态的具体方法为：
首先、工件随着传送带运动方程如下：
xt+1＝xt+vxt，yt+1＝yt+vyt；
其中，x，y分别表示工件在图像坐标系中的横纵坐标，v代表速度，t代表时间；
其次，设状态向量X为(x，y，vx，vy)，则可以列出时间离散情况下的系统状态方程为；
其中，ω是系统噪声，设其符合高斯分布；
系统的观测方程为：
其中，τ是观测噪声，设其符合高斯分布；
最后，预测过程计算公式为：
其中，
为根据状态方程计算的k时刻的状态估计值，Xk-1为k-1时刻的状态，AT是系统状态方程的系数矩阵A的转秩矩阵，Pk-1为k-1时刻的协方差矩阵，/>
是估计的k时刻的协方差矩阵，Q是噪声ω的方差。
进一步地，在步骤S5中计算得到校正后的目标状态的具体计算方法为：
其中，Kk为Kalman增益，R是噪声τ的方差，Zr是实际观测到的工件位置，
即校正后的工件位置，HT是观测方程的系数矩阵H的转秩矩阵，/>
是估计的k时刻的协方差矩阵，Pk是校正后的k时刻的协方差矩阵。
进一步地，在步骤S1中，如果目标运动的速度未知则设置速度为零。
本发明的有益效果是：
1、本发明提供了基于特征的Feature-Shift方法，能够容忍工件目标发生偏转、远近大小变化和光照变化情况，提高目标检测和定位的精度；
2、本发明引入Kalman滤波器结合Feature-Shift方法，为寻找目标区域提供有效的导引信息，有效加快了目标跟踪的速度，能够适用于有一定快速要求的自动分拣系统；
3、本发明提出了快速显著特征提取方法，与传统特征提取方法相比计算量小，工件代表性好，并且具有良好的视觉不变性。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明提供的基于Feature-Shift和预测的视觉伺服控制方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
本发明的方法适用于全局摄像头监视下的工件分拣和传送带自动分拣情况，摄像头固定在工作场所(包括传送带)的上方。
如图1所示，本发明提供一种基于Feature-Shift和预测的视觉伺服控制方法，主要技术包括快速两级局部显著特征提取方法、基于Feature-Shift的目标跟踪方法以及基于Kalman滤波器的带预测跟踪定位方法。
一、快速两级局部显著特征提取方法
本发明根据注意力机制设计了从局部图像中提取显著特征的方法，并进行了算法优化，大大提高了实时性。具体方法步骤如下：
(1)从工件落到传送带作为连续图像的第一帧，是后续跟踪的基础。以无工件的传送带图像作为模板，运用帧差法从第一帧图像中检测到工件的粗轮廓。
(2)以工件轮廓为边界向外延16像素，从而产生工件目标区域(局部图像)。以下运用center-surround算子(中心-周围差算子)，从此目标图像上提取显著特征。
a.建立多尺度特征空间。针对转化为灰度图的目标图像，首先用高斯低通滤波器滤除噪声，输出作为第1级子图。在此基础上采样生成3级特征空间子图，各级图像大小依次为1:1(Scale1)、1:4(Scale2)、1:16(Scale3)。取Scale1为中心级，即center(简称c)＝{Scale1}；取Scale2、3为边缘级，即surround(简称s)＝{Scale2,Scale3}。
b.计算灰度对比图，用G(c，s)表示，可以产生两张子图。计算公式为：
其中，G代表灰度值，
是级间对比度算子，定义为：
其中，Gij(c)代表Center级图像的每一像素点(i，j为像素点坐标)的灰度特征值，Gm(c)代表Center级图像的灰度特征的均值，Gij(s)、Gm(s)分别代表Surround级图像的灰度特征值与均值。
c.计算纹理对比度。采用基于梯度方向的纹理计算方法，具体步骤如下：首先计算图像上每点的梯度方向θ，计算公式为：
其中，Gij代表某一像素点(坐标为i,j)的灰度值。然后以每点为中心，统计8邻域的梯度方向(按0，45，90，135，180，225，270，315度共8个方向桶进行统计)，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T。然后计算级间纹理对比度，可以产生两张子图。计算公式为：
T(c,s)＝T(c)-T(s)；
其中，T(c)代表Center级图像的梯度方向纹理图，T(s)代表Surround级图像的梯度方向纹理图。
d.综合4张对比子图，形成显著性指示图S。综合时，首先对子图进行一次低通滤波，然后进行对比度归一化(0-1的范围内)，最后将4张子图对应像素点的值求和再归一化，形成了显著性指示图S。S上的某像素点的值越大，表示该像素点在原图上越显著。将这些显著点按显著性排序，取前K个显著点。以该点的灰度归一值(normalized gray,NG)和梯度主方向(main orientation of gradient,MOG)作为该点的显著特征表示。
这样，从工件目标区域(局部图像)中总共检测出K个显著特征，用于代表工件目标。
两级局部显著特征提取算法优势：
a.按上述方法计算出的显著特征，能够抵抗光线变化、图像旋转和远近变化，具有较好的光照、旋转、尺度不变性。
b.首先采用帧差法粗定位工件轮廓再进行特征提取的方法，极大降低了显著性计算的计算量，使计算速度可以达到毫秒级。
c.若干算法优化，例如进行级间灰度对比度计算时，可以先进行所有像素灰度求和，再进行一次差和一次除法，可以提高计算速度。
二、基于Feature-Shift的目标跟踪方法
在上述特征(feature)提取的基础上，本方案还提出一种Feature-Shift的目标跟踪方法。
与Mean-Shift方法相比，本方法不需要指定候选图像区域(核窗口)大小，跟踪计算仅局限于若干特征，极大降低计算量。具体计算过程如下：
(1)如前所述，从第一帧中提取出特征(包括特征位置和特征表示)后，计算K个特征的重心位置，计算公式为：
(这里，px表示重心位置的横坐标，py表示重心位置的纵坐标；pkx表示第k个特征点的横坐标，pky表示第k个特征点的纵坐标)。然后以此位置为中心，参照第一帧图像中工件目标区域大小，在第二帧中选定一个候选工件目标区域(简称为候选区域)。
(2)根据K个特征的表示值(灰度归一值和梯度主方向)，在第二帧的候选区域搜索是否存在匹配的特征点。匹配计算采用简单的欧式距离公式，即
其中，Y代表第二帧的像素，X代表第一帧的像素，同时设置合理的阈值作为判断依据。
(3)由于第二帧图像上目标随着传送带运动而发生了位置偏移，因此找到的匹配点已不同于原位置。计算K个匹配点的重心，以得到新的候选图像区域。在后续帧上，针对新的候选图像区域，重复上述步骤。
(4)若两次计算的重心位置变化低于给定阈值，则认为跟踪到了目标。根据第二帧计算出的特征重心位置和第一帧的特征中心位置，得出偏移距离。从而，计算得出当前情况下的工件目标区域。
与Mean-Shift方法相比，本方法计算量小，计算速度快，不受工件目标偏转、远近大小和光照变化影响。
与Mean-Shift方法类似，若工件目标移动速度过快，已经超出了候选区域范围，则本方法失效。因此，本发明引入了Kalman滤波器来克服此局限。
三、基于Kalman滤波器的带预测跟踪定位方法
在不考虑上述Mean-Shift或Feature-Shift进行目标跟踪的情况下，单纯依赖每帧图像上进行目标检测来定位工件的话，由于检测结果的不稳定，可能造成分拣抓取机械臂的摆动。为解决此问题，很多研究引入了Kalman滤波来进行位置预测和校正。本发明中也引入了此方法。
由于工件随传送带运动，一般属于匀速运动，因此可以列出运动方程如下：
xt+1＝xt+vxt，yt+1＝yt+vyt；
这里，x，y分别表示工件在图像坐标系中的横纵坐标，v代表速度，t代表时间(单位时间处理时该值为1)。
可见，该运动方程为线性方程，可以直接采用Kalman滤波器方法。
设状态向量X为(x，y，vx，vy)，则可以列出时间离散情况下的系统状态方程为：
其中，ω是系统噪声，设其符合高斯分布。
系统的观测方程为：
其中，τ是观测噪声，设其符合高斯分布。
按照Kalman滤波器的工作原理，首先利用状态方程预测(估计)工件的位置，然后再利用实际观测值校正出更准确的位置。具体计算过程如下：
a.预测(估计)过程
其中，
为根据状态方程计算的k时刻的状态估计值，Xk-1为k-1时刻的状态，AT是系统状态方程的系数矩阵A的转秩矩阵，Pk-1为k-1时刻的协方差矩阵，/>
是估计的k时刻的协方差矩阵，Q是噪声ω的方差。
b.校正(更新)过程
其中，Kk为Kalman增益，R是噪声τ的方差，Zr是实际观测到的工件位置，
即校正后的工件位置，HT是观测方程的系数矩阵H的转秩矩阵，/>
是估计的k时刻的协方差矩阵，Pk是校正后的k时刻的协方差矩阵。
虽然经过校正后的工件位置依然是估计值，但是与仅通过目标检测确定的位置相比更接近真实值，所以具有较好的定位精度。
Kalman滤波器通过预测和校正，对目标检测的不准确进行一定程度的弥补。但如果目标发生了偏转、形状大小变化等情况，单纯的目标检测出现较大偏差，Kalman滤波器也无能为力。Feature-Shift方法通过特征检测和跟踪，能够克服目标偏转、光照和远近大小变化等引起的目标检测误差。但Feature-Shift方法要求目标运动不能过快，否则无法确定下次迭代的偏移区域。本发明综合了上述两种方法的优点，提出一种结合Feature-Shift和预测的视觉伺服控制方法。首先进行不变性特征检测，然后利用Kalman滤波器预测特征在后续帧的位置(即使运动速度快也没关系)，再进行特征匹配和定位。结合图1，详细计算过程如下：
S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征(取前K个特征作为代表目标的显著特征)，确定目标区域，作为初始目标位置。同时，初始化目标运动(传送带运动)的速度，如果目标运动的速度未知则设置速度为零；
S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；
S3、针对当前帧的K个特征(所在位置)，计算其重心位置(坐标)，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态(新位置坐标)；
S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置(图像区域)，在此新区域内，调用Feature-Shift方法检测目标特征(取前K个特征作为代表目标的显著特征)，寻找初始帧的K个特征的匹配；
S5、用找到匹配的若干特征，计算其重心位置(坐标)，作为目标的观测结果，将此观测传入Kalman滤波器(即Zr)，计算得到校正后的目标状态(新位置坐标)，根据此坐标，转换为距离，并用其更新目标位置(图像区域)，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；
S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态(新位置坐标)作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态(新位置坐标)，执行步骤S4。
通过以上实施例，本发明具有以下优点：
本发明提出了基于特征的Feature-Shift方法，能够容忍工件目标发生偏转、远近大小变化和光照变化情况，提高目标检测和定位的精度。
本发明引入Kalman滤波器结合Feature-Shift方法，为寻找目标区域提供有效的导引信息，有效加快了目标跟踪的速度，能够适用于有一定快速要求的自动分拣系统。
提出了快速显著特征提取方法，与传统特征提取方法相比计算量小，工件代表性好，并且具有良好的视觉不变性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，包括以下步骤：
S1、以工件落到传送带的时刻所采集的图像作为第一帧，调用Feature-Shift方法检测目标特征，并取前K个特征作为代表目标的显著特征，确定目标区域，作为初始目标位置，同时初始化目标运动的速度；
S2、判断初始化是否成功，如果不成功则返回步骤S1调节Feature-Shift方法的参数，成功则进行步骤S3；
S3、针对当前帧的K个特征，计算其重心位置，将此坐标作为当前目标状态和运动参数一起传入Kalman滤波器，预测目标状态；
S4、读取下一帧的图像，根据步骤S3预测得到的坐标，转换为距离，并用其更新目标位置，在此新区域内，调用Feature-Shift方法检测目标特征，取前K个特征作为代表目标的显著特征，寻找初始帧的K个特征的匹配；
S5、用找到匹配的若干特征，计算其重心位置，作为目标的观测结果，将此观测传入Kalman滤波器，计算得到校正后的目标状态，根据此坐标，转换为距离，并用其更新目标位置，作为该帧图像上目标的实际定位，再将此定位信息传入伺服控制机构，驱动机械臂跟踪目标；
S6、若执行工件目标抓取，则跟踪结束，否则，继续进行跟踪，将校正后的目标状态作为当前状态，和运动参数一起传入Kalman滤波器，预测下一帧的目标状态，执行步骤S4；
在步骤S1中Feature-Shift方法检测目标特征的具体步骤如下：
S11、建立多尺度特征空间，形成一个中心级和至少两个边缘级；
S12、计算灰度对比图，用G(c，s)表示，计算公式为：
其中，G代表灰度值，
是级间对比度算子，定义为：
其中，Gij(c)代表中心级图像的坐标为i,j像素点的灰度特征值，Gm(c)代表中心级图像的灰度特征的均值，Gij(s)、Gm(s)分别代表边缘级图像的灰度特征值与均值；
S13、计算纹理对比度；
首先计算图像上每点的梯度方向θ，计算公式为：
其中，Gij代表坐标为i,j像素点的灰度值；
然后以每点为中心，统计八邻域的梯度方向，并取统计值最高的方向作为每个像素点的主方向，形成梯度方向纹理图T，再计算级间纹理对比度，可以产生两张子图，计算公式为：
T(c，s)＝T(c)-T(s)；
其中，T(c)代表中心级图像的梯度方向纹理图，T(s)代表边缘级图像的梯度方向纹理图；
S14、综合四张对比子图，形成显著性指示图S，再在显著性指示图S上取前K个显著点，并以该点的灰度归一值和梯度主方向作为该点的显著特征表示。
2.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S1中，以工件落到传送带的时刻所采集的图像作为第一帧，以无工件的传送带图像作为模板，运用帧差法从第一帧图像中检测到工件的粗轮廓，以工件轮廓为边界向外延十六像素，从而产生工件目标区域，再通过Feature-Shift方法检测目标特征。
3.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S3中，计算K个特征的重心位置的具体计算公式为：
px表示重心位置的横坐标，py表示重心位置的纵坐标；pkx表示第k个特征点的横坐标，pky表示第k个特征点的纵坐标。
4.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S4中，寻找初始帧的K个特征的匹配方法为：
根据K个特征的表示值，在第二帧的候选区域搜索是否存在匹配的特征点，匹配计算为：
其中，Y代表第二帧的像素，X代表第一帧的像素，并设置合理的阈值作为判断依据。
5.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S3和S6中采用Kalman滤波器预测目标状态的具体方法为：
首先、工件随着传送带运动方程如下：
xt+1＝xt+vxt，yt+1＝yt+vyt；其中，
x，y分别表示工件在图像坐标系中的横纵坐标，v代表速度，t代表时间；其次，设状态向量X为(x，y，vx，vy)，则可以列出时间离散情况下的系统状态方程为；
其中，ω是系统噪声，设其符合高斯分布；
系统的观测方程为：
其中，τ是观测噪声，设其符合高斯分布；
最后，预测过程计算公式为：
其中，
为根据状态方程计算的k时刻的状态估计值，Xk-1为k-1时刻的状态，AT是系统状态方程的系数矩阵A的转秩矩阵，Pk-1为k-1时刻的协方差矩阵，/>
是估计的k时刻的协方差矩阵，Q是噪声ω的方差。
6.根据权利要求5所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S5中计算得到校正后的目标状态的具体计算方法为：
其中，Kk为Kalman增益，R是噪声τ的方差，Zr是实际观测到的工件位置，
即校正后的工件位置，HT是观测方程的系数矩阵H的转秩矩阵，/>
是估计的k时刻的协方差矩阵，Pk是校正后的k时刻的协方差矩阵。
7.根据权利要求1所述的基于Feature-Shift和预测的视觉伺服控制方法，其特征在于，在步骤S1中，如果目标运动的速度未知则设置速度为零。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811326964.XA CN109740613B (zh) | 2018-11-08 | 2018-11-08 | 一种基于Feature-Shift和预测的视觉伺服控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811326964.XA CN109740613B (zh) | 2018-11-08 | 2018-11-08 | 一种基于Feature-Shift和预测的视觉伺服控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109740613A CN109740613A (zh) | 2019-05-10 |
| CN109740613B true CN109740613B (zh) | 2023-05-23 |
Family
ID=66355590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811326964.XA Active CN109740613B (zh) | 2018-11-08 | 2018-11-08 | 一种基于Feature-Shift和预测的视觉伺服控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740613B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443267B (zh) * | 2019-05-28 | 2022-08-09 | 浙江大华技术股份有限公司 | 误检过滤方法、装置、拍摄装置及存储介质 |
| CN110728655A (zh) * | 2019-09-06 | 2020-01-24 | 重庆东渝中能实业有限公司 | 基于机器视觉的数控机床工件异常检测方法及装置 |
| CN111191650B (zh) * | 2019-12-30 | 2023-07-21 | 北京市新技术应用研究所 | 基于rgb-d图像视觉显著性的物品定位方法与系统 |
| CN116069801B (zh) * | 2023-03-06 | 2023-06-30 | 山东华夏高科信息股份有限公司 | 一种交通视频结构化数据生成方法、装置及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007265389A (ja) * | 2006-03-03 | 2007-10-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
| CN101650829A (zh) * | 2009-09-11 | 2010-02-17 | 天津大学 | 一种基于灰度约束的协方差矩阵跟踪方法 |
| CN101888479A (zh) * | 2009-05-14 | 2010-11-17 | 汉王科技股份有限公司 | 检测和跟踪目标图像的方法及装置 |
| CN101916446A (zh) * | 2010-07-23 | 2010-12-15 | 北京航空航天大学 | 基于边缘信息和均值移位的灰度目标跟踪算法 |
| CN103456029A (zh) * | 2013-09-03 | 2013-12-18 | 中国民航大学 | 一种抗相似颜色和光照变化干扰的Mean Shift跟踪方法 |
| CN103824305A (zh) * | 2014-03-17 | 2014-05-28 | 天津工业大学 | 一种改进的Meanshift目标跟踪方法 |
| CN104036524A (zh) * | 2014-06-18 | 2014-09-10 | 哈尔滨工程大学 | 一种改进sift算法的快速目标跟踪方法 |
| CN104992451A (zh) * | 2015-06-25 | 2015-10-21 | 河海大学 | 一种改进的目标跟踪方法 |
| CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036920B2 (en) * | 2010-10-08 | 2015-05-19 | Industrial Technology Research Institute | Method of detecting feature points of an object in a system for motion detection |
-
2018
- 2018-11-08 CN CN201811326964.XA patent/CN109740613B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007265389A (ja) * | 2006-03-03 | 2007-10-11 | Fuji Xerox Co Ltd | 画像処理装置および画像処理プログラム |
| CN101888479A (zh) * | 2009-05-14 | 2010-11-17 | 汉王科技股份有限公司 | 检测和跟踪目标图像的方法及装置 |
| CN101650829A (zh) * | 2009-09-11 | 2010-02-17 | 天津大学 | 一种基于灰度约束的协方差矩阵跟踪方法 |
| CN101916446A (zh) * | 2010-07-23 | 2010-12-15 | 北京航空航天大学 | 基于边缘信息和均值移位的灰度目标跟踪算法 |
| CN103456029A (zh) * | 2013-09-03 | 2013-12-18 | 中国民航大学 | 一种抗相似颜色和光照变化干扰的Mean Shift跟踪方法 |
| CN103824305A (zh) * | 2014-03-17 | 2014-05-28 | 天津工业大学 | 一种改进的Meanshift目标跟踪方法 |
| CN104036524A (zh) * | 2014-06-18 | 2014-09-10 | 哈尔滨工程大学 | 一种改进sift算法的快速目标跟踪方法 |
| CN104992451A (zh) * | 2015-06-25 | 2015-10-21 | 河海大学 | 一种改进的目标跟踪方法 |
| CN106709472A (zh) * | 2017-01-17 | 2017-05-24 | 湖南优象科技有限公司 | 一种基于光流特征的视频目标检测与跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109740613A (zh) | 2019-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740613B (zh) | 一种基于Feature-Shift和预测的视觉伺服控制方法 | |
| CN111241931B (zh) | 一种基于YOLOv3的空中无人机目标识别和跟踪方法 | |
| CN109434251B (zh) | 一种基于粒子滤波的焊缝图像跟踪方法 | |
| EP3427186A1 (en) | Systems and methods for normalizing an image | |
| CN110610150B (zh) | 一种目标运动物体的跟踪方法、装置、计算设备和介质 | |
| Sui et al. | Sum: Sequential scene understanding and manipulation | |
| CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
| CN107220601B (zh) | 一种基于在线置信度判别的目标抓捕点预测方法 | |
| CN110766719A (zh) | 一种目标跟踪方法、设备及存储介质 | |
| JP5262705B2 (ja) | 運動推定装置及びプログラム | |
| Saito et al. | People detection and tracking from fish-eye image based on probabilistic appearance model | |
| Kim et al. | Dynamic object recognition using precise location detection and ANN for robot manipulator | |
| CN113822810A (zh) | 一种基于机器视觉的三维空间中工件的定位方法 | |
| CN107292908A (zh) | 基于klt特征点跟踪算法的行人跟踪方法 | |
| Fan et al. | Visual localization using semantic segmentation and depth prediction | |
| CN113469195B (zh) | 一种基于自适应颜色快速点特征直方图的目标识别方法 | |
| Schmid et al. | Features for Ground Texture Based Localization--A Survey | |
| Han et al. | Shape context based object recognition and tracking in structured underwater environment | |
| CN115830018B (zh) | 基于深度学习与双目视觉的碳素块检测方法及系统 | |
| Timotheatos et al. | Vision based horizon detection for UAV navigation | |
| CN115144828B (zh) | 一种智能汽车多传感器时空融合的自动在线标定方法 | |
| CN111240195A (zh) | 基于机器视觉的自动控制模型训练、目标物回收方法及装置 | |
| Fontana et al. | A comparative assessment of parcel box detection algorithms for industrial applications | |
| Martins et al. | Real-time generic ball recognition in RoboCup domain | |
| Feichtenhofer et al. | Spatio-temporal good features to track |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city of Shenzhen province Baoan District Xixiang Shu Road No. 108 is on the eighth floor of Kitron Applicant after: Shenzhen Huacheng Industrial Control Co.,Ltd. Address before: 518000 Guangdong city of Shenzhen province Baoan District Xixiang Shu Road No. 108 is on the eighth floor of Kitron Applicant before: SHENZHEN HUACHENG INDUSTRIAL CONTROL Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |