CN108122013A - 一种跟随运动中排除非跟随目标的方法 - Google Patents
一种跟随运动中排除非跟随目标的方法 Download PDFInfo
- Publication number
- CN108122013A CN108122013A CN201711483316.0A CN201711483316A CN108122013A CN 108122013 A CN108122013 A CN 108122013A CN 201711483316 A CN201711483316 A CN 201711483316A CN 108122013 A CN108122013 A CN 108122013A
- Authority
- CN
- China
- Prior art keywords
- target
- mrow
- following
- msub
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 238000002360 preparation method Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000007795 chemical reaction product Substances 0.000 abstract 1
- 239000000047 product Substances 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种跟随运动中排除非跟随目标的方法，包括以下步骤：(21)根据预设的轮廓数值条件(n1,n2,…ni…nn)，对(n1,n2,…ni…nn)取交集，对不属于交集{Ni}的目标进行排除；得到目标集{Xi}；(22)判断排除后的目标集{Xi}中元素是否唯一，如是，则确定该唯一目标为跟随目标；如不是，则计算目标的所有条件值，并且将每个条件分配权重，得到权重(p1,p2,…pi…pn)，根据权重按照下列公式计算目标轮廓的概率：本发明提供了一种能够快速排除干扰的方法，使机器人在检测到有多个目标时，准确识别出跟随目标，排除其他干扰，提高终端产品的准确性和稳定性，提高产品质量和用户体验感。
Description
技术领域
本发明涉及机器人技术领域，特别是涉及一种跟随运动中排除非跟随目标的方法。
背景技术
随着机器人智能化发展，机器人识别跟随越来越受到关注，目标跟随由于其使用方便，适合人们生活习惯而经常在机器人跟随技术中得到应用，但是机器人在跟随运动中，由于环境原因可能存在跟随目标外的干扰，现有技术中，缺少一种能够快速排除干扰的方法，使机器人在检测到有多个目标时，准确识别出跟随目标，排除其他干扰。
因此本领域技术人员致力于开发一种能够快速排除干扰的方法，使机器人在检测到有多个目标时，准确识别出跟随目标，排除其他干扰。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够快速排除干扰的方法，使机器人在检测到有多个目标时，准确识别出跟随目标，排除其他干扰。
为实现上述目的，本发明提供了一种跟随运动中排除非跟随目标的方法，其特征是：包括以下步骤：
(21)根据预设的轮廓数值条件(n1,n2,…ni…nn)，对(n1,n2,…ni…nn)取交集，对不属于交集{Ni}的目标进行排除；得到目标集{Xi}；
(22)判断排除后的目标集{Xi}中元素是否唯一，如是，则确定该唯一目标为跟随目标；
如不是，则计算目标的所有条件值，并且将每个条件分配权重，得到权重(p1,p2,…pi…pn)，根据权重按照下列公式计算目标轮廓的概率：
其中，Px表示步骤(22)中目标x的概率；
pi表示第i个条件的权重；
fx(ni)表示目标x在第n个条件下的条件值；x越符合条件，fx(ni)越大；
(23)计算符合步骤(22)的每个目标的概率值，并按照大小进行排序，选取最大概率值的目标作为跟随目标。
较优的，本方法还包括以下步骤：
(24)跟随运动过程中，按照卡尔曼滤波算法进行对目标位置进行预测；
(25)结合预测位置进行目标和目标轮廓进行相似性判断，根据相似度和位置进行评价，验证该目标为跟随目标。
较优的，所述步骤(24)中，按照以下公式实现目标检测：
其中，按照下列公式预测目标位置：
xk＝(2xk-1-xk-2)+Kgk(2xk-1-xk-2-VkxΔt)
Kgk＝σk 2/σk 2+C2
Δμk-1＝(1-Kgk-1)σk-1 2/2
yk＝(2yk-1-yk-2)+Kgk(2yk-1-yk-2-VkyΔt)
Kgk＝σk 2/σk 2+C2
Δμk-1＝(1-Kgk-1)σk-1 2/2
其中，xk为在K状态下目标预测的x轴坐标；
xk-1为在K-1状态下目标实际x轴坐标；
xk-2为在K-2状态下目标实际x轴坐标；
yk为在K状态下目标预测的y轴坐标；
yk-1为在K-1状态下目标实际y轴坐标；
yk-2为在K-2状态下目标实际y轴坐标；
Kgk为k-1到k状态的变化增益，可以按照上述公式进行计算；
Vkx为观测到的在k状态目标的移动速度；
Δt为K-1状态到K状态的时间差；
Δμk-1为k-1状态下的最优偏差；
σk为k状态下的预测值高斯噪声偏差。
较优的，所述步骤(25)中，按照以下步骤实现验证和评价：
251)按照下列公式实现对跟随目标的验证：
其中，dist(Xk-1,Xk)为目标X在K状态值与在K-1状态值的目标相似度；
X(k-1)i为k-1状态下的目标X在第i条件下的值；
Xki为k状态下的目标X在i条件下的值；
251)按照下列公式实现对跟随目标的评价：
P验证＝P验证1dist(Xk-1,Xk)+P验证2dist(PX预，PX实际测量)
dist(PX预,PX实际测量)＝PX实际测量-PX预/PX实际测量
其中，P验证为在K状态下目标X的验证值，若其大于设定概率值则验证通过；P验证1为在K状态下Xk与Xk-1相似度权重；
PX预为K状态下预测下的X目标位置；
PX实际测量为K状态下实际预测的X目标位置；
P验证2为在K状态下PX预与PX实际测量的位置关系权重。
较优的，所述步骤(251)中，所述设定概率值范围为(0.5，1)。
较优的，＝按照以下步骤实现人手检测多目标排除：
31)将检测范围内的所有目标外接圆简化为外接椭圆模型，设其长轴为a，短轴为b，识别总面积为S，目标X的面积为SX；
确定条件一：a/b∈[1,4)；确定条件二：Sx/S∈(1/20,1/8)；取两个条件均符合的目标{Xi}，排除其他目标；
32)如果{Xi}中是单一元素，则确定该Xi为跟随的目标；
如果存在多个元素，则按照下列公式进行概率计算：
Px＝p1f(ax/bx)+p2*f(Sx/S)
其中，Px为满足条件的X目标是跟随目标的概率；
p1设置为条件一的权重；
p2设置为条件二的权重；
f(ax/bx)设置为ax/bx与条件一区间极值的关系函数；
f(Sx/S)设置为Sx/S与条件二区间极值的关系函数。
33)遍历计算步骤32)中的每一个目标概率值；排序，选取概率值最大的目标，确定其为跟随目标。
本发明的有益效果是：本发明提供了一种能够快速排除干扰的方法，使机器人在检测到有多个目标时，准确识别出跟随目标，排除其他干扰，提高终端产品的准确性和稳定性，提高产品质量和用户体验感。
附图说明
图1是本发明流程示意图。
图2是本发明结合其他方法实现的目标跟随方法流程示意图。
图3是图2中目标检测的流程示意图。
图4采用HSV和轮廓条件排除干扰排除流程示意图。
图5是目标跟随方法具体流程示意图。
图6是图2中目标跟踪步骤目标动作适应流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
如图1所示，一种跟随运动中排除非跟随目标的方法，包括以下步骤：(21)根据预设的轮廓数值条件(n1,n2,…ni…nn)，对(n1,n2,…ni…nn)取交集，对不属于交集{Ni}的目标进行排除；得到目标集{Xi}；
(22)判断排除后的目标集{Xi}中元素是否唯一，如是，则确定该唯一目标为跟随目标；
如不是，则计算目标的所有条件值，并且将每个条件分配权重，得到权重(p1,p2,…pi…pn)，根据权重按照下列公式计算目标轮廓的概率：
其中，Px表示步骤(22)中目标x的概率；
pi表示第i个条件的权重；
fx(ni)表示目标x在第n个条件下的条件值；其中，目标x越接近条件，则fx(ni)值越大。
(23)计算符合步骤(22)的每个目标的概率值，并按照大小进行排序，选取最大概率值的目标作为跟随目标；
其中，还包括以下步骤：
(24)跟随运动过程中，按照卡尔曼滤波算法进行对目标位置进行预测；
其中，按照下列公式预测目标位置：
xk＝(2xk-1-xk-2)+Kgk(2xk-1-xk-2-VkxΔt)
Kgk＝σk 2/σk 2+C2
Δμk-1＝(1-Kgk-1)σk-1 2/2
yk＝(2yk-1-yk-2)+Kgk(2yk-1-yk-2-VkyΔt)
Kgk＝σk 2/σk 2+C2
Δμk-1＝(1-Kgk-1)σk-1 2/2
其中，xk为在K状态下目标预测的x轴坐标；
xk-1为在K-1状态下目标实际x轴坐标；
xk-2为在K-2状态下目标实际x轴坐标；
yk为在K状态下目标预测的y轴坐标；
yk-1为在K-1状态下目标实际y轴坐标；
yk-2为在K-2状态下目标实际y轴坐标；
Kgk为k-1到k状态的变化增益，可以按照上述公式进行计算；
Vkx为观测到的在k状态目标的移动速度；
Δt为K-1状态到K状态的时间差；
Δμk-1为k-1状态下的最优偏差；
σk为k状态下的预测值高斯噪声偏差；
(25)结合预测位置进行目标和目标轮廓进行相似性判断，根据相似度和位置进行评价，验证该目标为跟随目标：
其中，按照下列公式实现对跟随目标的验证：
其中，dist(Xk-1,Xk)为目标X在K状态值与在K-1状态值的目标相似度；
X(k-1)i为k-1状态下的目标X在第i条件下的值；
Xki为k状态下的目标X在i条件下的值；
按照下列公式实现评价：
P验证＝P验证1dist(Xk-1,Xk)+P验证2dist(PX预，PX实际测量)
dist(PX预,PX实际测量)＝PX实际测量-PX预/PX实际测量
其中，P验证为在K状态下目标X的验证值，若其大于50％则验证通过；
P验证1为在K状态下Xk与Xk-1相似度权重；
PX预为K状态下预测下的X目标位置；
PX实际测量为K状态下实际预测的X目标位置；
P验证2为在K状态下PX预与PX实际测量的位置关系权重；
特别的，在步骤(3)中，按照以下步骤实现人手检测多目标排除：
31)将检测范围内的所有目标外接圆简化为外接椭圆模型，设其长轴为a，短轴为b，识别总面积为S，目标X的面积为SX；
确定条件一：a/b∈[1,4)；确定条件二：Sx/S∈(1/20,1/8)；取两个条件均符合的目标{Xi}，排除其他目标；
32)如果{Xi}中是单一元素，则确定该Xi为跟随的目标；
如果存在多个元素，则按照下列公式进行概率计算：
Px＝p1f(ax/bx)+p2*f(Sx/S)
其中，Px为满足条件的X目标是跟随目标的概率；
p1设置为条件一的权重；
p2设置为条件二的权重；
f(ax/bx)设置为ax/bx与条件一区间极值的关系函数；
f(Sx/S)设置为Sx/S与条件二区间极值的关系函数。
关系函数值与条件范围值之间的关系需要成正比，即当越接近范围值时，关系函数值越大，本实施例中，将关系函数设定为条件的线性函数如下：
f(ax/bx)＝1/3(ax/bx)-1/3
f(Sx/S)＝40/3(Sx/S)-2/3
跟据上述函数与分配的条件权重即可实现计算其为目标的概率。
其他实施例中，也可以将关系函数与条件的函数设置为其他具有正相关关系的函数，以达到相同的技术效果。
33)遍历计算步骤32)中的每一个目标概率值；排序，选取概率值最大的目标，确定其为跟随目标。
本方法结合目标检测、目标跟踪和目标反馈可以实现机器人动态目标跟随，具体如下：
如图2至图6，一种实现动态目标跟随的方法，包括以下步骤：
(1)目标检测；
(2)目标识别；
(3)目标跟踪；
(4)目标反馈；
其中，所述步骤(3)中包括目标干扰排除和目标动作适应。
特别的，所述步骤(1)中按照以下步骤实现：
(11)利用图像传感器捕捉每一帧图像；
(12)针对前后两帧图像进行光流场计算；
(13)进行光流场阈值计算；
(14)运动目标轮廓确定；
其中，所述步骤(12)中，按照以下步骤进行光流场计算：
121)对前后两帧中图像的每个元素偏移量ni进行排序；
122)按照下列公式进行光流场分析检测点的计算：
其中，为前后两帧的图像平均光流位移；
ni为前后两帧图像中的元素最小偏移量；
rows:图像行数；
cols：图像列数；
其中，所述步骤222)中，用以下公式等效替换原公式：
E＝2*(n0+nrows*clos)/rows*cols
E为等效后的前后两帧的图像平均光流位移；
n0为前后两帧图像中的元素最小偏移量；
nrows*cols为前后两帧图像中的元素最大偏移量；
rows:图像行数；
cols：图像列数；
其中，所述步骤(13)中，按照下列步骤进行光流场阈值计算：
131)按照下列公式对前后两帧图像的偏移量方差进行计算；
其中：为前后两帧的图像平均光流位移；
为前后两帧图像的位移方差；
132)根据下列公式确定有效光流阈值：
其中：为有效光流阈值；
所述步骤(14)中，找出满足下列公式的{ni}，作为运动目标的区域：
所述步骤(14)中，按照下列步骤计算运动目标的轮廓模型：
141)按照下列公式截取运动目标区域的最大内接圆：
(xi,yi)为区域{ni}上的顶点；
其中，A为运动目标区域面积；
(xi,yi)为区域{ni}上的顶点ni；
(xi+1,yi+1)为顶点ni的后一个顶点ni+1坐标；
Cx为运动目标区域多边形中心的X轴坐标；
Cy为运动目标区域多边形中心的Y轴坐标；
r为运动目标区域多边形最大内接圆半径；
142)根据步骤(141)中的最大内接圆计算该圆的最大内接矩形S：
143)设定步骤(142)中的内接圆的最大内接矩形作为运动目标的轮廓模型。
特别的，所述步骤(1)还包括以下步骤：
(15)按照下列公式计算运动区域或运动区域模型的RGB均值，并进行记录：
其中为运动区域内的红色分量平均强度；
Rn为运动目标区域内第n个元素红色分量平均强度；
为运动区域内的绿色分量平均强度；
Gn为运动目标区域内第n个元素绿色分量平均强度；
为运动区域内的蓝色分量平均强度；
Bn为运动目标区域内第n个元素红蓝色分量平均强度；
n为运动区域内总分量数。
目标检测完成后，采用本技术方法中提供的跟随运动中排除目标之外干扰的方法，实现排除其他干扰目标，实现目标识别。
特别的，在步骤(3)中，采用以下步骤实现目标动作的适应：
34)采用中值滤波算法实现对采集图像的处理；
35)采用膨胀算法对图像进行二次处理；
36)采用腐蚀算法对目标图像进行三次处理；
37)进行CAMSHIFT算法对目标进行迭代并根据迭代结果进行目标跟踪；
38)将跟踪目标区域进行R、G、B均值计算，每50帧进行一次卡尔曼加权滤波计算，排除跟踪目标区域的光污染干扰。
特别的，在步骤34)中，按照下列步骤进行：
341)设th为门限：m为整个识别窗口的长度像素值，n为整个识别窗口的宽度像素值，
当m、n均为奇数时，
当m、n其中至少一个为偶数时，则
342)将检测到的目标窗口每一个像素值进行排序，建立窗口像素的直方图H，确定其中中值mnm，记下亮度小于等于mnm的像素个数nmn。
343)对于最左亮度的每个像素pgli,做：
H(pgli')＝H(pgli)-1
nnmgli'＝nnmgli-1
其中，H(pgli)为计算前的pgli像素灰度值；
H(pgli')为计算后的pgli像素灰度值；
nnmgli'为计算后的亮度小于等于mnm的像素个数；
nnmgli为计算前的亮度小于等于mnm的像素个数；
344)对于最右列亮度的每个像素pgri，做：
H(pgri')＝H(pgri)+1
nnmgri'＝nnmgri-1
其中，H(pgri)为计算前的pgri像素灰度值；
H(pgri')为计算后的pgri像素灰度值；
nnmgri'为计算后的亮度小于等于mnm的像素个数；
nnmgri为计算前的亮度小于等于mnm的像素个数；
345)如果nnmgri'＝th则跳转至348)；
346)如果nnmgri'＞th则跳转至347)；
如果nnmgri'＜th，按照下列公式对mnm、nnm进行变换：
mnm'＝mnm+1
nnm'＝nnm+H[mnm]
其中，H[mnm]为中值mnm的灰度；
以mnm'、nnm'值重复步骤341)至346)；
347)当nnmgri'＞th，按照下列公式对mnm、nnm进行变换：
mnm”＝mnm+1
nnm”＝nnm+H[mnm]
以mnm”、nnm”值重复步骤341)至346)；
348)如果窗口的右侧不是图像的右边界，则跳转至344)；
如果窗口的右侧不是图像的右边界，则跳转至349)；
349)对于最上行亮度的每个像素pgai,做：
H(pgai')＝H(pgai)-1
nnmgai'＝nnmgai-1
其中，H(pgai)为计算前的pgai像素灰度值；
H(pgai')为计算后的pgai像素灰度值；
nnmgai'为计算后的亮度小于等于mnm的像素个数；
nnmgai为计算前的亮度小于等于mnm的像素个数；
3410)对于最下行亮度的每个像素pgri，做：
H(pgbi')＝H(pgbi)-1
nnmgbi'＝nnmgbi-1
其中，H(pgbi)为计算前的pgri像素灰度值；
H(pgbi')为计算后的pgri像素灰度值；
nnmgbi'为计算后的亮度小于等于mnm的像素个数；
nnmgbi为计算前的亮度小于等于mnm的像素个数；
3411)如果nnmgbi'＝th则跳转至348)；
3412)如果nnmgbi'＞th则跳转至347)；
如果nnmgbi'＜th，按照下列公式对mnm、nnm进行变换：
mnm'＝mnm+1
nnm'＝nnm+H[mnm]
以mnm'、nnm'值重复步骤349)至3410)；
3413)当nnmgbi'＞th，按照下列公式对mnm、nnm进行变换：mnm”＝mnm+1
nnm”＝nnm+H[mnm]
以mnm”、nnm”值重复步骤349)至3410)；
如果窗口的底行不是图像的下边界，则跳转至341)；
如果窗口的底行是图像的下边界，则结束。
经过本方法处理后，可以使目标取得图像更为平滑。
特别的，在步骤35)中，按照下列步骤进行图像的二次处理：
351)用3X3的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为0，结构图像的该像素为0，否则为1；
352)取所有值为1的像素作为二次处理完的图像结果。
特别的，在步骤36)中，按照下列步骤进行图像的三次处理：
361)用3X3的结构元素，扫描二值图像的每一个像素，用结构元素与其覆盖的二值图像做“与”运算，如果都为1，结构图像的该像素为1，否则为0。
362)取所有值为1的像素作为三次处理完的图像结果。
通过膨胀和腐蚀算法处理后的图像能够降低噪声点，为后续跟随做准备。
特别的，在步骤37)中，按照下列步骤进行图像的目标迭代：
371)按照下列步骤实现反向投影，
3711)首先将图像从RGB空间转换到HSV空间；
3712)对其中的H分量作直方图，取得颜色概率查找表；
3713)将图像中每个像素的值用其颜色出现的概率对替换，得到颜色概率分布图；
372)通过光流检测目标，找出目标窗口X；
373)根据下列步骤实现CAMSHIFT迭代，
3731)按照下列公式计算零阶距：
其中，rows为目标窗口的总行数；
clos为目标窗口的总列数；
(xi,yi)为目标图像X中的点I的坐标；
其中，x、y为每个图像中每个像素的坐标；
3732)计算一阶距：
3733)按照下列公式计算目标窗口X的质心C；
xc＝M10/M00
yc＝M01/M00
其中，(xc,yc)为质心C的坐标；
3734)移动目标窗口的中心M(xm,ym)到质心C(xc,yc)，如果移动距离大于预设的固定阈值，则重复上面步骤计算质心C'，直到目标窗口的中心M与质心C'间的移动距离小于预设的固定阈值；
当循环运算的次数达到最大值，停止计算，反馈出目前目标窗口中心M的坐标；
通过camshift能够有效实现运动中的跟随计算。
374)将视频的所有帧做步骤3731)至3734)的运算，并将上一帧的结果，即上一帧目标窗的大小和中心，作为下一帧目标窗的初始值，持续迭代；
所述步骤38)中，按照下列步骤实现将跟踪目标区域进行R、G、B均值计算，每50帧进行一次卡尔曼加权滤波计算，排除跟踪目标区域的光污染干扰：
381)每50帧记录跟随目标的RGB均值，并存储；
382)利用步骤381)计算的前5次记录，将每次记录分配权重，得到前5次记录的数值集和对应的权重集；
383)利用所述步骤382)中记录的前5次记录的数值集和对应的权重集根据卡尔曼滤波公式算法计算下一次的目标RGB均值，得到下一个50帧时的预测目标RGB值；由于卡尔曼滤波算法为现有技术，此处不再赘述。
384)跟据步骤383)的预测目标RGB值，找到与预测目标RGB值近似的目标，确定其为跟随目标。
步骤381)至384)，能够有效减少环境对目标干扰的影响，如光照等影响运动过程中目标的实现。
所述步骤(4)中，按照下列步骤实现机器人的将图像坐标中的x，y转换成以图像中心为圆心o的坐标，并换算出第一、二、三、四象限：
41)追踪到目标以后，按照下列公式将目标中心点M作为目标在坐标系中的有效点，并换算坐标系；
xm0＝round(xm-cols/2)
ym0＝round(ym-cols/2)
其中(xm,ym)为换算前图像坐标系的目标窗口中心点M坐标值；
rows为图像的总行数；
cols为图像的总列数；
(xm0,ym0)为换算后的点M'坐标值；
42)然后通过目标点在坐标系中的位置(xm0,ym0)，换算出机器人运动控制命令，驱动电机让机器人实现跟踪目标移动。
本技术方案可以采用不同的条件进行评价，如图4，就采用轮廓条件和HSV进行过滤后实现单目标的确定；其他实施方式中，也可以设置其他条件进行确定。
图5是本实施例中目标跟随方法的具体流程图。
经过本方法换算后的坐标系能够更有利于识别，利于机器人跟随运动功能的实现。
本方法可以使用在机器人上，实现跟随人或其他移动物体运动，可以弥补某些机器人目前不具备的视觉导航功能的缺陷。
工作时，利用机器人常规的硬件模块，如摄像头、驱动电机、控制模块等，进行按照本技术方案进行常规的编程导入，使得机器人首先能够利用摄像头进行数据采集，在控制模块的控制下，驱动电机实现跟随。
本技术方案具体设计思路为：目标检测、目标识别、目标跟踪、目标反馈。
跟随目标检测使用的是光流Farneback算法，该算法是密集光流算法，是对图像中每一个点进行光流计算。光流算法是通过相邻的前后两帧相同大小的图像矩阵中的每一个元素的两个值进行计算，分别表示这个像素点在x方向和y方向的运动量，这两帧的图像的关系式为：
prevImg(y,x)～nextImg(y+flow(y,x))[1],x+flow(y,x)[0])
通过对密集光流场的动态的阈值设计，可以过滤掉干扰光流点，得到需要跟随目标的光流场，并计算出跟随目标的RGB和轮廓。然后通过颜色直方图对检测到的目标进行分析。
目标识别
在检测跟随目标时如果在非理想环境或者在检测过程中未按照检测要求进行，则可能会检测出非跟随目标，在现实生活中，如果用户量比较大，那么出现这种情况是比较常见的，那么在目标检测之后进行跟随目标识别就非常有必要，这样可以排除掉大部分外部干扰。
在目标识别中，经常大量测试，会对跟随目标进行干扰的会有其他和人手相似的物体、非唤醒跟随导航人员的手、强光照射、能见度低等、跟随目标太远等因数，在不同的因素影响下，有不同的解决方法，在跟随识别算法中，主要是排除外形和颜色和手类是的物体和其他人手的干扰问题。
目标跟踪
目标跟踪是在确定唯一跟随目标之后采取Camshift算法，该算法全称为：Continuously Adaptive Mean-SHIFT。其基本思想是对视频序列的所有图像帧都作MeanShift运算，并将上一帧的结果(即搜索窗口的中心位置和窗口大小)作为下一帧MeanShift算法的搜索窗口的初始值，如此迭代下去。meanShift是针对单张图片寻找最优迭代结果，而camShift则是针对视频序列来处理，并对该序列中的每一帧图片都调用meanShift来寻找最优迭代结果。正是由于camShift针对一个视频序列进行处理，从而保证其可以不断调整窗口的大小，如此一来，当目标的大小发生变化的时候，该算法就可以自适应地调整目标区域继续跟踪。
目标反馈
将图像坐标中的x，y转换成以图像中心为圆心o的坐标，并换算出第一、二、三、四象限。当通过算法追踪到目标以后，将目标中心点作为目标在坐标系中的有效点，并换算坐标系。然后通过目标点在坐标系中的位置，换算出机器人运动控制命令，让机器人达到跟踪目标移动，运动方式平滑连贯。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (6)
1.一种跟随运动中排除非跟随目标的方法，其特征是：包括以下步骤：
(21)根据预设的轮廓数值条件(n1,n2,…ni…nn)，对(n1,n2,…ni…nn)取交集，对不属于交集{Ni}的目标进行排除；得到目标集{Xi}；
(22)判断排除后的目标集{Xi}中元素是否唯一，如是，则确定该唯一目标为跟随目标；
如不是，则计算目标的所有条件值，并且将每个条件分配权重，得到权重(p1,p2,…pi…pn)，根据权重按照下列公式计算目标轮廓的概率：
<mrow>
<msub>
<mi>P</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>n</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，Px表示步骤(22)中目标x的概率；
pi表示第i个条件的权重；
fx(ni)表示目标x在第n个条件下的条件值；
(23)计算符合步骤(22)的每个目标的概率值，并按照大小进行排序，选取最大概率值的目标作为跟随目标。
2.如权利要求1所述的跟随运动中排除非跟随目标的方法，其特征是：还包括以下步骤：
(24)跟随运动过程中，按照卡尔曼滤波算法进行对目标位置进行预测；
(25)结合预测位置进行目标和目标轮廓进行相似性判断，根据相似度和位置进行评价，验证该目标为跟随目标。
3.如权利要求2所述的实现动态目标跟随的方法，其特征是：所述步骤(24)中，按照以下公式实现目标检测：
其中，按照下列公式预测目标位置：
xk＝(2xk-1-xk-2)+Kgk(2xk-1-xk-2-VkxΔt)
Kgk＝σk 2/σk 2+C2
Δμk-1＝(1-Kgk-1)σk-1 2/2
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>U</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>&Delta;&mu;</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
yk＝(2yk-1-yk-2)+Kgk(2yk-1-yk-2-VkyΔt)
Kgk＝σk 2/σk 2+C2
Δμk-1＝(1-Kgk-1)σk-1 2/2
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>U</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>&Delta;&mu;</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
其中，xk为在K状态下目标预测的x轴坐标；
xk-1为在K-1状态下目标实际x轴坐标；
xk-2为在K-2状态下目标实际x轴坐标；
yk为在K状态下目标预测的y轴坐标；
yk-1为在K-1状态下目标实际y轴坐标；
yk-2为在K-2状态下目标实际y轴坐标；
Kgk为k-1到k状态的变化增益，可以按照上述公式进行计算；
Vkx为观测到的在k状态目标的移动速度；
Δt为K-1状态到K状态的时间差；
Δμk-1为k-1状态下的最优偏差；
σk为k状态下的预测值高斯噪声偏差；
4.如权利要求2所述的跟随运动中排除非跟随目标的方法，其特征是：所述步骤(25)中，按照以下步骤实现验证和评价：
251)按照下列公式实现对跟随目标的验证：
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>X</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>k</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>/</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<mi>i</mi>
</mrow>
</msub>
</mrow>
其中，dist(Xk-1,Xk)为目标X在K状态值与在K-1状态值的目标相似度；
X(k-1)i为k-1状态下的目标X在第i条件下的值；
Xki为k状态下的目标X在i条件下的值；
251)按照下列公式实现对跟随目标的评价：
P验证＝P验证1dist(Xk-1,Xk)+P验证2dist(PX预，PX实际测量)
dist(PX预,PX实际测量)＝PX实际测量-PX预/PX实际测量
其中，P验证为在K状态下目标X的验证值，若其大于设定概率值则验证通过；
P验证1为在K状态下Xk与Xk-1相似度权重；
PX预为K状态下预测下的X目标位置；
PX实际测量为K状态下实际预测的X目标位置；
P验证2为在K状态下PX预与PX实际测量的位置关系权重。
5.如权利要求3所述的跟随运动中排除非跟随目标的方法，其特征是：所述步骤(251)中，所述设定概率值范围为(0.5，1)。
6.如权利要求1所述的跟随运动中排除非跟随目标的方法，其特征是：按照以下步骤实现人手检测多目标排除：
31)将检测范围内的所有目标外接圆简化为外接椭圆模型，设其长轴为a，短轴为b，识别总面积为S，目标X的面积为SX；
确定条件一：a/b∈[1,4)；确定条件二：Sx/S∈(1/20,1/8)；取两个条件均符合的目标{Xi}，排除其他目标；
32)如果{Xi}中是单一元素，则确定该Xi为跟随的目标；
如果存在多个元素，则按照下列公式进行概率计算：
Px＝p1f(ax/bx)+p2*f(Sx/S)
其中，Px为满足条件的X目标是跟随目标的概率；
p1设置为条件一的权重；
p2设置为条件二的权重；
f(ax/bx)设置为ax/bx与条件一区间极值的关系函数；
f(Sx/S)设置为Sx/S与条件二区间极值的关系函数。
33)遍历计算步骤32)中的每一个目标概率值；排序，选取概率值最大的目标，确定其为跟随目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711483316.0A CN108122013A (zh) | 2017-12-29 | 2017-12-29 | 一种跟随运动中排除非跟随目标的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711483316.0A CN108122013A (zh) | 2017-12-29 | 2017-12-29 | 一种跟随运动中排除非跟随目标的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108122013A true CN108122013A (zh) | 2018-06-05 |
Family
ID=62232520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711483316.0A Withdrawn CN108122013A (zh) | 2017-12-29 | 2017-12-29 | 一种跟随运动中排除非跟随目标的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122013A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376639A (zh) * | 2018-10-16 | 2019-02-22 | 上海弘目智能科技有限公司 | 基于人像识别的伴随人员预警系统及方法 |
| CN111627043A (zh) * | 2020-04-13 | 2020-09-04 | 浙江工业大学 | 一种基于标志物和特征筛选器的简易人体曲线获取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090226033A1 (en) * | 2007-10-15 | 2009-09-10 | Sefcik Jason A | Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques |
| CN101739551A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标识别方法及系统 |
| CN102799884A (zh) * | 2012-07-13 | 2012-11-28 | 北京工商大学 | 一种基于格式塔规则的图像目标轮廓提取方法 |
| CN104835181A (zh) * | 2015-05-23 | 2015-08-12 | 温州大学 | 一种基于排序融合学习的目标跟踪方法 |
-
2017
- 2017-12-29 CN CN201711483316.0A patent/CN108122013A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090226033A1 (en) * | 2007-10-15 | 2009-09-10 | Sefcik Jason A | Method of object recognition in image data using combined edge magnitude and edge direction analysis techniques |
| CN101739551A (zh) * | 2009-02-11 | 2010-06-16 | 北京智安邦科技有限公司 | 运动目标识别方法及系统 |
| CN102799884A (zh) * | 2012-07-13 | 2012-11-28 | 北京工商大学 | 一种基于格式塔规则的图像目标轮廓提取方法 |
| CN104835181A (zh) * | 2015-05-23 | 2015-08-12 | 温州大学 | 一种基于排序融合学习的目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 智喜洋等: "融合多特征的天基典型目标光学识别方法", 《哈尔滨工业大学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109376639A (zh) * | 2018-10-16 | 2019-02-22 | 上海弘目智能科技有限公司 | 基于人像识别的伴随人员预警系统及方法 |
| CN109376639B (zh) * | 2018-10-16 | 2021-12-17 | 上海弘目智能科技有限公司 | 基于人像识别的伴随人员预警系统及方法 |
| CN111627043A (zh) * | 2020-04-13 | 2020-09-04 | 浙江工业大学 | 一种基于标志物和特征筛选器的简易人体曲线获取方法 |
| CN111627043B (zh) * | 2020-04-13 | 2023-09-19 | 浙江工业大学 | 一种基于标志物和特征筛选器的简易人体曲线获取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108133491A (zh) | 一种实现动态目标跟踪的方法 | |
| CN104282020B (zh) | 一种基于目标运动轨迹的车辆速度检测方法 | |
| CN108805897B (zh) | 一种改进的运动目标检测vibe方法 | |
| CN105243667B (zh) | 基于局部特征融合的目标再识别方法 | |
| CN107403175A (zh) | 一种运动背景下的视觉跟踪方法及视觉跟踪系统 | |
| CN112819772A (zh) | 一种高精度快速图形检测识别方法 | |
| CN106296726A (zh) | 一种天基光学序列图像中的空间目标检测跟踪方法 | |
| CN106803265A (zh) | 基于光流法和卡尔曼滤波的多目标跟踪方法 | |
| CN109523583B (zh) | 一种基于反馈机制的电力设备红外与可见光图像配准方法 | |
| CN109902578B (zh) | 一种红外目标检测与跟踪方法 | |
| CN113052873B (zh) | 一种在线自监督学习场景适应的单目标跟踪方法 | |
| CN109191429B (zh) | 一种基于机器视觉的3d打印喷嘴检测方法 | |
| CN111680713B (zh) | 一种基于视觉检测的无人机对地目标跟踪与逼近方法 | |
| CN109242032B (zh) | 一种基于深度学习的目标检测方法 | |
| CN105913455A (zh) | 基于局部图像增强的目标跟踪方法 | |
| CN107967692A (zh) | 一种基于跟踪学习检测的目标跟踪优化方法 | |
| CN108876820A (zh) | 一种基于均值漂移的遮挡条件下移动目标追踪方法 | |
| US11530993B2 (en) | Deposit detection device and deposit detection method | |
| CN111178193A (zh) | 一种车道线的检测方法、检测装置及计算机可读存储介质 | |
| CN116012579A (zh) | 一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法 | |
| CN108122013A (zh) | 一种跟随运动中排除非跟随目标的方法 | |
| CN110751671B (zh) | 一种基于核相关滤波与运动估计的目标跟踪方法 | |
| CN109978916B (zh) | 基于灰度图像特征匹配的Vibe运动目标检测方法 | |
| CN113920168A (zh) | 一种音视频控制设备中图像跟踪方法 | |
| CN113888607A (zh) | 基于事件相机的目标检测与跟踪方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180605 |