CN110415273B - 一种基于视觉显著性的机器人高效运动跟踪方法及系统 - Google Patents

一种基于视觉显著性的机器人高效运动跟踪方法及系统 Download PDF

Info

Publication number
CN110415273B
CN110415273B CN201910688858.4A CN201910688858A CN110415273B CN 110415273 B CN110415273 B CN 110415273B CN 201910688858 A CN201910688858 A CN 201910688858A CN 110415273 B CN110415273 B CN 110415273B
Authority
CN
China
Prior art keywords
moving object
deviation
gravity center
robot
visual saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910688858.4A
Other languages
English (en)
Other versions
CN110415273A (zh
Inventor
郭炳华
岑志松
戴宏跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Pengxing Engineering Technology Co ltd
Original Assignee
Zhaoqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing University filed Critical Zhaoqing University
Priority to CN201910688858.4A priority Critical patent/CN110415273B/zh
Publication of CN110415273A publication Critical patent/CN110415273A/zh
Application granted granted Critical
Publication of CN110415273B publication Critical patent/CN110415273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于视觉显著性的机器人高效运动跟踪方法，其步骤包括：S1、获取机器人上的两个摄像头所获取的两路视频信息；S2、对两路视频信息进行特征提取和运动分割得到运动物体的像素点；S3、求解所述运动物体的重心，并计算运动物体的重心位置偏差、偏差增量以及方向偏差；S4、根据重心位置偏差、偏差增量以及方向偏差计算运动物体的视觉显著性；S5、在视觉显著性高于跟踪阈值时，确定运动物体为跟踪物体；S6、驱动机器人对跟踪物体进行运动跟踪。本发明还公开了一种机器人动态障碍物避开系统，通过本发明的技术方案，可以实现移动机器人对异常或危险的动态运动物体更高效更精确的跟踪。

Description

一种基于视觉显著性的机器人高效运动跟踪方法及系统
技术领域
本发明属于机器人视觉检测领域，具体涉及一种基于视觉显著性的机器人高效运动跟踪方法及系统。
背景技术
自主机器人常用于环境异常的监测与或危险物体跟踪，因此运动物体的检测与跟踪是自主机器人必备的一项技术。这种技术有利于自主机器人在环境中发现并跟踪异常运动或危险的物体。随着机器人技术的发展，其在自主机器人应用中具有广阔的发展前途。
目前，公知的机器人运动物体检测与跟踪技术有背景差、光流、栅格、块匹配等方法，但这些方法在机器人的应用中存在许多缺陷，比如要求静态的摄像机或者其检测与跟踪常常针对观测的所有运动物体。
而现有的基于视觉显著性的机器人运动跟踪方法需要进行特征点的3D匹配以及速度估计，计算量较大且动态物体分离所用的均值漂移算法增加该方法的复杂性，提高资源消耗，且效率不高。另外现有的跟踪系统的实现采用通用计算机系统且体积较大，嵌入应用受到限制。
由上可知，现有的机器人运动跟踪方法普遍存在效率低、资源消耗大的问题。
发明内容
本发明的目的在于针对现有技术的缺陷，提供一种基于视觉显著性的机器人高效运动跟踪方法及系统，采用基于视觉显著性的视觉检测方法，结合数字信号处理(DSP)系统，可以实现移动机器人对异常或危险的动态运动物体更高效更精确的跟踪。
本发明的技术方案如下：
一种基于视觉显著性的机器人高效运动跟踪方法，其特征在于，包括如下步骤:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对所述两路视频信息进行特征提取和运动分割得到运动物体的像素点；
S3、求解所述运动物体的重心，并计算所述运动物体的重心位置偏差、偏差增量以及方向偏差；所述重心位置偏差为所述运动物体的重心与像素平面中心点的偏差；所述偏差增量为所述重心位置偏差在多帧图像中的变化量；所述方向偏差为所述运动物体的重心与所述像素平面中心点的方向偏差；
S4、根据所述重心位置偏差、偏差增量以及方向偏差计算所述运动物体的视觉显著性；
S5、在所述视觉显著性高于跟踪阈值时，确定所述运动物体为跟踪物体；
S6、驱动机器人对所述跟踪物体进行运动跟踪。
与现有技术相比，本方法的有益技术效果如下：
本发明提供了一种基于视觉显著性的机器人高效运动跟踪方法，通过对运动物体的重心位置偏差、偏差增量、方向偏差等参数进行计算，再结合计算结果计算运动物体的视觉显著性，可以实现移动机器人对异常或危险的动态运动物体更高效更精确的跟踪。
本方法的进一步改进在于，所述步骤S2中，使用特征点匹配和块匹配算法分离得到所述运动物体的像素点。
本方法的进一步改进在于，所述步骤S3的具体步骤包括：
S31、使用以下公式计算所述运动物体的重心位置偏差sk：
sk＝skx+sky＝[Δxk,Δyk][Δxk,Δyk]T；
skx＝Δxk 2，sky＝Δyk 2；
其中，Δxk＝xki-xo、Δyk＝yki-yo；(xki，yki)和(xo，yo)分别为运动物体的重心的坐标和像素平面中心点的坐标，i表示第i帧图像；k表示第k个运动物体；
S32、使用以下公式计算所述运动物体的偏差增量Δsk：
Figure GDA0002560524290000021
S33、使用以下公式计算所述运动物体的方向偏差Δδk：
Δδk＝Δxk/Δyk。
本方法的进一步改进在于，所述步骤S4中，使用以下公式计算所述运动物体的视觉显著性：
Si＝γi(wi1sk+wi2Δsk+wi3Δδk)
其中：γi为调整系数；
Figure GDA0002560524290000022
且
Figure GDA0002560524290000023
其中：
Figure GDA0002560524290000024
l1为Σ求和变量；m为所述运动物体的像素数量。
本方法的进一步改进在于，所述调整系数根据以下公式进行计算：
Figure GDA0002560524290000031
其中，
Figure GDA0002560524290000032
其中
Figure GDA0002560524290000033
表示第i帧图像的运动物体的偏差增量Δsk，
Figure GDA0002560524290000034
表示第i-1帧图像的运动物体的偏差增量Δsk，l2为求和变量，n为所述运动物体的匹配的特征点数。
本发明还对应公开了一种基于视觉显著性的机器人高效运动跟踪系统，包括移动机器人和数字信号处理系统；所述移动机器人包括：
通讯模块，用于与所述数字信号处理系统建立连接并传输数据及指令；
机器人控制单元，用于根据接收到的机器人控制量控制机器人的移动；
两个摄像头，对周围环境进行摄取而得到两路视频信息；
所述数字信号处理系统为嵌入式系统，包括：
通讯模块，用于与所述移动机器人建立连接并传输数据及指令；
数字信号处理器，用于执行以下步骤：
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对所述两路视频信息进行特征提取和运动分割得到运动物体的像素点；
S3、求解所述运动物体的重心，并计算所述运动物体的重心位置偏差、偏差增量以及方向偏差；所述重心位置偏差为所述运动物体的重心与像素平面中心点的偏差；所述偏差增量为所述重心位置偏差在多帧图像中的变化量；所述方向偏差为所述运动物体的重心与所述像素平面中心点的方向偏差；
S4、根据所述重心位置偏差、偏差增量以及方向偏差计算所述运动物体的视觉显著性；
S5、在所述视觉显著性高于跟踪阈值时，确定所述运动物体为跟踪物体；
S6、通过所述机器人控制单元驱动所述移动机器人对所述跟踪物体进行运动跟踪。
与现有技术相比，本系统的有益技术效果如下：
本发明提供了一种基于视觉显著性的机器人高效运动跟踪系统，通过对运动物体的重心位置偏差、偏差增量、方向偏差等参数进行计算，再结合计算结果计算运动物体的视觉显著性，可以实现移动机器人对异常或危险的动态运动物体更高效更精确的跟踪，同时由于系统尺寸较小且易嵌入其它系统，增加了其使用的多样性及简便性。
本系统的进一步改进在于，所述步骤S2中，使用特征点匹配和块匹配算法分离得到所述运动物体的像素点。
本系统的进一步改进在于，所述步骤S3的具体步骤包括：
S31、使用以下公式计算所述运动物体的重心位置偏差sk：
sk＝skx+sky＝[Δxk,Δyk][Δxk,Δyk]T；
skx＝Δxk 2，sky＝Δyk 2；
其中，Δxk＝xki-xo、Δyk＝yki-yo；(xki，yki)和(xo，yo)分别为运动物体的重心的坐标和像素平面中心点的坐标，i表示第i帧图像；k表示第k个运动物体；
S32、使用以下公式计算所述运动物体的偏差增量Δsk：
Figure GDA0002560524290000041
S33、使用以下公式计算所述运动物体的方向偏差Δδk：
Δδk＝Δxk/Δyk。
本系统的进一步改进在于，所述步骤S4中，使用以下公式计算所述运动物体的视觉显著性：
Si＝γi(wi1sk+wi2Δsk+wi3Δδk)
其中：γi为调整系数；
Figure GDA0002560524290000042
且
Figure GDA0002560524290000043
其中：
Figure GDA0002560524290000044
l1为Σ求和变量；m为所述运动物体的像素数量。
本系统的进一步改进在于，所述调整系数根据以下公式进行计算：
Figure GDA0002560524290000045
其中，
Figure GDA0002560524290000046
其中
Figure GDA0002560524290000047
表示第i帧图像的运动物体的偏差增量Δsk，
Figure GDA0002560524290000048
表示第i-1帧图像的运动物体的偏差增量Δsk，l2为求和变量，n为所述运动物体的匹配的特征点数。
附图说明
图1是本发明实施例1的一种基于视觉显著性的机器人高效运动跟踪方法的流程示意图。
图2是本发明实施例2的一种基于视觉显著性的机器人高效运动跟踪系统的结构示意图。
具体实施方式
为了充分地了解本发明的目的、特征和效果，以下将结合附图对本发明的几种优选的实施方式进行说明。
实施例1
如图1所示，本实施例1公开了一种基于视觉显著性的机器人高效运动跟踪方法，包括如下步骤:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对两路视频信息进行特征提取和运动分割得到运动物体的像素点；
具体的，步骤S2中，使用特征点匹配和块匹配算法分离得到运动物体的像素点。
S3、求解运动物体的重心，并计算运动物体的重心位置偏差、偏差增量以及方向偏差；
具体的，重心的求解方式为：将运动物体的所有像素的坐标(包括横、纵坐标)之和再除以像素的数量，得到重心的坐标；
具体的，重心位置偏差为运动物体的重心与像素平面中心点的偏差；偏差增量为重心位置偏差在多帧图像中的变化量；方向偏差为运动物体的重心与像素平面中心点的方向偏差；
具体的，步骤S3的具体步骤包括：
S31、使用以下公式计算运动物体的重心位置偏差sk：
sk＝skx+sky＝[Δxk,Δyk][Δxk,Δyk]T；
skx＝Δxk 2，sky＝Δyk 2；
其中，Δxk＝xki-xo、Δyk＝yki-yo；(xki，yki)和(xo，yo)分别为运动物体的重心的坐标和像素平面中心点的坐标，i表示第i帧图像；k表示第k个运动物体；
S32、使用以下公式计算运动物体的偏差增量Δsk：
Figure GDA0002560524290000051
S33、使用以下公式计算运动物体的方向偏差Δδk：
Δδk＝Δxk/Δyk。
S4、根据重心位置偏差、偏差增量以及方向偏差计算运动物体的视觉显著性；
具体的，步骤S4中，使用以下公式计算运动物体的视觉显著性：
Si＝γi(wi1sk+wi2Δsk+wi3Δδk)
其中：γi为调整系数；
Figure GDA0002560524290000061
且
Figure GDA0002560524290000062
其中：
Figure GDA0002560524290000063
l1为Σ求和变量；m为运动物体的像素数量。
具体的，为了进一步增强运动物体显著性，调整系数γi按下述方式进行调整：
对运动物体匹配的特征点分离，对分离得到的特征点根据以下公式进行计算：
Figure GDA0002560524290000064
其中，
Figure GDA0002560524290000065
其中
Figure GDA0002560524290000066
表示第i帧图像的运动物体的偏差增量Δsk，
Figure GDA0002560524290000067
表示第i-1帧图像的运动物体的偏差增量Δsk，l2为求和变量，n为运动物体的匹配的特征点数。
S5、在视觉显著性高于跟踪阈值时，确定运动物体为跟踪物体；
S6、驱动机器人对跟踪物体进行运动跟踪。
本实施例公开了一种基于视觉显著性的机器人高效运动跟踪方法，通过对运动物体的重心位置偏差、偏差增量、方向偏差等参数进行计算，再结合计算结果计算运动物体的视觉显著性，可以实现移动机器人对异常或危险的动态运动物体更高效更精确的跟踪。
实施例2
如图2所示，本实施例公开了一种基于视觉显著性的机器人高效运动跟踪系统，其包括移动机器人和数字信号处理系统；移动机器人包括：
通讯模块1，用于与数字信号处理系统建立连接并传输数据及指令；
机器人控制单元2，用于根据接收到的机器人控制量控制机器人的移动；
两个摄像头3，对周围环境进行摄取而得到视频信息；
数字信号处理系统为嵌入式系统，包括：
通讯模块4，用于与移动机器人建立连接并传输数据及指令；
数字信号处理器5，内置有执行代码，用于执行以下步骤:
S1、获取移动机器人上的两个摄像头3所实时获取的两路视频信息；
S2、对两路视频信息进行特征提取和运动分割得到运动物体的像素点；
具体的，步骤S2中，使用特征点匹配和块匹配算法分离得到运动物体的像素点。
S3、求解运动物体的重心，并计算运动物体的重心位置偏差、偏差增量以及方向偏差；
具体的，重心位置偏差为运动物体的重心与像素平面中心点的偏差；偏差增量为重心位置偏差在多帧图像中的变化量；方向偏差为运动物体的重心与像素平面中心点的方向偏差；
具体的，步骤S3的具体步骤包括：
S31、使用以下公式计算运动物体的重心位置偏差sk：
sk＝skx+sky＝[Δxk,Δyk][Δxk,Δyk]T；
skx＝Δxk 2，sky＝Δyk 2；
其中，Δxk＝xki-xo、Δyk＝yki-yo；(xki，yki)和(xo，yo)分别为运动物体的重心的坐标和像素平面中心点的坐标，i表示第i帧图像；k表示第k个运动物体；
S32、使用以下公式计算运动物体的偏差增量Δsk：
Figure GDA0002560524290000071
S33、使用以下公式计算运动物体的方向偏差Δδk：
Δδk＝Δxk/Δyk。
S4、根据重心位置偏差、偏差增量以及方向偏差计算运动物体的视觉显著性；
具体的，步骤S4中，使用以下公式计算运动物体的视觉显著性：
Si＝γi(wi1sk+wi2Δsk+wi3Δδk)
其中：γi为调整系数；
Figure GDA0002560524290000072
且
Figure GDA0002560524290000073
其中：
Figure GDA0002560524290000074
l1为Σ求和变量；m为运动物体的像素数量。
具体的，为了进一步增强运动物体显著性，调整系数γi按下述方式进行调整：
对运动物体匹配的特征点分离，对分离得到的特征点根据以下公式进行计算：
Figure GDA0002560524290000081
其中，
Figure GDA0002560524290000082
其中
Figure GDA0002560524290000083
表示第i帧图像的运动物体的偏差增量Δsk，
Figure GDA0002560524290000084
表示第i-1帧图像的运动物体的偏差增量Δsk，l2为求和变量，n为运动物体的匹配的特征点数。
S5、在视觉显著性高于跟踪阈值时，确定运动物体为跟踪物体；
S6、控制机器人控制单元2驱动机器人对跟踪物体进行运动跟踪。
具体的，数字信号处理系统可选择嵌入至机器人内作为机器人的信号处理中枢，以执行上述方法步骤对机器人的两个摄像头所获取的视频信息进行处理并控制机器人控制单元驱动机器人对跟踪物体进行运动跟踪。
本实施例公开了一种基于视觉显著性的机器人高效运动跟踪系统，数字信号处理器6通过对运动物体的重心位置偏差、偏差增量、方向偏差等参数进行计算，再结合计算结果计算运动物体的视觉显著性，通过机器人控制单元2可以实现移动机器人对异常或危险的动态运动物体更高效更精确的跟踪，同时由于数字信号处理系统为嵌入式系统，其尺寸较小且易嵌入其它系统，增加了其使用的多样性及简便性。
以上详细描述了本发明的较佳具体实施例，应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明构思在现有技术基础上通过逻辑分析、推理或者根据有限的实验可以得到的技术方案，均应该在由本权利要求书所确定的保护范围之中。

Claims (10)

1.一种基于视觉显著性的机器人高效运动跟踪方法，其特征在于，包括如下步骤:
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对所述两路视频信息进行特征提取和运动分割得到运动物体的像素点；
S3、求解所述运动物体的重心，并计算所述运动物体的重心位置偏差、偏差增量以及方向偏差；所述重心位置偏差为所述运动物体的重心与像素平面中心点的偏差；所述偏差增量为所述重心位置偏差在多帧图像中的变化量；所述方向偏差为所述运动物体的重心与所述像素平面中心点的方向偏差；
S4、根据所述重心位置偏差、偏差增量以及方向偏差计算所述运动物体的视觉显著性；
S5、在所述视觉显著性高于跟踪阈值时，确定所述运动物体为跟踪物体；
S6、驱动机器人对所述跟踪物体进行运动跟踪。
2.如权利要求1所述的基于视觉显著性的机器人高效运动跟踪方法，其特征在于，所述步骤S2中，使用特征点匹配和块匹配算法分离得到所述运动物体的像素点。
3.如权利要求2所述的基于视觉显著性的机器人高效运动跟踪方法，其特征在于，所述步骤S3的具体步骤包括：
S31、使用以下公式计算所述运动物体的重心位置偏差sk：
sk＝skx+sky＝[Δxk,Δyk][Δxk,Δyk]T；
skx＝Δxk 2，sky＝Δyk 2；
其中，Δxk＝xki-xo、Δyk＝yki-yo；(xki，yki)和(xo，yo)分别为运动物体的重心的坐标和像素平面中心点的坐标，i表示第i帧图像；k表示第k个运动物体；
S32、使用以下公式计算所述运动物体的偏差增量Δsk：
Figure FDA0002560524280000011
S33、使用以下公式计算所述运动物体的方向偏差Δδk：
Δδk＝Δxk/Δyk。
4.如权利要求3所述的基于视觉显著性的机器人高效运动跟踪方法，其特征在于，所述步骤S4中，使用以下公式计算所述运动物体的视觉显著性：
Si＝γi(wi1sk+wi2Δsk+wi3Δδk)
其中：γi为调整系数；
Figure FDA0002560524280000012
且
Figure FDA0002560524280000013
其中：
Figure FDA0002560524280000021
l1为Σ求和变量；m为所述运动物体的像素数量。
5.如权利要求4所述的基于视觉显著性的机器人高效运动跟踪方法，其特征在于，所述调整系数根据以下公式进行计算：
Figure FDA0002560524280000022
其中，
Figure FDA0002560524280000023
其中
Figure FDA0002560524280000024
表示第i帧图像的运动物体的偏差增量Δsk，
Figure FDA0002560524280000025
表示第i-1帧图像的运动物体的偏差增量Δsk，l2为求和变量，n为所述运动物体的匹配的特征点数。
6.一种基于视觉显著性的机器人高效运动跟踪系统，其特征在于，包括移动机器人和数字信号处理系统；所述移动机器人包括：
通讯模块，用于与所述数字信号处理系统建立连接并传输数据及指令；
机器人控制单元，用于根据接收到的机器人控制量控制机器人的移动；
两个摄像头，对周围环境进行摄取而得到两路视频信息；
所述数字信号处理系统为嵌入式系统，包括：
通讯模块，用于与所述移动机器人建立连接并传输数据及指令；
数字信号处理器，用于执行以下步骤：
S1、获取机器人上的两个摄像头所获取的两路视频信息；
S2、对所述两路视频信息进行特征提取和运动分割得到运动物体的像素点；
S3、求解所述运动物体的重心，并计算所述运动物体的重心位置偏差、偏差增量以及方向偏差；所述重心位置偏差为所述运动物体的重心与像素平面中心点的偏差；所述偏差增量为所述重心位置偏差在多帧图像中的变化量；所述方向偏差为所述运动物体的重心与所述像素平面中心点的方向偏差；
S4、根据所述重心位置偏差、偏差增量以及方向偏差计算所述运动物体的视觉显著性；
S5、在所述视觉显著性高于跟踪阈值时，确定所述运动物体为跟踪物体；
S6、通过所述机器人控制单元驱动所述移动机器人对所述跟踪物体进行运动跟踪。
7.如权利要求6所述的基于视觉显著性的机器人高效运动跟踪系统，其特征在于，所述步骤S2中，使用特征点匹配和块匹配算法分离得到所述运动物体的像素点。
8.如权利要求7所述的基于视觉显著性的机器人高效运动跟踪系统，其特征在于，所述步骤S3的具体步骤包括：
S31、使用以下公式计算所述运动物体的重心位置偏差sk：
sk＝skx+sky＝[Δxk,Δyk][Δxk,Δyk]T；
skx＝Δxk 2，sky＝Δyk 2；
其中，Δxk＝xki-xo、Δyk＝yki-yo；(xki，yki)和(xo，yo)分别为运动物体的重心的坐标和像素平面中心点的坐标，i表示第i帧图像；k表示第k个运动物体；
S32、使用以下公式计算所述运动物体的偏差增量Δsk：
Figure FDA0002560524280000031
S33、使用以下公式计算所述运动物体的方向偏差Δδk：
Δδk＝Δxk/Δyk。
9.如权利要求8所述的基于视觉显著性的机器人高效运动跟踪系统，其特征在于，所述步骤S4中，使用以下公式计算所述运动物体的视觉显著性：
Si＝γi(wi1sk+wi2Δsk+wi3Δδk)
其中：γi为调整系数；
Figure FDA0002560524280000032
且
Figure FDA0002560524280000033
其中：
Figure FDA0002560524280000034
l1为Σ求和变量；m为所述运动物体的像素数量。
10.如权利要求9所述的基于视觉显著性的机器人高效运动跟踪系统，其特征在于，所述调整系数根据以下公式进行计算：
Figure FDA0002560524280000035
其中，
Figure FDA0002560524280000036
其中
Figure FDA0002560524280000037
表示第i帧图像的运动物体的偏差增量Δsk，
Figure FDA0002560524280000038
表示第i-1帧图像的运动物体的偏差增量Δsk，l2为求和变量，n为所述运动物体的匹配的特征点数。
CN201910688858.4A 2019-07-29 2019-07-29 一种基于视觉显著性的机器人高效运动跟踪方法及系统 Active CN110415273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910688858.4A CN110415273B (zh) 2019-07-29 2019-07-29 一种基于视觉显著性的机器人高效运动跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910688858.4A CN110415273B (zh) 2019-07-29 2019-07-29 一种基于视觉显著性的机器人高效运动跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN110415273A CN110415273A (zh) 2019-11-05
CN110415273B true CN110415273B (zh) 2020-09-01

Family

ID=68363670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910688858.4A Active CN110415273B (zh) 2019-07-29 2019-07-29 一种基于视觉显著性的机器人高效运动跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN110415273B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568006A (zh) * 2011-03-02 2012-07-11 上海大学 一种基于视频中物体运动特征的视觉显著性算法
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989437B2 (en) * 2011-05-16 2015-03-24 Microsoft Corporation Salient object detection by composition
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
KR20150055433A (ko) * 2013-11-13 2015-05-21 서울대학교산학협력단 대상물체의 극심한 가려짐 및 불확실한 초기 조건하에서 돌극성 기반의 물체 추적 방법
CN103632372B (zh) * 2013-12-05 2016-02-24 宁波大学 一种视频显著图提取方法
CN103793925B (zh) * 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
US9984473B2 (en) * 2014-07-09 2018-05-29 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
US10055850B2 (en) * 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
CN107452010B (zh) * 2017-07-31 2021-01-05 中国科学院长春光学精密机械与物理研究所 一种自动抠图算法和装置
CN109073385A (zh) * 2017-12-20 2018-12-21 深圳市大疆创新科技有限公司 一种基于视觉的定位方法及飞行器
CN108898657B (zh) * 2018-05-14 2019-04-16 肇庆学院 一种基于平面栅格模型的机器人三维建图方法及系统
CN108694725A (zh) * 2018-05-14 2018-10-23 肇庆学院 一种基于视觉显著性的机器人动态跟踪方法及系统
CN108875683B (zh) * 2018-06-30 2022-05-13 北京宙心科技有限公司 一种机器人视觉跟踪方法及其系统
CN109040673A (zh) * 2018-07-19 2018-12-18 中国科学院深圳先进技术研究院 视频图像处理方法、装置及具有存储功能的装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568006A (zh) * 2011-03-02 2012-07-11 上海大学 一种基于视频中物体运动特征的视觉显著性算法
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法

Also Published As

Publication number Publication date
CN110415273A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
US9615039B2 (en) Systems and methods for reducing noise in video streams
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
CN109711304B (zh) 一种人脸特征点定位方法及装置
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
CN106251348B (zh) 一种面向深度相机的自适应多线索融合背景减除方法
TW202020723A (zh) 移動物體偵測系統及方法
WO2020078140A1 (zh) 一种运动模型的优化系统及方法
Kejriwal et al. A hybrid filtering approach of digital video stabilization for UAV using kalman and low pass filter
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
Wei et al. Real-time moving object detection for video monitoring systems
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
US10708600B2 (en) Region of interest determination in video
CN113781523A (zh) 一种足球检测跟踪方法及装置、电子设备、存储介质
CN110415273B (zh) 一种基于视觉显著性的机器人高效运动跟踪方法及系统
CN108010050A (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
Ryu et al. Video stabilization for robot eye using IMU-aided feature tracker
Yu et al. Accurate motion detection in dynamic scenes based on ego-motion estimation and optical flow segmentation combined method
Zhou et al. Speeded-up robust features based moving object detection on shaky video
CN110244746B (zh) 一种基于视觉注意的机器人动态障碍物避开方法及系统
Zhang et al. A novel hybrid motion detection algorithm based on dynamic thresholding segmentation
Chen et al. HLE-SLAM: SLAM for overexposed construction environment
US20200128183A1 (en) Prominent region detection in scenes from sequence of image frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230616

Address after: 526060 Room 206, Building A, E-commerce Park, University Science Park, Zhaoqing University, Duanzhou District, Zhaoqing, Guangdong Province

Patentee after: Zhaoqing Pengxing Engineering Technology Co.,Ltd.

Address before: 526061 School of Electronics and Electrical Engineering, Donggang Zhaoqing College, Duanzhou District, Zhaoqing City, Guangdong Province

Patentee before: ZHAOQING University