CN117496190A - 一种视觉跟随方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种视觉跟随方法、装置、电子设备和存储介质。具体包括：获取图像采集设备采集的连续帧图像；根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域；根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略；根据跟随策略，对待追踪区域进行视觉跟随。本申请实施例的技术方案，仅通过能够识别RGB颜色的图像即可实现视觉跟踪，能够大大节省硬件设备的成本，同时保证较好的物体跟随能力；处理颜色的识别和确定跟随策略，也降低了现有技术通过大量传感数据进行跟随的计算量，并提高视觉跟随效率。

Description

一种视觉跟随方法、装置、电子设备和存储介质

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种视觉跟随方法、装置、电子设备和存储介质。

背景技术

随着时代的进步和科技的发展，越来越多的厂商开始研究人工智能技术，通过人工智能为产品增加智能化的功能。其中，机器视觉作为让机器人能够拥有“眼睛”的技术，大大提高了机器人的工作能力，在这之中，视觉跟随技术能够帮助机器人在操作过程中实时的保证操作重点不偏移和保持姿态，因此成为广大技术人员研发的重点问题之一。

当前的工业生产中，常采用传感器定位的方式，例如待跟随物体绑定或者佩戴定位设备，机器人检测并处理定位设备发送的传感器数据进行跟随，但需要处理的计算量较大，使得设备处理的性能需求较高，视觉跟随效率较差。

发明内容

本申请提供了一种视觉跟随方法、装置、电子设备和存储介质，以降低视觉跟随的计算量，并提高视觉跟随效率。

根据本申请的一方面，提供了一种视觉跟随方法，所述方法包括：

获取图像采集设备采集的连续帧图像；

根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域；

根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略；

根据跟随策略，对待追踪区域进行视觉跟随。

根据本申请的另一方面，提供了一种视觉跟随装置，包括：

图像获取模块，用于获取图像采集设备采集的连续帧图像；

待追踪区域确定模块，用于根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域；

跟随策略确定模块，用于根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略；

视觉跟随模块，用于根据跟随策略，对待追踪区域进行视觉跟随。

根据本申请的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的视觉跟踪方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本申请任一实施例所述的视觉跟踪方法。

本申请实施例的技术方案，通过对连续帧图像中的色彩进行识别，确定需要进行跟随的待追踪区域，进而确定跟踪策略进行视觉跟踪。仅通过能够识别RGB颜色的图像即可实现视觉跟踪，能够大大节省硬件设备的成本，同时保证较好的物体跟随能力；处理颜色的识别和确定跟随策略，也降低了现有技术通过大量传感数据进行跟随的计算量，并提高视觉跟随效率。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例一提供的一种视觉跟随方法的流程图；

图2是根据本申请实施例二所适用一种视觉跟随方法的流程图；

图3A是本申请实施例三提供的相机视野和跟随区域的示意图；

图3B是本申请实施例三提供的待追踪区域和跟随区域位置的示意图；

图4是根据本申请实施例四提供的一种视觉跟随装置的结构示意图；

图5是实现本申请实施例的视觉跟随方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本申请实施例一提供了一种视觉跟随方法的流程图，本实施例可适用于通过机器视觉进行机器人末端动态跟随的情况，该方法可以由视觉跟随装置来执行，该视觉跟随装置可以采用硬件和/或软件的形式实现，该视觉跟随装置可配置于电子设备中。如图1所示，该方法包括：

S110、获取图像采集设备采集的连续帧图像。

其中，图像采集设备可以是任何用于获取图像的器材，例如可以获取彩色画面的RGB相机等。连续帧图像可以是相机持续获取的多帧图像，例如可以是视频文件也可以是连续间隔拍摄的多帧照片。从这些连续帧图像中可以获取需要进行视觉跟踪的信息。图像采集设备采集的连续帧图像可以进行本地或者云端的存储，以便随时获取进行处理。

S120、根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域。

其中，预设色彩空间颜色值表可以用于对连续帧图像中出现的色彩进行识别，从而确定需要追踪的色彩的形状区域，也即目标色彩对应的待追踪区域。需要说明的是，色彩空间颜色值表可以采用HSV色彩空间对应的颜色值表。通过对连续帧图像中的每个像素的色彩进行检验，确定符合HSV色彩空间中某颜色范围的颜色对应像素在图像中所处的位置，组合起来成为待追踪区域。当然，目标色彩可以由相关技术人员根据实际情况进行预先的设定，例如可以选择红色或者蓝色等，本申请实施例对目标色彩不作限定。

在一种可选实施方式中，所述根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域，可以包括：根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩的目标掩膜；根据目标掩膜对连续帧图像进行色彩过滤，得到目标色彩在连续帧图像上的待追踪区域。

其中，目标掩膜可以是将目标色彩对应的颜色值和色彩空间颜色指标进行筛选，得到目标色彩在颜色空间中的计算掩膜。再通过该目标掩膜与连续帧图像中每个像素进行运算，从而筛选出符合这个目标掩膜的像素点，这些像素点组成的即为目标色彩对应的待追踪区域。例如，在HSV颜色空间值表中，以目标色彩为蓝色为例，蓝色在HSV色彩空间中的颜色阈值为[100，43，46]至[124，255，255]，根据颜色阈值的上下限进行掩膜的计算，得到掩膜后通过OpenCV的色彩函数将掩膜和连续帧图像做“与”操作，从而过滤出目标的蓝色，并得到蓝色区域的像素点的像素坐标，进一步可以计算该蓝色区域的长宽和在连续帧图像中所处的位置。

通过色彩空间颜色值对图像中的目标色彩进行识别，进一步得到目标颜色在连续帧图像中的形状和位置，从而确定待跟踪区域。本申请实施方式提供了一种简单有效的待跟踪区域的确定方式，仅通过计算掩膜对颜色所在区域识别，降低了现有技术中各种传感器数据的处理量，提高了识别速度并有助于提高跟踪效率。

S130、根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略。

其中，跟随区域可以是图像采集设备的视野中固定的一块区域，用于在跟随待追踪区域的过程中尽可能的将跟随区域与之对准，从而达到跟踪的目的。当然，跟随区域可以由相关技术人员根据实际情况或者人工经验进行预先设定，例如将跟随区域设置为长宽都为相机视野区域一半的矩形，并将该矩形设置于相机视野正中央。待追踪区域的像素坐标在前述步骤中可以根据掩膜计算得到的目标色彩的像素点在图像中的像素坐标进行确定。由于跟随区域是预先设定的，那么跟随区域的像素坐标也是已知的。通过待追踪区域的像素坐标和跟随区域的像素坐标，确定图像采集设备(相机)可以进行何种运动能够使跟随区域与待追踪区域进行对准，也即确定跟随策略。实际上，跟随区域只在相机视野内出现，与任何图像没有直接联系，相对于相机的矩形视野，该跟随区域是固定的，并且，在设置跟随区域的大小时，可以将其设置得较小，例如小于目标颜色对应的形状大小。

在一种可选实施方式中，所述根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略，可以包括：根据待追踪区域和预设的跟随区域的像素坐标，确定跟随区域的目标移动方向和移动距离。

可以理解的是，在获取待追踪区域的像素坐标以及跟随区域的像素坐标后，可以对二者像素坐标进行对比，从而确定跟随区域可以向什么方向移动(目标移动方向)和移动多少距离。

S140、根据跟随策略，对待追踪区域进行视觉跟随。

在确定了目标移动方向和移动距离之后，将图像采集设备按照该目标移动方向和移动距离进行运动。可以理解的是，图像采集设备，如相机等，可以安装于串联或并联机器人的末端，因此机器人的末端运动可以实现该跟随运动。

本申请实施例的技术方案，通过对连续帧图像中的色彩进行识别，确定需要进行跟随的待追踪区域，进而确定跟踪策略进行视觉跟踪。仅通过能够识别RGB颜色的图像即可实现视觉跟踪，能够大大节省硬件设备的成本，同时保证较好的物体跟随能力；处理颜色的识别和确定跟随策略，也降低了现有技术通过大量传感数据进行跟随的计算量，并提高视觉跟随效率。

实施例二

图2为本申请实施例二提供的一种视觉跟随方法的流程图，本实施例是在前述各实施方式的基础上对跟随策略的确定过程进行了进一步的细化。如图2所示，该方法包括：

S210、获取图像采集设备采集的连续帧图像。

S220、根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域。

S230、根据待追踪区域与跟随区域的像素坐标，确定待追踪区域和跟随区域之间的相对位置关系。

其中，相对位置关系可以是待追踪区域和跟随区域之间在

在一种可选实施方式中，所述根据待追踪区域与跟随区域的像素坐标，确定待追踪区域和跟随区域之间的相对位置关系，可以包括：根据待追踪区域的像素坐标，确定待追踪区域的至少一个边像素坐标；根据边像素坐标，确定相对位置关系。

其中，由于待追踪区域和跟随区域为矩形，边像素坐标可以是待追踪区域矩形的某条边在图像中的像素坐标。可以理解的是，在图像中矩形的一条边上的所有点的横坐标或者纵坐标全相同。由于跟随区域是预先设定的，也就是说，跟随区域对应的矩形的各边在图像中的像素坐标是已知的。那么通过跟随区域的某条边和待追踪区域对应的那条边的像素坐标，即可确定二者的相对位置关系。特别的，当相机识别出目标颜色的矩形不完整，只能在图像中露出一条完整边，或者两条不完整的边的时候，通过跟随区域的对应方位的边的坐标和待跟踪区域的对应方位的边的坐标进行比对，确定相对位置关系。

进一步的，若待追踪区域在连续帧图像中完全出现，则所述根据边像素坐标，确定相对位置关系，可以包括：根据待追踪区域的长边像素坐标和跟随区域的长边像素坐标，确定待追踪区域和跟随区域之间的纵向位置差；根据待追踪区域的短边像素坐标和跟随区域的短边像素坐标，确定待追踪区域和跟随区域之间的横向位置差；将纵向位置差和横向位置差，作为相对位置关系。

如果待追踪区域的矩形完全出现在了连续帧图像中，那么则可以将跟随区域的矩形中所有的边，分别于待追踪区域的矩形的对应边进行方位、距离的比较，根据边像素坐标计算距离差，从而确定相对位置关系。

可以理解的是，矩形分为长边和短边。在相机视野中，待追踪区域矩形和跟随区域矩形的长边为上下两条边，其像素作为即为长边像素坐标，短边为左右两条边，其像素坐标即为短边像素坐标。那么，通过待追踪区域和跟随区域两个矩形的长边像素坐标可以确定二者在纵向的坐标距离差，也即纵向位置差；同理，通过两个矩形的短边像素坐标可以确定二者在很行的坐标距离差，也即横向位置差。当然，位置差的确定可以根据对应边之间的坐标进行计算确定，也可以根据边像素坐标先确定两个矩形的中点，进而计算两个矩形的中点之间的距离差，也可以得到相对位置关系，本申请实施例对此不作限定。

在一种可选实施方式中，所述根据待追踪区域的长边像素坐标和跟随区域的长边像素坐标，确定待追踪区域和跟随区域之间的纵向位置差，可以包括：根据待追踪区域的长边像素坐标和跟随区域的长边像素坐标，确定待追踪区域和跟随区域的上宽度差值和下宽度差值；根据上宽度差值和下宽度差值，确定纵向位置差。

需要说明的是，长边包括上下两条边，待追踪区域的上边和跟随区域的上边之间存在距离差值，也即上宽度差值；同理，待追踪区域的下边和跟随区域的下边之间存在距离差值，也即下宽度差值。可以理解的是，若上宽度差值和下宽度差值相等，那么说明在纵向上跟随区域已经和待追踪区域进行对准。如果上宽度差值大于下宽度差值，则说明当前跟随区域距更偏向待追踪区域的下边，那么相应的跟随策略可以是向上移动。而移动的距离可以根据上宽度差值和下宽度差值之间的差，也即纵向位置差来确定。例如可以设置移动比率，将纵向位置差和移动比率的积，作为移动距离。该移动比率可以由相关技术人员根据实际情况或者人工经验进行设定，本申请实施例不作限定。

相应的，所述根据待追踪区域的短边像素坐标和跟随区域的短边像素坐标，确定待追踪区域和跟随区域之间的横向位置差，可以包括：根据待追踪区域的短边像素坐标和跟随区域的短边像素坐标，确定待追踪区域和跟随区域的左宽度差值和右宽度差值；根据左宽度差值和右宽度差值，确定横向位置差。

需要说明的是，短边包括左右两条边，待追踪区域的左边和跟随区域的左边之间存在距离差值，也即左宽度差值；同理，待追踪区域的右边和跟随区域的右边之间存在距离差值，也即右宽度差值。可以理解的是，若左宽度差值和右宽度差值相等，那么说明在横向上跟随区域已经和待追踪区域进行对准。如果左宽度差值大于右宽度差值，则说明当前跟随区域距更偏向待追踪区域的右边，那么相应的跟随策略可以是向左移动。而移动的距离可以根据左宽度差值和右宽度差值之间的差，也即横向位置差来确定。例如可以设置移动比率，将横向位置差和移动比率的积，作为移动距离。该移动比率可以由相关技术人员根据实际情况或者人工经验进行设定，本申请实施例不作限定。

上述实施方式，通过将待追踪区域的边和跟随区域的边进行距离差值的比较，从而确定跟随区域和待追踪区域之间在相机视野或图像中的位置差，从而有助于简单、快速的确定相对位置关系，也就有助于提高跟随策略的决定效率，进而有助于提高视觉跟随的效率。

S240、根据相对位置关系，确定跟随策略。

在前述步骤确定待追踪区域和跟随区域之间的相对位置关系后，确定相机视野可以以何种方式进行跟随移动。

S250、根据跟随策略，对待追踪区域进行视觉跟随。

本申请实施例的技术方案，进一步通过对比待追踪区域和跟随区域之间各边的像素坐标，确定相对位置关系，从而进一步提高了确定跟随策略的效率，能在减少计算量的同时以简单的方式确定跟随的主体和需要移动的方向与距离，提高了视觉跟随的效率。

实施例三

图3A是本申请实施例三提供的相机视野和跟随区域的示意图。本申请实施例是在前述各实施方式的基础上提供的一种优选实施例，如图3所示，具体包括：

给定一个待跟随物体，该物体面向相机侧贴上纯色的贴纸或者涂上或本身带有同色的区域块。给定一个跟随的物体，以六轴机械臂为例，然后将RGB相机绑定在机械臂的第六个关节或者末端法兰处。

如图3A所示，设定相机视野的跟随区域。从RGB相机中输出图像区域即为相机视野的图像区域，以1920×960分辨率的相机来说，相机视野的中图像区域的长度Xsrc＝1920，Ysrc＝960。相机视野中跟随区域设定以相机视野区域的长宽比例来设定，整个跟随区域位于相机视野的正中心，以跟随区域缩放比例ratio＝0.5(跟随区域缩放比例是指跟随区域的长与相机视野区域的长的比值，比例ratio可根据实际情况来定)来设定，那么跟随区域的长度可以是Xf＝960，宽度Yf＝480。

表1 HSV色彩空间颜色值表

读取相机的视频流，根据HSV颜色空间获取待追踪物体的颜色图形。从视频流中获取每一帧图像,根据HSV颜色空间值表(表1)中各项颜色的阈值，计算每个颜色的掩膜，以蓝色为例，最低HSV颜色阈值为[100,43,46],最高的HSV颜色阈值为[124,255,255]。然后根据上下限HSV阈值计算掩膜，求得掩膜以后，使用OpenCV中cv2.bitwise_and函数将掩膜与原图像进行与操作过滤出蓝色区域，记为IMGtarget＝[Xtarget,Ytarget]，其中，Xtarget,Ytarget分别为蓝色区域的长和宽。

如图3B所示，虚线对应矩形框即为上文中提取到的待追踪区域，并确定其长宽分别为Xtarget,Ytarget。然后计算待追踪区域与跟随区域在各条边距离上的差值，得到上宽度差值a1,下宽度差值a2，左宽度差值b1，右宽度差值b2。给定移动比率ratio_move＝2.5(根据实际需求设定)，先计算纵向位置差a＝a1-a2，如果a>0，机械臂就向下移动a×ratio_move长度的距离；如果a<0，机械臂就向上移动|a|×ratio_move长度的距离。接着，计算横向位置差b＝b1-b2，如果b>0，机械臂就向右移动b×ratio_move长度的距离；如果b<0，机械臂就向左移动|b|×ratio_move长度的距离。

然后，继续读取视频流(连续帧图像)，不断地计算每一帧RGB图像数据，重复上述过程识别颜色区域并计算位置差进行跟踪。

实施例四

图4为本申请实施例四提供的一种视觉跟随装置的结构示意图。如图4所示，该装置400包括：

图像获取模块410，用于获取图像采集设备采集的连续帧图像；

待追踪区域确定模块420，用于根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在连续帧图像上的待追踪区域；

跟随策略确定模块430，用于根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略；

视觉跟随模块440，用于根据跟随策略，对待追踪区域进行视觉跟随。

本申请实施例的技术方案，通过对连续帧图像中的色彩进行识别，确定需要进行跟随的待追踪区域，进而确定跟踪策略进行视觉跟踪。仅通过能够识别RGB颜色的图像即可实现视觉跟踪，能够大大节省硬件设备的成本，同时保证较好的物体跟随能力；处理颜色的识别和确定跟随策略，也降低了现有技术通过大量传感数据进行跟随的计算量，并提高视觉跟随效率。

在一种可选实施方式中，所述跟随策略确定模块430，可以包括：

相对位置确定单元，用于根据待追踪区域与跟随区域的像素坐标，确定待追踪区域和跟随区域之间的相对位置关系；

跟随策略确定单元，用于根据相对位置关系，确定跟随策略。

在一种可选实施方式中，所述相对位置确定单元，可以包括：

边坐标确定子单元，用于根据待追踪区域的像素坐标，确定待追踪区域的至少一个边像素坐标；

相对关系确定子单元，用于根据边像素坐标，确定相对位置关系。

在一种可选实施方式中，若待追踪区域在连续帧图像中完全出现，则所述相对关系确定子单元，可以包括：

纵向差确定从单元，用于根据待追踪区域的长边像素坐标和跟随区域的长边像素坐标，确定待追踪区域和跟随区域之间的纵向位置差；

横向差确定从单元，用于根据待追踪区域的短边像素坐标和跟随区域的短边像素坐标，确定待追踪区域和跟随区域之间的横向位置差；

位置关系确定从单元，用于将纵向位置差和横向位置差，作为相对位置关系。

在一种可选实施方式中，纵向差确定从单元可以包括：

上下宽度差确定子从单元，用于根据待追踪区域的长边像素坐标和跟随区域的长边像素坐标，确定待追踪区域和跟随区域的上宽度差值和下宽度差值；

纵向差确定子从单元，用于根据上宽度差值和下宽度差值，确定纵向位置差；

相应的，所述横向差确定从单元可以包括：

左右宽度差确定子从单元，用于根据待追踪区域的短边像素坐标和跟随区域的短边像素坐标，确定待追踪区域和跟随区域的左宽度差值和右宽度差值；

横向差确定子从单元，用于根据左宽度差值和右宽度差值，确定横向位置差。

在一种可选实施方式中，所述待追踪区域确定模块420，可以包括：

目标掩膜确定单元，用于根据连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩的目标掩膜；

待追踪区域确定单元，用于根据目标掩膜对连续帧图像进行色彩过滤，得到目标色彩在连续帧图像上的待追踪区域。

在一种可选实施方式中，所述跟随策略确定模块430，可以具体用于：

根据待追踪区域和预设的跟随区域的像素坐标，确定跟随区域的目标移动方向和移动距离。

本申请实施例所提供的视觉跟踪装置可执行本申请任意实施例所提供的视觉跟踪方法，具备执行各视觉跟踪方法相应的功能模块和有益效果。

实施例五

图5示出了可以用来实施本申请的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如视觉跟随方法。

在一些实施例中，视觉跟随方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的视觉跟随方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视觉跟随方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种视觉跟随方法，其特征在于，所述方法包括：

获取图像采集设备采集的连续帧图像；

根据所述连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在所述连续帧图像上的待追踪区域；

根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略；

根据所述跟随策略，对所述待追踪区域进行视觉跟随。

2.根据权利要求1所述的方法，其特征在于，所述根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略，包括：

根据所述待追踪区域与所述跟随区域的像素坐标，确定所述待追踪区域和所述跟随区域之间的相对位置关系；

根据所述相对位置关系，确定所述跟随策略。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待追踪区域与所述跟随区域的像素坐标，确定所述待追踪区域和所述跟随区域之间的相对位置关系，包括：

根据所述待追踪区域的像素坐标，确定所述待追踪区域的至少一个边像素坐标；

根据所述边像素坐标，确定所述相对位置关系。

4.根据权利要求3所述的方法，其特征在于，若所述待追踪区域在所述连续帧图像中完全出现，则所述根据所述边像素坐标，确定所述相对位置关系，包括：

根据所述待追踪区域的长边像素坐标和所述跟随区域的长边像素坐标，确定所述待追踪区域和所述跟随区域之间的纵向位置差；

根据所述待追踪区域的短边像素坐标和所述跟随区域的短边像素坐标，确定所述待追踪区域和所述跟随区域之间的横向位置差；

将所述纵向位置差和所述横向位置差，作为所述相对位置关系。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待追踪区域的长边像素坐标和所述跟随区域的长边像素坐标，确定所述待追踪区域和所述跟随区域之间的纵向位置差，包括：

根据所述待追踪区域的长边像素坐标和所述跟随区域的长边像素坐标，确定所述待追踪区域和所述跟随区域的上宽度差值和下宽度差值；

根据所述上宽度差值和所述下宽度差值，确定所述纵向位置差；

相应的，所述根据所述待追踪区域的短边像素坐标和所述跟随区域的短边像素坐标，确定所述待追踪区域和所述跟随区域之间的横向位置差，包括：

根据所述待追踪区域的短边像素坐标和所述跟随区域的短边像素坐标，确定所述待追踪区域和所述跟随区域的左宽度差值和右宽度差值；

根据所述左宽度差值和所述右宽度差值，确定所述横向位置差。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述的连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在所述连续帧图像上的待追踪区域，包括：

根据所述连续帧图像和所述预设色彩空间颜色值表，确定待追踪的目标色彩的目标掩膜；

根据所述目标掩膜对所述连续帧图像进行色彩过滤，得到所述目标色彩在所述连续帧图像上的待追踪区域。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述根据待追踪区域和预设的跟随区域的像素坐标，确定所述跟随策略，包括：

根据待追踪区域和预设的跟随区域的像素坐标，确定所述跟随区域的目标移动方向和移动距离。

8.一种视觉跟随装置，其特征在于，包括：

图像获取模块，用于获取图像采集设备采集的连续帧图像；

待追踪区域确定模块，用于根据所述连续帧图像和预设色彩空间颜色值表，确定待追踪的目标色彩在所述连续帧图像上的待追踪区域；

跟随策略确定模块，用于根据待追踪区域和预设的跟随区域的像素坐标，确定跟随策略；

视觉跟随模块，用于根据所述跟随策略，对所述待追踪区域进行视觉跟随。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的视觉跟随方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的视觉跟随方法。