CN111862154B - 机器人视觉跟踪方法、装置、机器人及存储介质 - Google Patents

机器人视觉跟踪方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN111862154B
CN111862154B CN202010668100.7A CN202010668100A CN111862154B CN 111862154 B CN111862154 B CN 111862154B CN 202010668100 A CN202010668100 A CN 202010668100A CN 111862154 B CN111862154 B CN 111862154B
Authority
CN
China
Prior art keywords
area
tracking
target tracking
video image
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010668100.7A
Other languages
English (en)
Other versions
CN111862154A (zh
Inventor
史晶
张啸宇
肖婷
邹晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010668100.7A priority Critical patent/CN111862154B/zh
Publication of CN111862154A publication Critical patent/CN111862154A/zh
Application granted granted Critical
Publication of CN111862154B publication Critical patent/CN111862154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机器人视觉跟踪方法、装置、机器人及存储介质，该方法通过基于预设人体姿态估计模型和目标跟踪算法确定待处理视频中相邻两帧对应的视频图像中包含目标跟踪对象的目标跟踪框，不仅可以保证目标跟踪框定位更加精准，同时也可以实现后续对目标对象的实时跟踪；通过比较这两帧图视频图像中的目标跟踪框得到的比较结果来对目标对象进行跟踪，不仅摆脱了现有基于各种距离传感器受信号影响的问题，保证了跟踪效果，同时由于整个跟踪过程无需用户介入，大大简化了操作，提升了用户体验。

Description

机器人视觉跟踪方法、装置、机器人及存储介质
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种机器人视觉跟踪方法、装置、机器人及存储介质。
背景技术
随着人们生活水平的提高，许多事情可以用机器人代替。自动跟踪机器人可以代替人们进行一些人类很难完成或者很危险的事情，从而给人们的生活带来便捷。
但是，目前的自动跟踪机器人，通常是采用超声波、蓝牙、激光雷达等传感器实现跟踪控制。虽然这种方式可以实现机器人的跟踪，但是由于上述传感器测量范围的局限性，随着距离的变化，信号影响较大，因此跟踪效果不太理想。并且这种实现方式，需要控制者通过持续操作针对机器人的控制设备才能进行跟踪，操作相对繁琐，用户体验较差。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种机器人视觉跟踪方法、装置、机器人及存储介质，旨在解决上述技术问题。
为实现上述目的，本发明提供了一种机器人视觉跟踪方法，所述方法包括：
根据接收到的跟踪指令获取待处理视频；
获取所述待处理视频中相邻两帧对应的视频图像，得到第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像均包括目标跟踪对象；
基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框和第二视频图像中的第二目标跟踪框；
将所述第一目标跟踪框与所述第二目标跟踪框进行比较；
根据比较结果对所述目标跟踪对象进行跟踪。
可选地，所述将所述第一目标跟踪框与所述第二目标跟踪框进行比较，包括：
计算所述第一目标跟踪框的面积，得到第一面积；
计算所述第二目标跟踪框的面积，得到第二面积；
将所述第一面积与所述第二面积进行比较。
可选地，所述将所述第一面积与所述第二面积进行比较，包括：
基于预设的第一变化比例参数对所述第一面积进行调整，得到第一调整面积；
判断所述第一调整面积是否小于所述第二面积；
若所述第一调整面积小于所述第二面积，则生成前进指令；
若所述第一调整面积不小于所述第二面积，则基于预设的第二变化比例参数对所述第一面积进行调整，得到第二调整面积；
判断所述第二调整面积是否大于所述第二面积；
若所述第二调整面积大于所述第二面积，则生成后退指令；
若所述第二调整面积不大于所述第二面积，则生成等待指令。
可选地，所述根据比较结果对所述目标跟踪对象进行跟踪，包括：
根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪。
可选地，在所述根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪之前，所述方法还包括：
根据所述第一视频图像和所述第二视频图像，确定所述目标跟踪对象的第一位置信息；
获取内置定位模块采集到的第二位置信息；
根据所述第一位置信息和所述第二位置信息确定距离所述目标跟踪对象的实际距离；
根据所述实际距离调整移动速度；
所述根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪，包括：
根据所述比较结果调整移动状态，以所述移动速度对所述目标跟踪对象进行跟踪。
可选地，所述根据所述比较结果调整移动状态，以所述移动速度对所述目标跟踪对象进行跟踪，包括：
根据所述第一位置信息和所述第二位置信息确定活动区域；
基于所述活动区域中的障碍物规划跟踪路径；
根据所述比较结果调整移动状态，按照所述跟踪路径以所述移动速度对所述目标跟踪对象进行跟踪。
可选地，在所述根据比较结果对所述目标跟踪对象进行跟踪之后，所述方法还包括：
计算所述第二目标跟踪框的像素中心点；
根据所述像素中心点与预设方向取值区间的关系，生成方向指令；
根据所述方向指令调整移动方向，对所述目标跟踪对象进行跟踪。
此外，为实现上述目的，本发明还提出一种机器人视觉跟踪装置，所述装置包括：
视频获取模块，用于根据接收到的跟踪指令获取待处理视频；
图像获取模块，用于获取所述待处理视频中相邻两帧对应的视频图像，得到第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像均包括目标跟踪对象；
跟踪框确定模块，用于基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框和第二视频图像中的第二目标跟踪框；
比较模块，用于将所述第一目标跟踪框与所述第二目标跟踪框进行比较；
控制模块，用于根据比较结果对所述目标跟踪对象进行跟踪。
此外，为实现上述目的，本发明还提出一种机器人，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器人视觉跟踪程序，所述机器人视觉跟踪程序配置为实现如上文所述的机器人视觉跟踪方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有机器人视觉跟踪程序，所述机器人视觉跟踪程序被处理器执行时实现如上文所述的机器人视觉跟踪方法的步骤。
本发明机器人视觉跟踪方法，通过基于预设人体姿态估计模型和目标跟踪算法确定待处理视频中相邻两帧对应的视频图像中包含目标跟踪对象的目标跟踪框，不仅可以保证目标跟踪框定位更加精准，同时也可以实现后续对目标对象的实时跟踪；通过比较这两帧图视频图像中的目标跟踪框得到的比较结果来对目标对象进行跟踪，不仅摆脱了现有基于各种距离传感器受信号影响的问题，保证了跟踪效果，同时由于整个跟踪过程无需用户介入，大大简化了操作，提升了用户体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的机器人的结构示意图；
图2为本发明机器人视觉跟踪方法第一实施例的流程示意图；
图3为本发明机器人视觉跟踪方法第一实施例中基于人体姿态估计模型获取目标跟踪对象关节点的示意图；
图4为本发明机器人视觉跟踪方法第二实施例的流程示意图；
图5为本发明机器人视觉跟踪装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的机器人结构示意图。
如图1所示，该机器人可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对机器人的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及机器人视觉跟踪程序。
在图1所示的机器人中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明机器人中的处理器1001、存储器1005可以设置在机器人中，所述机器人通过处理器1001调用存储器1005中存储的机器人视觉跟踪程序，并执行本发明实施例提供的机器人视觉跟踪方法。
本发明实施例提供了一种机器人视觉跟踪方法，参照图2，图2为本发明机器人视觉跟踪方法第一实施例的流程示意图。
本实施例中，所述机器人视觉跟踪方法，包括以下步骤：
步骤S10，根据接收到的跟踪指令获取待处理视频。
具体的说，本实施例中的执行主体具体为机器人中内置的处理器，即由处理器来控制机器人内部相应的组件、模块进行数据处理，进而得到控制指令，控制机器人进行跟踪。
此外，需要说明的是，在实际应用中，上述所说的跟踪指令的类型可以根据机器人具备的功能决定。
比如说，为了方便用户手动控制，可以在机器人上设置触摸屏，从而使机器人具备触摸操控功能，这样所述跟踪指令便可以是用户通过触摸界面上的某个功能图标生成的，即这种情况下所述跟踪指令为动作触发指令。
还比如说，为了尽可能减少用户操作，进一步提升用户体验，可以在机器人上设置语音处理设备，从而使机器人具备语音控制功能，这样所述跟踪指令可以是用户通过语音触发的，即这种情况下所述跟踪指令为语音指令。
此外，关于上述所说的待处理视频，具体为来自安装在机器人上的摄像头拍摄到的视频数据。
在实际应用中，所说摄像头可以是单目摄像头，也可以是双目、三目等多目摄像头。
考虑到实现成本，处理速度，本实施例选择在机器人上设置单目摄像头，从而在尽可能保证跟踪效果的情况下，大大降低了实现成本，提高了处理速度，使得本发明提高的机器人视觉跟踪方案更加适用于工程落地。
此外，关于步骤S10中的操作，在实际应用中，具体可以是在接收到所述跟踪指令时，启动机器人上设置的单目或多目摄像头进行视频数据的拍摄，进而获得所述待处理视频；也可以是在接收到所述跟踪指令之前，用户就先启动机器人上设置的单目或多目摄像头进行视频数据的拍摄，进而在接收到所述跟踪指令时，便可以直接获取所述待处理视频。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
步骤S20，获取所述待处理视频中相邻两帧对应的视频图像，得到第一视频图像和第二视频图像。
具体的说，关于上述所说的相邻两帧对应的视频图像的获取，在具体实现时，可以依据如下方式：
方式一：
截取所述待处理视频的第一帧对应的视频图像作为第一视频图像。
相应地，第二视频图像即为所述待处理视频中第二帧对应的视频图像。
方式二：
截取所述待处理视频当前帧对应的视频图像，即所述待处理视频的当前画面作为第一视频图像。
相应地，所述第二视频图像即为下一时刻接收到的待处理视频的第一帧对应的视频图像。
方式三：
截取所述待处理视频当前帧对应的视频图像，即所述待处理视频的当前画面作为第二视频图像。
相应地，所述第一视频图像即为当前帧的上一帧对应的视频图像。
应当理解的是，以上给出的仅为三种获取第一视频图像和第二视频图像的具体实现方式，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
此外，值得一提的是，本实施例中所说的第一视频图像和第二视频图像中均包含目标跟踪对象。
相应地，在依据上述三种方式确定第一视频图像和第二视频图像时，需要对得到的第一视频图像和第二视频图像进行检测，若检测到有目标跟踪对象存在，则将上述视频图像作为第一视频图像和第二视频图像进行后续处理；否则重新获取相邻两帧对应的视频图像，然后进行目标跟踪对象的检测，直到检测到目标跟踪对象，才将这两帧对应的视频图像作为第一视频图像和第二视频图像。
步骤S30，基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框和第二视频图像中的第二目标跟踪框。
具体的说，本实施例中所说的人体姿态估计模型即通常所说的AlphaPose模型，目标跟踪算法具体为DSST(Discriminatiive Scale Space Tracke，分辨尺度空间跟踪器)。
为了便于理解，以下针对基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框为例(第二目标跟踪框的确定类似)，进行具体说明：
(1)基于预设的AlphaPose模型在所述第一视频图像中确定第一初始跟踪框。
具体的说，上述所说的基于AlphaPose模型在所述第一视频图像中确定第一初始跟踪框的操作，具体是基于AlphaPose模型对所述第一视频图像中的目标跟踪对象进行人体关键点检测，然后通过筛选，得到目标跟踪对象下半身，主要是腿部的关键点像素位置集合。
以图3所示的人体关键点为例，则筛选出的关键点像素位置集合中记载的关键点具体为图3中的人体腰部左侧的关键点11、人体腰部右侧的关键点12、人体左侧膝盖的关键点13、人体右侧膝盖的关键点14、人体左侧脚踝的关键点15、人体右侧脚踝的关键点16这6个关键点。
接着，设第一初始跟踪框左上角的坐标为(X，Y)，宽为R，高为C。
由于在实际应用中，第一视频图像中可能存在多个目标跟踪对象，因此确定第一初始跟踪框的方式大致可以分为如下两种：
方式一：当基于AlphaPose模型在所述第一视频图像仅检测到一个目标跟踪对象，即仅有上述6个关键点的情况：
首先，分别获取上述6个关键点的坐标信息。为了便于说明，以下将这6个关键点的坐标信息表示为：point11＝(x1，y1)、point12＝(x2，y2)、point13＝(x3，y3)、point14＝(x4，y4)、point15＝(x5，y5)、point16＝(x6，y6)。
然后，按照如下公式(1)计算所述第一初始跟踪框的X、Y、R和C的取值。
最终，基于上述确定的X、Y、R和C的取值，确定第一初始跟踪框。
方式二：当基于AlphaPose模型在所述第一视频图像检测到多个目标跟踪对象，本实施例以两个为例：
首先，根据上述方式一种给出的方式，分别计算两个对象所在的初始框，以下称对象1所在的初始框为box1和对象2所在的初始框为box2。
然后，计算所述第一视频图像的中线位置(此处以表示)，以及对象1对应的box1的中点横坐标x1，对象2对应的box2的中点横坐标x2。
接着，按照如下公式(2)计算x1距离的距离L1，以及x2距离/>的距离L2。
最后，取min(L1，L2)最小值对应的初始框作为第一初始跟踪框。
应当理解的是，以上给出的仅为两种具体情况下，确定第一初始跟踪框的实现方式，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
此外，在实际应用中，针对第一视频图像中存在多个对象的情况，为了从多个对象中确定最终需要跟踪的目标跟踪对象，进而确定第一初始跟踪框。可以通过以下方式先从多个对象中筛选出目标跟踪对象，进而按照方式一的操作，确定第一初始跟踪框。
比如，根据各对象的相对位置、方向确定距离机器人最近的对象为目标跟踪对象。
还比如，从所述待处理视频中获取各对象的声音信息，通过基于现有的音色、声纹处理技术，提取各对象的音色、声纹特征，然后与提供的语音跟踪指令的音色、声纹特征进行特征对比，进而将与提供的语音指令的音色、声纹特征匹配的对象确定为目标跟踪对象。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
此外，值得一提的是，在实际应用中，也会存在获取的第一视频图像和第二视频图像不包含目标跟踪对象的情况，即无法检测到人体关键点的情况，第一初始跟踪框的确定可以按照如下方式：
首先，获取第一视频图像的中心点坐标
然后，设定第一初始跟踪框左上角的横坐标为纵坐标为/>高为宽为/>
最后，基于上述设定的参数取值，确定第一初始跟踪框。
(2)基于所述第一初始跟踪框中的特征信息确定第一初始相关滤波器。
具体的说，上述步骤(2)的操作，具体为：
首先，对所说第一初始跟踪框中的图像块进行特征提取，得到方向梯度直方图特征，以下用F表示。
然后，将特征F和现有的高斯函数G应用到公式(3)，得到第一初始相关滤波器H。
(3)基于所述第二视频图像和所述第一初始相关滤波器确定更新参数。
具体的说，在步骤(3)中，需要先对第二视频图像进而特征提取，得到特征Z。
然后，将特征Z作为输入，与第一初始相关滤波器H按照公式(4)运算，得到响应值y最大的候选目标。
y＝F-1(HtZ) 公式(4)
最后，将响应值y取最大值时对应的位置作为位置滤波器的目标位置，即更新参数。
此外，值得一提的是，关于上述公式(4)的使用，在实际应用中，可以通过如下的公式(5)至公式(8)变形获得。
具体的说，将输入信号f(第一视频图像中的某个图像块)设计为d维特征向量(可选gray或hog)，基于公式(5)建立最小化代价函数构造最优相关滤波器h，如下：
其中，l表示特征的某一维度，λ是正则项系数，作用是消除f频谱中的零频分量的影响，将公式(5)中求得的参数，代入公式(6)，从避免公式(6)分解的分子为零，如下：
由于图像块中的每个像素点需要求解d*d维的线性方程，计算非常耗时，为了得到鲁棒的近似结果，对公式(6)中分子和分母Bt按照公式(7)分别进行更新：
其中，η为学习率。在新的一帧，即第二视频图像中，目标位置可以通过公式(8)求解最大相关滤波器响应值得到：
此外，需要说明的是，由于本实施例采用的目标跟踪算法是DSST算法，因此设计到的相关滤波器除了位置滤波器，还有尺度滤波器。因此，在基于上述公式(3)至公式(8)确定了位置相关滤波器的更新参数之后，还需要进一步确定尺度相关滤波器的更新参数。
即，在第二视频图像中线利用二维的位置相关滤波器确定目标的新候选位置后，还需要再利用一维的尺度相关滤波器以当前中心位置为中心点，获取不同尺度的候选图像块patch，从而找到最匹配的尺度。尺度的选择原则具体依据公式(9)确定：
其中，P和R分别为目标，即目标跟踪对象在前一帧(第一视频图像)的宽高，a为尺度因子，取1.02，S为尺度的数量，可以取33。
此外，值得一提的是，上述尺度不是线性关系，而是由精到粗(从内到外的方向)的检测过程。
(4)基于所述更新参数对所述第一初始跟踪框进行更新得到第一目标跟踪框。
应当理解的是，以上给出的仅为一种确定目标跟踪框(第一目标跟踪框和第二目标跟踪框)的具体实现方式，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
步骤S40，将所述第一目标跟踪框与所述第二目标跟踪框进行比较。
具体的说，在本实施例中比较的是第一目标跟踪框和第二目标跟踪框的面积。
故而，在实现上述步骤S40时，具体是通过以下流程实现：
(1)计算所述第一目标跟踪框的面积，得到第一面积；计算所述第二目标跟踪框的面积，得到第二面积。
应当理解的是，在确定第一目标跟踪框和第二目标跟踪框的面积时，具体可以参照上述步骤S30中确定第一初始跟踪框的宽和高的方式，确定第一目标跟踪框和第二目标跟踪框分别对应的宽和高；然后根据各自对应的宽和高，确定对应的面积，进而得到第一面积和第二面积。
(2)将所述第一面积与所述第二面积进行比较。
为了便于理解，本实施例给出一种具体的比较方式，具体如下：
(2.1)基于预设的第一变化比例参数对所述第一面积进行调整，得到第一调整面积。
具体的说，由于在实际应用中，目标跟踪对象在相邻两帧对应的视频图像中的移动变换可能较小，如果直接将第一面积与第二面积进行比较，可能会使得机器人不断调整移动状态，进而造成机器人频繁抖动，影响跟踪效果。因此，为了避免这一现象的发生，本实施例预设了一个放大比例参数，即上述所说的第一变化比例参数，一个缩小比例参数，即后面出现的第二变化比例参数。
相应地，在将第一面积与第二面积进行比较时，需要先基于预设的第一变化比例参数对所述第一面积进行调整。在本实施例中，具体为将所述第一变化比例参数与所述第一面积做乘法运算，进而得到放大后的第一调整面积。
(2.2)判断所述第一调整面积是否小于所述第二面积。
具体的说，若通过判断，确定所述第一调整面积小于所述第二面积，则生成前进指令，即将所述前进指令作为比较结果，或者直接将“所述第一调整面积小于所述第二面积”作为比较结果。
若通过判断，确定所述第一调整面积不小于所述第二面积，则执行步骤(2.3)。
(2.3)基于预设的第二变化比例参数对所述第一面积进行调整，得到第二调整面积。
与上述步骤(2.1)的操作类似，此处基于第二变化比例参数对所述第二面积进行的调整，具体是将第二变化比例参数与第二面积做乘法运算，进而得的缩小后的第一调整面积。
(2.4)判断所述第二调整面积是否大于所述第二面积.。
具体的说，若通过判断，确定所述第二调整面积大于所述第二面积，则生成后退指令，即将所述后退指令作为比较结果，或者直接将“所述第二调整面积大于所述第二面积”作为比较结果。
若通过判断，确定所述第二调整面积不大于所述第二面积，则生成等待指令，即将所述等待指令作为比较结果，或者直接将“所述第一调整面积不小于所述第二面积，且所述第二调整面积不大于所述第二面积”作为比较结果。
此外，关于上述所说的第一变化比例参数和第二变化比例参数，本方案的发明人通过大量实验发现，第一变化比例参数的取值优选1.1，第二变化比例参数的取值优选0.8。通过基于这两个取值的变化比例参数对第一面积进行调整后，再按照上述判断过程与第二面积进行比较，不仅可以有效避免机器人出行频繁抖动的现象，又可以使机器人能够及时准确的对目标跟踪对象进行跟踪。
步骤S50，根据比较结果对所述目标跟踪对象进行跟踪。
为了便于理解，本实施例以上述给出的两种比较结果的形式为例，进行具体说明。
方式一：比较结果直接为控制指令
针对这种方式，在根据比较结果对所说目标跟踪对象进行跟踪时，直接从所述比较结果中读取记录的控制指令，然后根据读取到的控制指令，控制机器人作出相应的移动，以实现对目标跟踪对象的跟踪。
具体的，在所述比较结果为前进指令时，直接根据所述前进指令，控制机器人向前移动；在所述比较结果为后退指令时，直接根据所述后退指令，控制机器人向后倒退；在所述比较结果为等待指令时，直接根据所述等待指令，控制机器人停留在原地不动。
方式二：比较结果为判断结果的描述信息
针对这种方式，在根据比较结果对所说目标跟踪对象进行跟踪时，具体可以根据预设的规则，结合比较结果中记录的针对判断结果的描述信息生成相应的控制指令，然后再根据生成的控制指令，控制机器人作出相应的移动，以实现对目标跟踪对象的跟踪。
具体的，在所述比较结果为“所述第一调整面积小于所述第二面积”时，根据该描述信息生成前进指令，进而根据生成的前进指令控制机器人向前移动；在所述比较结果为“所述第二调整面积大于所述第二面积”时，根据该描述信息生成后退指令，进而根据生成的后退指令控制机器人向前后倒退；在所述比较结果为“所述第一调整面积不小于所述第二面积，且所述第二调整面积不大于所述第二面积”时，根据该描述信息生成等待指令，进而根据生成的等待指令控制机器人停留在原地不动。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
本实施例提供的机器人视觉跟踪方法，通过基于预设人体姿态估计模型和目标跟踪算法确定待处理视频中相邻两帧对应的视频图像中包含目标跟踪对象的目标跟踪框，不仅可以保证目标跟踪框定位更加精准，同时也可以实现后续对目标对象的实时跟踪。
此外，通过比较这两帧图视频图像中的目标跟踪框得到的比较结果来对目标对象进行跟踪，不仅摆脱了现有基于各种距离传感器受信号影响的问题，保证了跟踪效果，同时由于整个跟踪过程无需用户介入，大大简化了操作，提升了用户体验。
参考图3，图3为本发明机器人视觉跟踪方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，将对机器人的控制分为移动状态的控制和移动方向的控制，进而通过两者的结合，使得机器人能够更加准确的对目标跟踪对象进行跟踪。为了便于理解，以下结合图3进行具体说明。
需要说明的是，在本实施例中，步骤S10至步骤S40的操作与第一实施例中的实现过程类似，此处不再赘述。以下仅针对步骤S50'至步骤S80进行具体说明：
步骤S50'，根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪。
具体的说，本实施例中所说的根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪，实质就是第一实施例中根据比较结果，控制机器人向前移动，或者向后倒退，或者停留在原地不动。具体的控制过程，可以参照第一实施例的描述，本实施例不再赘述。
此外，值得一提的是，为了使机器人能够更好的对目标跟踪对象进行跟踪，在执行步骤S50'的时候，还可以根据机器人距离目标跟踪对象的距离，适时调整机器人的移动速度，然后根据所述比较结果调整移动状态，并以适合当前的移动速度进行移动，以实现对目标跟踪对象的跟踪。
为了便于理解，本实施例给出一种调整移动速度的具体实现方案，具体如下：
(1)根据所述第一视频图像和所述第二视频图像，确定所述目标跟踪对象的第一位置信息。
具体的说，上述所说的第一位置信息实质为所述目标跟踪对象在实际场景中的物理坐标位置。
此外，在本实施例中，关于上述所说的第一位置信息的确定，具体可以是通过如下方式实现：首先，提取所目标跟踪对象的特征信息；然后，根据提取到的特征信息确定所述目标跟踪对象在所述第一视频图像中的第一像素坐标，以及在所述第二视频图像中的第二像素坐标；最后，根据确定的第一像素坐标和第二像素坐标确定所述目标跟踪对象的第一位置信息。
(2)获取内置定位模块采集到的第二位置信息；
具体的说，此处所说的定位模块是指设置在机器人内，用于进行定位的芯片，或者组件等。
相应地，采集到的第二位置信息即为机器人当前时刻所处的实际物理坐标位置。
(3)根据所述第一位置信息和所述第二位置信息确定距离所述目标跟踪对象的实际距离。
应当理解的是，由于第一位置信息和第二位置信息均为实际物理坐标，即可以确定目标跟踪对象和机器人当前时刻的横、纵坐标(经、纬度表示)。因此，将所述第一位置信息和所述第二位置信息对应的坐标点应用于两点间距离公式即可计算出当前时刻机器人距离所述目标跟踪对象的实际距离。
(4)根据所述实际距离调整移动速度。
关于上述所说的根据所述实际距离调整移动速度，具体可以是：在所述实际距离大于某一阈值时，可以控制机器人按照预设加减速规则加速移动；反之，则减速移动。
应当理解的是，上述所说的阈值、加减速规则可以根据需要由用户设置，也可以是开发人员预置在机器人内的程序，本实施例对此不做限制。
相应地，上述步骤S50'的操作，具体为：根据所述比较结果调整移动状态，以所述移动速度对所述目标跟踪对象进行跟踪。
进一步地，为了使机器人能够更好的对目标跟踪对象进行跟踪，在控制机器人按照上述步骤S50'的操作对目标跟踪对象进行跟踪的时候，还可以先为机器人规划一条跟踪路径，然后控制机器人根据所述比较结果调整移动状态，按照所述跟踪路径以所述移动速度对所述目标跟踪对象进行跟踪。
关于跟踪路径的规划，具体如下：
首先，根据所述第一位置信息和所述第二位置信息确定活动区域。
具体可以是，以第一位置信息或第二位置信息为圆点，以第一位置信息和第二位置信息确定的距离作为半径，进而圈出机器人的活动区域。
然后，基于所述活动区域中的障碍物规划跟踪路径。
也就是说，在确定机器人的活动区域之后，通过识别针对当前活动区域的视频图像中的障碍物位置，进而规划出机器人的跟踪路径。
此外，值得一提的是，如果在根据上述因素规划处的行走路径有多条时，还可以进一步根据行走时长、距离、困难度等因素，筛选一条最优的路径作为上述所说的跟踪路径。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限制，本领域的技术人员在实际应用中可以根据需要进行设置，此处不做限制。
步骤S60，计算所述第二目标跟踪框的像素中心点。
具体的说，通过第一实施例的描述可知，在确定第二目标跟踪框时，会确定对应的初始跟踪框的宽、高，以及左上角的坐标，而第二目标跟踪框又是基于对与之对应的初始跟踪框进行更新后确定的，因此也可以确定第二目标跟踪框的宽、高，以及左上角的坐标。
因此，基于第二目标跟踪框的宽、高，以及左上角的坐标，便可以快速、准确度的定位第二目标跟踪框的像素中心点，进而确定像素中心点的取值。
步骤S70，根据所述像素中心点与预设方向取值区间的关系，生成方向指令。
具体的说，在本实施例中，生成的方向指令具体为向左转或向右转的方向指令。
关于上述两种方向指令的确定，具体是基于所述像素中心点与预设的方向取值区间的关系确定的。
具体的，在实现本方案时，发明人通过大量实验确定了一个较优的方向取值区间。具体为，设置方向取值区间为(0，50)，如果像素中心点落在该取值范围直接，则生成向左转的方向指令；设置方向取值区间为(400，500)，如果像素中心点落在该取值范围直接，则生成向右转的方向指令。
步骤S80，根据所述方向指令调整移动方向，对所述目标跟踪对象进行跟踪。
具体的说，在生成的方向指令为向左转的方向指令时，上述步骤S80所做的操作具体为，控制机器人向左转，调整机器人的移动方向为向左侧移动。
相应地，在生成的方向指令为向右转的方向指令时，上述步骤S80所做的操作具体为，控制机器人向右转，调整机器人的移动方向为向右侧移动。
此外，由于在步骤S50'中，会控制机器人的移动状态，即向前移动，或者向后倒退，或者原地不动。因此，通过将步骤S50'和步骤S80的结合，可以实现控制机器人向左前方移动，或者右前方移动，或者左后方倒退，或者右后方倒退，从而使得机器人能够更加灵活多变的实现对目标跟踪对象的跟踪。
通过上述描述不难发现，本实施例提供的机器人视觉跟踪方法，通过将对机器人的控制划分为移动方向和移动状态的控制，在控制机器人对目标跟踪对象进行跟踪时，通过合理组合这两种控制方式，从而使得机器人能够更加灵活多变的实现对目标跟踪对象的跟踪。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有机器人视觉跟踪程序，所述机器人视觉跟踪程序被处理器执行时实现如上文所述的机器人视觉跟踪方法的步骤。
参照图5，图5为本发明机器人视觉跟踪装置第一实施例的结构框图。
如图5所示，本发明实施例提出的机器人视觉跟踪装置包括：
视频获取模块5001，用于根据接收到的跟踪指令获取待处理视频；
图像获取模块5002，用于获取所述待处理视频中相邻两帧对应的视频图像，得到第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像均包括目标跟踪对象；
跟踪框确定模块5003，用于基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框和第二视频图像中的第二目标跟踪框；
比较模块5004，用于将所述第一目标跟踪框与所述第二目标跟踪框进行比较；
控制模块5005，用于根据比较结果对所述目标跟踪对象进行跟踪。
本实施例提供的机器人视觉跟踪装置，通过基于预设人体姿态估计模型和目标跟踪算法确定待处理视频中相邻两帧对应的视频图像中包含目标跟踪对象的目标跟踪框，不仅可以保证目标跟踪框定位更加精准，同时也可以实现后续对目标对象的实时跟踪。
此外，通过比较这两帧图视频图像中的目标跟踪框得到的比较结果来对目标对象进行跟踪，不仅摆脱了现有基于各种距离传感器受信号影响的问题，保证了跟踪效果，同时由于整个跟踪过程无需用户介入，大大简化了操作，提升了用户体验。
基于本发明上述机器人视觉跟踪装置第一实施例，提出本发明机器人视觉跟踪装置的第二实施例。
在本实施例中，所述比较模块5004，还用于计算所述第一目标跟踪框的面积，得到第一面积；计算所述第二目标跟踪框的面积，得到第二面积；将所述第一面积与所述第二面积进行比较。
作为一种实施方式，所述比较模块5004，还用于基于预设的第一变化比例参数对所述第一面积进行调整，得到第一调整面积；判断所述第一调整面积是否小于所述第二面积；若所述第一调整面积小于所述第二面积，则生成前进指令；若所述第一调整面积不小于所述第二面积，则基于预设的第二变化比例参数对所述第一面积进行调整，得到第二调整面积；判断所述第二调整面积是否大于所述第二面积；若所述第二调整面积大于所述第二面积，则生成后退指令；若所述第二调整面积不大于所述第二面积，则生成等待指令。
作为一种实施方式，所述控制模块5005，还用于根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪。
作为一种实施方式，所述控制模块5005，还用于根据所述第一视频图像和所述第二视频图像，确定所述目标跟踪对象的第一位置信息；获取内置定位模块采集到的第二位置信息；根据所述第一位置信息和所述第二位置信息确定距离所述目标跟踪对象的实际距离；根据所述实际距离调整移动速度。
相应地，所述控制模块5005，还用于根据所述比较结果调整移动状态，以所述移动速度对所述目标跟踪对象进行跟踪。
作为一种实施方式，所述控制模块5005，还用于根据所述第一位置信息和所述第二位置信息确定活动区域；基于所述活动区域中的障碍物规划跟踪路径；根据所述比较结果调整移动状态，按照所述跟踪路径以所述移动速度对所述目标跟踪对象进行跟踪。
作为一种实施方式，所述控制模块5005，还用于计算所述第二目标跟踪框的像素中心点；根据所述像素中心点与预设方向取值区间的关系，生成方向指令；根据所述方向指令调整移动方向，对所述目标跟踪对象进行跟踪。
本发明机器人视觉跟踪装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种机器人视觉跟踪方法，其特征在于，包括：
根据接收到的跟踪指令获取待处理视频；
获取所述待处理视频中相邻两帧对应的视频图像，得到第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像均包括目标跟踪对象；
基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框和第二视频图像中的第二目标跟踪框；
将所述第一目标跟踪框与所述第二目标跟踪框进行比较，具体包括：计算所述第一目标跟踪框的面积，得到第一面积；计算所述第二目标跟踪框的面积，得到第二面积；基于预设的放大比例参数对所述第一面积进行调整，得到第一调整面积；判断所述第一调整面积是否小于所述第二面积；若所述第一调整面积小于所述第二面积，则生成前进指令；若所述第一调整面积不小于所述第二面积，则基于预设的缩小比例参数对所述第一面积进行调整，得到第二调整面积；判断所述第二调整面积是否大于所述第二面积；若所述第二调整面积大于所述第二面积，则生成后退指令；若所述第二调整面积不大于所述第二面积，则生成等待指令；
根据比较结果对所述目标跟踪对象进行跟踪。
2.如权利要求1中所述的机器人视觉跟踪方法，其特征在于，所述根据比较结果对所述目标跟踪对象进行跟踪，包括：
根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪。
3.如权利要求2所述的机器人视觉跟踪方法，其特征在于，在所述根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪之前，所述方法还包括：
根据所述第一视频图像和所述第二视频图像，确定所述目标跟踪对象的第一位置信息；
获取内置定位模块采集到的第二位置信息；
根据所述第一位置信息和所述第二位置信息确定距离所述目标跟踪对象的实际距离；
根据所述实际距离调整移动速度；
所述根据所述比较结果调整移动状态，对所述目标跟踪对象进行跟踪，包括：
根据所述比较结果调整移动状态，以所述移动速度对所述目标跟踪对象进行跟踪。
4.如权利要求3所述的机器人视觉跟踪方法，其特征在于，所述根据所述比较结果调整移动状态，以所述移动速度对所述目标跟踪对象进行跟踪，包括：
根据所述第一位置信息和所述第二位置信息确定活动区域；
基于所述活动区域中的障碍物规划跟踪路径；
根据所述比较结果调整移动状态，按照所述跟踪路径以所述移动速度对所述目标跟踪对象进行跟踪。
5.如权利要求1至4任一项中所述的机器人视觉跟踪方法，其特征在于，在所述根据比较结果对所述目标跟踪对象进行跟踪之后，所述方法还包括：
计算所述第二目标跟踪框的像素中心点；
根据所述像素中心点与预设方向取值区间的关系，生成方向指令；
根据所述方向指令调整移动方向，对所述目标跟踪对象进行跟踪。
6.一种机器人视觉跟踪装置，其特征在于，所述机器人视觉跟踪装置包括：
视频获取模块，用于根据接收到的跟踪指令获取待处理视频；
图像获取模块，用于获取所述待处理视频中相邻两帧对应的视频图像，得到第一视频图像和第二视频图像，所述第一视频图像和所述第二视频图像均包括目标跟踪对象；
跟踪框确定模块，用于基于预设人体姿态估计模型和目标跟踪算法确定第一视频图像中的第一目标跟踪框和第二视频图像中的第二目标跟踪框；
比较模块，用于将所述第一目标跟踪框与所述第二目标跟踪框进行比较，具体包括：计算所述第一目标跟踪框的面积，得到第一面积；计算所述第二目标跟踪框的面积，得到第二面积；基于预设的放大比例参数对所述第一面积进行调整，得到第一调整面积；判断所述第一调整面积是否小于所述第二面积；若所述第一调整面积小于所述第二面积，则生成前进指令；若所述第一调整面积不小于所述第二面积，则基于预设的缩小比例参数对所述第一面积进行调整，得到第二调整面积；判断所述第二调整面积是否大于所述第二面积；若所述第二调整面积大于所述第二面积，则生成后退指令；若所述第二调整面积不大于所述第二面积，则生成等待指令；
控制模块，用于根据比较结果对所述目标跟踪对象进行跟踪。
7.一种机器人，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的机器人视觉跟踪程序，所述机器人视觉跟踪程序配置为实现如权利要求1至5中任一项所述的机器人视觉跟踪方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有机器人视觉跟踪程序，所述机器人视觉跟踪程序被处理器执行时实现如权利要求1至5任一项所述的机器人视觉跟踪方法的步骤。
CN202010668100.7A 2020-07-13 2020-07-13 机器人视觉跟踪方法、装置、机器人及存储介质 Active CN111862154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010668100.7A CN111862154B (zh) 2020-07-13 2020-07-13 机器人视觉跟踪方法、装置、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010668100.7A CN111862154B (zh) 2020-07-13 2020-07-13 机器人视觉跟踪方法、装置、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN111862154A CN111862154A (zh) 2020-10-30
CN111862154B true CN111862154B (zh) 2024-03-01

Family

ID=72983319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010668100.7A Active CN111862154B (zh) 2020-07-13 2020-07-13 机器人视觉跟踪方法、装置、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN111862154B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421285B (zh) * 2021-06-28 2024-03-01 上海齐感电子信息科技有限公司 视觉目标跟踪系统及跟踪方法
CN114463373A (zh) * 2021-12-15 2022-05-10 广州极飞科技股份有限公司 跟踪方法、装置、设备及存储介质
CN114972415B (zh) * 2021-12-28 2023-03-28 广东东软学院 机器人视觉跟踪方法、系统、电子设备及介质
CN117095028B (zh) * 2023-09-01 2024-03-08 广州市星飞达电子科技有限公司 一种基于机器视觉的图像处理跟踪方法及系统
CN116980744B (zh) * 2023-09-25 2024-01-30 深圳市美高电子设备有限公司 基于特征的摄像头追踪方法、装置、电子设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155164A (ja) * 1999-11-26 2001-06-08 Ntt Communications Kk 移動物体追跡装置
JP3242108B2 (ja) * 1992-01-30 2001-12-25 富士通株式会社 ターゲットマークの認識・追跡システム及び方法
JPWO2009113231A1 (ja) * 2008-03-14 2011-07-21 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN107255468A (zh) * 2017-05-24 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108198201A (zh) * 2017-12-19 2018-06-22 深圳市深网视界科技有限公司 一种多目标跟踪方法、终端设备及存储介质
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的系统和方法
CN108830219A (zh) * 2018-06-15 2018-11-16 北京小米移动软件有限公司 基于人机交互的目标跟踪方法、装置及存储介质
CN108875683A (zh) * 2018-06-30 2018-11-23 北京宙心科技有限公司 一种机器人视觉跟踪方法及其系统
CN109483507A (zh) * 2018-12-04 2019-03-19 北京壹氢科技有限公司 一种多个轮式机器人行走的室内视觉定位方法
CN109691090A (zh) * 2018-12-05 2019-04-26 珊口（深圳）智能科技有限公司 移动目标的监控方法、装置、监控系统及移动机器人
CN109697385A (zh) * 2017-10-20 2019-04-30 中移(苏州)软件技术有限公司 一种目标跟踪方法及装置
CN109741369A (zh) * 2019-01-03 2019-05-10 北京邮电大学 一种用于机器人跟踪目标行人的方法及系统
CN110197713A (zh) * 2019-05-10 2019-09-03 上海依智医疗技术有限公司 一种医疗影像的处理方法、装置、设备和介质
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111308993A (zh) * 2020-02-13 2020-06-19 青岛联合创智科技有限公司 一种基于单目视觉的人体目标跟随方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237359A1 (en) * 2006-04-05 2007-10-11 Zehang Sun Method and apparatus for adaptive mean shift tracking
JP2009113231A (ja) * 2007-11-02 2009-05-28 Olympus Corp 画像記録装置、画像記録装置の調整方法及びプログラム
EP3353706A4 (en) * 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3242108B2 (ja) * 1992-01-30 2001-12-25 富士通株式会社 ターゲットマークの認識・追跡システム及び方法
JP2001155164A (ja) * 1999-11-26 2001-06-08 Ntt Communications Kk 移動物体追跡装置
JPWO2009113231A1 (ja) * 2008-03-14 2011-07-21 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的系统和方法
CN107274431A (zh) * 2017-03-07 2017-10-20 阿里巴巴集团控股有限公司 视频内容增强方法及装置
CN107255468A (zh) * 2017-05-24 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
CN109697385A (zh) * 2017-10-20 2019-04-30 中移(苏州)软件技术有限公司 一种目标跟踪方法及装置
CN108198201A (zh) * 2017-12-19 2018-06-22 深圳市深网视界科技有限公司 一种多目标跟踪方法、终端设备及存储介质
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108830219A (zh) * 2018-06-15 2018-11-16 北京小米移动软件有限公司 基于人机交互的目标跟踪方法、装置及存储介质
CN108875683A (zh) * 2018-06-30 2018-11-23 北京宙心科技有限公司 一种机器人视觉跟踪方法及其系统
CN109483507A (zh) * 2018-12-04 2019-03-19 北京壹氢科技有限公司 一种多个轮式机器人行走的室内视觉定位方法
CN109691090A (zh) * 2018-12-05 2019-04-26 珊口（深圳）智能科技有限公司 移动目标的监控方法、装置、监控系统及移动机器人
CN109741369A (zh) * 2019-01-03 2019-05-10 北京邮电大学 一种用于机器人跟踪目标行人的方法及系统
CN110197713A (zh) * 2019-05-10 2019-09-03 上海依智医疗技术有限公司 一种医疗影像的处理方法、装置、设备和介质
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111308993A (zh) * 2020-02-13 2020-06-19 青岛联合创智科技有限公司 一种基于单目视觉的人体目标跟随方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于KCF和SIFT特征的抗遮挡目标跟踪算法;包晓安;詹秀娟;王强;胡玲玲;桂江生;;计算机测量与控制(05);第154-158页 *
基于单目视觉的移动光斑跟踪定位方法;刘晓峰;张春富;唐鹏;;信息技术(01);第56-61页 *

Also Published As

Publication number Publication date
CN111862154A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862154B (zh) 机器人视觉跟踪方法、装置、机器人及存储介质
JP4672175B2 (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
WO2021139484A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
JP5148669B2 (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
JP3885999B2 (ja) 物体検出装置
US7783076B2 (en) Moving-object tracking control apparatus, moving-object tracking system, moving-object tracking control method, and program
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
US10769798B2 (en) Moving object detection apparatus, moving object detection method and program
EP3358294A1 (en) Information processing device, information processing method and program
JP2019028843A (ja) 人物の視線方向を推定するための情報処理装置及び推定方法、並びに学習装置及び学習方法
CN106910206B (zh) 一种目标跟踪方法及装置
JP5001930B2 (ja) 動作認識装置及び方法
CN110378182B (zh) 图像解析装置、图像解析方法及记录介质
WO2018077307A1 (zh) 一种运动控制方法、装置和计算机存储介质
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN115145289A (zh) 多智能体协同围捕方法、系统、设备及存储介质
CN114581678A (zh) 一种模板特征匹配的自动跟踪与重识别方法
CN112639874A (zh) 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN116309719A (zh) 目标跟踪方法、装置、计算机设备和存储介质
JP2003271933A (ja) 顔検出装置及び顔検出方法並びにロボット装置
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP2006259847A (ja) 自動追尾装置及び自動追尾方法
US9958868B2 (en) Moving object controller, moving object control method, and integrated circuit
CN112132864B (zh) 基于视觉的机器人跟随方法及跟随机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant