CN106682572B - 目标跟踪方法、系统和第一电子设备 - Google Patents

目标跟踪方法、系统和第一电子设备 Download PDF

Info

Publication number
CN106682572B
CN106682572B CN201611001901.8A CN201611001901A CN106682572B CN 106682572 B CN106682572 B CN 106682572B CN 201611001901 A CN201611001901 A CN 201611001901A CN 106682572 B CN106682572 B CN 106682572B
Authority
CN
China
Prior art keywords
motion
tracking
target
electronic device
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611001901.8A
Other languages
English (en)
Other versions
CN106682572A (zh
Inventor
卿明
陈鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Publication of CN106682572A publication Critical patent/CN106682572A/zh
Priority to PCT/CN2017/110745 priority Critical patent/WO2018068771A1/zh
Application granted granted Critical
Publication of CN106682572B publication Critical patent/CN106682572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/166Mechanical, construction or arrangement details of inertial navigation systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标跟踪方法、系统和第一电子设备。其中,该方法包括:提供了一种目标跟踪方法,应用于第一电子设备,第一电子设备具有目标跟踪单元,目标跟踪单元用于执行基于视觉的目标跟踪,该方法包括:通过目标跟踪单元执行基于视觉的目标跟踪,并获得针对被跟踪目标的第一跟踪结果;根据用于描述被跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对被跟踪目标的第二跟踪结果;其中,第二跟踪结果与第一跟踪结果相同或不同;用于描述被跟踪目标运动状态的运动信息由设置于被跟踪目标上的第二电子设备基于测量获得。本发明解决了长时间视觉跟踪出现的跟踪准确性低的技术问题,增加了视觉跟踪的鲁棒性。

Description

目标跟踪方法、系统和第一电子设备
技术领域
本发明涉及目标跟踪领域,具体而言,涉及一种目标跟踪方法、系统和第一电子设备。
背景技术
现有技术中,目标跟踪是绝大多数视觉系统中不可或缺的环节,在视频监控、人机交互和军事领域等都有应用。当前的目标跟踪技术在目标运动方式、目标运动场景、目标外在特征的突然改变以及在跟踪目标时对目标的拍摄出现抖动和光照的突然变化等情况下,会出现检测跟踪系统的准确率和稳定性的下降等问题,例如,基于视觉的跟踪技术在长时间跟踪过程中稳定性差,并且在目标物体突然加速运动时候,容易跟丢,对于基于视觉的运动行为分析技术,容易造成在跟踪过程中跟踪数值出现误差累计,从而无法形成闭环调整等问题。
针对上述视觉跟踪的准确性低的问题,目前还没有解决方案。
发明内容
本发明实施例提供了一种目标跟踪方法、系统和第一电子设备,以至少解决长时间视觉跟踪出现的跟踪准确性低的技术问题。
根据本发明实施例的一个方面,提供了一种目标跟踪方法,应用于第一电子设备,所述第一电子设备具有目标跟踪单元,所述目标跟踪单元用于执行基于视觉的目标跟踪,该方法包括:通过所述目标跟踪单元执行基于视觉的目标跟踪,并获得针对被跟踪目标的第一跟踪结果;根据用于描述所述被跟踪目标运动状态的运动信息,并结合所述第一跟踪结果,分析获得针对所述被跟踪目标的第二跟踪结果;其中,所述第二跟踪结果与所述第一跟踪结果相同或不同;所述用于描述所述被跟踪目标运动状态的运动信息由设置于所述被跟踪目标上的第二电子设备基于测量获得。
进一步地,所述运动信息包括针对所述被跟踪目标的运动测量参数,所述运动测量参数存入所述第二电子设备的预定存储空间中,所述运动测量参数至少包括:运动加速度和/或运动角速度;所述第一电子设备通过以下方式获得所述运动测量参数:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内采集得到的所述运动测量参数;所述根据用于描述被跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对被跟踪目标的第二跟踪结果,包括:对所述预定时间段内的所述运动测量参数进行统计分析,获得所述被跟踪目标在预定时间段内的运动描述信息,并根据所述运动描述信息对所述第一跟踪结果进行修正,获得所述第二跟踪结果;其中,所述运动描述信息至少包括运动速度和/或运动方向。
进一步地,所述对所述预定时间段内的所述运动测量参数进行统计分析,获得被跟踪目标在预定时间段内的运动描述信息,包括:结合所述第二电子设备在预定时间段内的运动测量参数、以及所述第一电子设备在所述预定时间段内的自身运动测量参数,综合分析获得所述被跟踪目标在所述预定时间段内相对于所述第一电子设备的运动描述信息。
进一步地,所述运动信息包括对所述被跟踪目标的运动描述信息,所述运动描述信息由所述第二电子设备根据采集获得的预定时间段内的运动测量参数进行统计分析获得,所述运动测量参数至少包括:运动加速度和/或运动角速度,所述运动描述信息至少包括运动速度和/或运动方向,所述运动描述信息存入所述第二电子设备的预定存储空间中;所述第一电子设备通过以下方式获得所述运动描述信息:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内的运动描述信息;所述根据用于描述被跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对被跟踪目标的第二跟踪结果,包括:根据所述预定时间段内的所述运动描述信息,对所述第一跟踪结果进行修正,获得所述第二跟踪结果。
进一步地,所述运动描述信息包括所述被跟踪目标在不同运动方向上的状态概率;根据预定时间段内的运动描述信息,对第一跟踪结果进行修正,获得第二跟踪结果,包括:根据所述被跟踪目标在不同运动方向上的状态概率,以及所述第一跟踪结果所表示的所述被跟踪目标在跟踪图像中的至少一个候选跟踪区域,确定所述被跟踪目标在跟踪图像中的置信跟踪区域,并基于所述置信跟踪区域生成第二跟踪结果;其中,所述状态概率用于表示所述被跟踪目标在不同运动方向上运动的概率。
进一步地,所述方法还包括:当所述预定时间段内的运动描述信息表示所述被跟踪目标在预定时间段内的运动方向为第一方向,所述预定时间段内的第一跟踪结果表征所述被跟踪目标在预定时间段内的运动方向为第二方向,所述第一方向与第二方向不同,且所述被跟踪目标在预定时间段内在所述第一方向上的移动距离大于预设的第一距离阈值,所述被跟踪目标在预定时间段内在所述第二方向上的移动距离大于预设的第二距离阈值时,产生报警提示信息,用于提示所述第一电子设备跟丢所述被跟踪目标。
进一步地,在所述产生报警提示信息之后,所述方法还包括:通过所述目标跟踪单元重新检测所述被跟踪目标,并重新进入基于视觉的目标跟踪。
根据本发明实施例的另一方面,还提供了一种第一电子设备,该第一电子设备包括:目标跟踪单元,所述目标跟踪单元用于执行基于视觉的目标跟踪,并获得针对被跟踪目标的第一跟踪结果;处理器,用于根据用于描述所述被跟踪目标运动状态的运动信息,并结合所述第一跟踪结果,分析获得针对所述被跟踪目标的第二跟踪结果;其中,所述第二跟踪结果与所述第一跟踪结果相同或不同;所述用于描述所述被跟踪目标运动状态的运动信息由设置于所述被跟踪目标上的第二电子设备基于测量获得。
进一步地,所述运动信息包括针对所述被跟踪目标的运动测量参数,所述运动测量参数存入所述第二电子设备的预定存储空间中,所述运动测量参数至少包括:运动加速度和/或运动角速度;所述第一电子设备包括第一读取单元,用于通过以下方式获得所述运动测量参数:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内采集得到的所述运动测量参数;所述处理器进一步用于,对所述预定时间段内的所述运动测量参数进行统计分析,获得所述被跟踪目标在预定时间段内的运动描述信息,并根据所述运动描述信息对所述第一跟踪结果进行修正,获得所述第二跟踪结果;其中,所述运动描述信息至少包括运动速度和/或运动方向。
进一步地,所述处理器进一步用于:结合所述第二电子设备在预定时间段内的运动测量参数、以及所述第一电子设备在所述预定时间段内的自身运动测量参数,综合分析获得所述被跟踪目标在所述预定时间段内相对于所述第一电子设备的运动描述信息。
进一步地,所述运动信息包括对所述被跟踪目标的运动描述信息,所述运动描述信息由所述第二电子设备根据采集获得的预定时间段内的运动测量参数进行统计分析获得,所述运动测量参数至少包括:运动加速度和/或运动角速度,所述运动描述信息至少包括运动速度和/或运动方向,所述运动描述信息存入所述第二电子设备的预定存储空间中;所述第一电子设备包括第二读取单元,用于通过以下方式获得所述运动描述信息:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内的运动描述信息;所述处理器进一步用于,根据所述预定时间段内的所述运动描述信息,对所述第一跟踪结果进行修正,获得所述第二跟踪结果。
进一步地,所述运动描述信息包括所述被跟踪目标在不同运动方向上的状态概率;所述处理器具体用于:根据所述被跟踪目标在不同运动方向上的状态概率,以及所述第一跟踪结果所表示的所述被跟踪目标在跟踪图像中的至少一个候选跟踪区域,确定所述被跟踪目标在跟踪图像中的置信跟踪区域,并基于所述置信跟踪区域生成第二跟踪结果;其中,所述状态概率用于表示所述被跟踪目标在不同运动方向上运动的概率。
进一步地,所述第一电子设备包括报警单元,用于当所述预定时间段内的运动描述信息表示所述被跟踪目标在预定时间段内的运动方向为第一方向,所述预定时间段内的第一跟踪结果表征所述被跟踪目标在预定时间段内的运动方向为第二方向,所述第一方向与第二方向不同,且所述被跟踪目标在预定时间段内在所述第一方向上的移动距离大于预设的第一距离阈值,所述被跟踪目标在预定时间段内在所述第二方向上的移动距离大于预设的第二距离阈值时,产生报警提示信息,用于提示所述第一电子设备跟丢所述被跟踪目标。
进一步地,所述目标跟踪单元还用于在所述产生报警提示信息之后,重新检测所述被跟踪目标,并重新进入基于视觉的目标跟踪。
根据本发明实施例的另一方面,还提供了一种目标跟踪系统,该目标跟踪系统包括:上述实施例中的任意一种第一电子设备,所述第一电子设备用于通过目标跟踪单元执行基于视觉的目标跟踪,并获得针对被跟踪目标的第一跟踪结果,根据用于描述所述被跟踪目标运动状态的运动信息,并结合所述第一跟踪结果,分析获得针对所述被跟踪目标的第二跟踪结果;第二电子设备,设置于所述被跟踪目标上,用于基于测量获得所述用于描述所述被跟踪目标运动状态的运动信息。
通过上述实施例,在跟踪目标的过程中,第一电子设备可接收到来自第二电子设备测量出的目标运动状态的运动信息,根据第二电子设备获取到的目标运动状态的运动信息结合第一电子设备实时获取到的第一跟踪结果经过分析得出被跟踪目标的第二跟踪结果,可以达到实时检测被跟踪目标的运动状态,利用设置在被跟踪目标上的第二电子设备实时测量获得被跟踪目标的运动信息,并结合第一电子设备获取的被跟踪目标的第一跟踪结果,分析得到第二跟踪结果,如利用该运动信息修正第一跟踪结果得到第二跟踪结果,通过上述方案,不是直接将第一电子设备的第一跟踪结果作为最终的结果,而是结合第二电子设备测量得到的被跟踪目标的运动信息分析得到第二跟踪结果,得到的结果更加准确,解决了现有技术中跟踪目标时准确性低的问题,增加了视觉跟踪的鲁棒性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选地目标跟踪方法的流程图一;
图2是根据本发明实施例的一种可选地第一电子设备的结构图;
图3是根据本发明实施例的一种可选地目标跟踪系统的示意图;
图4是根据本发明实施例的一种可选地目标跟踪方法的实施场景的示意图;
图5是根据本发明实施例的一种可选地目标跟踪方法的流程图二。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
名词解释:
视觉跟踪:指对图像序列中的运动目标进行检测、提取、识别和跟踪,获得运动目标的运动参数,如位置、速度、加速度和运动轨迹等,从而进行下一步的处理与分析,实现对运动目标的行为理解,以完成更高一级的检测任务。
IMU:Inertial measurement unit,惯性测量单元;是测量物体三轴姿态角(或角速率)以及加速度的装置。陀螺仪及加速度计是IMU的主要元件,其精度直接影响到惯性系统的精度。一般情况,一个IMU包含了三个单轴的加速度计和三个单轴的陀螺仪,加速度计检测物体在载体坐标系统独立三轴的加速度信号,而陀螺仪检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
根据本发明实施例,提供了一种目标跟踪方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种可选的目标跟踪方法的流程图一,如图1所示,该方法包括如下步骤:
步骤S102,通过目标跟踪单元执行基于视觉的目标跟踪,并获得针对被跟踪目标的第一跟踪结果;
步骤S104,根据用于描述被跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对被跟踪目标的第二跟踪结果;
其中,该方法应用于第一电子设备,第一电子设备具有目标跟踪单元,目标跟踪单元用于执行基于视觉的目标跟踪;第二跟踪结果与第一跟踪结果相同或不同;用于描述被跟踪目标运动状态的运动信息由设置于被跟踪目标上的第二电子设备基于测量获得。
通过上述步骤,在跟踪目标的过程中,第一电子设备可接收到来自第二电子设备测量出的目标运动状态的运动信息,根据第二电子设备获取到的目标运动状态的运动信息结合第一电子设备实时获取到的第一跟踪结果经过分析得出跟踪目标的第二跟踪结果,可以达到实时检测跟踪目标的运动状态,利用设置在跟踪目标上的第二电子设备实时测量获得跟踪目标的运动信息,并结合第一电子设备获取的跟踪目标的第一跟踪结果,分析得到第二跟踪结果,如利用该运动信息修正第一跟踪结果得到第二跟踪结果,通过上述方案,不是直接将第一电子设备的第一跟踪结果作为最终的结果,而是结合第二电子设备测量得到的跟踪目标的运动信息分析得到第二跟踪结果,得到的结果更加准确,解决了现有技术中跟踪目标时准确性低的问题,增加了视觉跟踪的鲁棒性。
上述实施例中,可在跟踪目标的身上配置一种可检测目标运动状态的移动设备(即第二电子设备),而无需繁琐的外围设备,结合该第二电子设备得到的运动信息与第二电子设备得到的第一跟踪结果得到第二跟踪结果,不仅可以得到准确的跟踪结果,而且可以降低跟踪成本。
对于上述实施例,该方案应用于第一电子设备,第一电子设备可以是一种检测跟踪目标的运动状态的移动设备,该移动设备可以设置有目标跟踪单元,该目标跟踪单元可用于执行基于视觉的目标跟踪。
上述实施例中的第一电子设备可以有相应的跟踪系统,该跟踪系统可以安装在第一电子设备上,其用于控制第一电子设备的各个单元工作,该跟踪系统向第一电子设备的各个单元发出指令,该指令可以指示第一电子设备的各个单元工作,从而使得第一电子设备可以跟踪目标,其中,该指令的表现形式可以为数据包或代码,第一电子设备中的各个单元在接收到指令后,根据指令信息执行相应的任务,从而可以与第二电子设备交互,达到准确跟踪目标的功能。
可选地,第一电子设备可以是机器人。
对于上述实施例,通过目标跟踪单元执行基于视觉的目标跟踪,并获得针对跟踪目标的第一跟踪结果,其中,该目标跟踪单元可以设置有检测装置,该检测装置可以检测跟踪目标的第一位置信息以及跟踪目标的运动状态,该运动状态包括运动方向和运动角度。对于上述目标跟踪单元,可以通过检测装置检测跟踪目标的位置,获取到目标的第一位置,目标跟踪单元获取到跟踪目标的第一位置后,将该第一位置的位置信息形成第一数据,该数据可以包括跟踪目标所处的坐标信息、当期时间以及跟踪目标与第一电子设备之间的距离,其中,上述的坐标信息可以是根据第一电子设备中的定位单元获取的,目标跟踪单元先将获取的第一数据存储起来,然后目标跟踪单元将第一数据传输到第一电子设备的存储单元中,第一电子设备获取到第一数据后,再次向目标跟踪单元发出检测指令,目标跟踪单元根据接收的检测指令,再次获取跟踪目标的第二位置信息,之后,目标跟踪单元将获取到的跟踪目标的第二位置信息形成第二数据,目标跟踪单元将获取到的第二数据发送到第一电子设备中,然后第一电子设备根据第一数据和第二数据,经过比较分析,得到跟踪目标的移动方向、移动速度以及当前跟踪目标的当前坐标数据。其中,跟踪目标的移动方向可以根据第二数据的跟踪目标的坐标相对于第一数据的跟踪目标的坐标判断出跟踪目标的移动方向,判断跟踪目标的移动速度可以根据第一数据中的所处时间和第二数据中的所处时间以及跟踪目标的移动距离来判断出跟踪目标在第一数据和第二数据之间移动时的移动速度。最后,第一电子设备将分析出的跟踪目标的移动方向、坐标信息、移动速度、移动时间以及跟踪目标与该第一电子设备之间的距离形成第一跟踪结果,第一电子设备将第一跟踪结果形成数据存储起来,之后将第一跟踪结果发送到目标跟踪单元。
可选的,上述实施例中的第一电子设备可以通过无线的形式传输数据,同时第一电子设备的系统根据第一跟踪结果发送指令到第一电子设备的目标跟踪单元,使第一电子设备移动,其移动的方向和速度可以与根据第一跟踪结果中跟踪目标的移动方向和移动速度一致,也可以适当的调整其跟踪速度和方向,例如,如果第一电子设备与跟踪目标的距离较远,其可以在启动时超出第一跟踪结果中跟踪目标的移动速度,在第一电子设备与跟踪目标的距离达到预先设置的距离时,第一电子设备的跟踪速度可以降低到与第一跟踪结果中的移动速度一致。
可选的,运动目标的运动方向包括以下至少之一:前进、后退、停止、左移、和右移。
可选的,上述实施例中的目标跟踪单元可以包括RFID(射频识别:radiofrequency identification)。
可选的,上述实施例中的跟踪目标可以是人或物品,该跟踪目标可以是移动的。
对于上述实施例,在获得跟踪目标的第一跟踪结果后,执行步骤S104,根据用于描述跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对跟踪目标的第二跟踪结果,其中,用于描述跟踪目标运动状态的运动信息由设置于跟踪目标身上的第二电子设备获取,该第二电子设备包括检测单元、处理单元、存储单元,该检测单元可以检测出跟踪目标的移动状态,可以根据第二电子设备的系统发出的指令执行检测操作,该检测单元接收到指令后,开始检测当前第二电子设备所处的坐标信息,同时获取到跟踪目标的信息,检测单元将该信息传输到存储单元形成第一数据,该第一数据包括当前跟踪目标的坐标、当前时间、跟踪目标的移动方向,检测单元将该坐标信息和当前时间形成第一数据传输到第二电子设备的存储单元,第二电子设备获取到第一数据后,系统再次发出指令到检测单元,该检测单元再次接收到指令后,可以再次检测第二电子设备的坐标以及跟踪目标的信息,检测单元将该信息传输到存储单元形成第二数据,第二电子设备根据第一数据和第二数据分析跟踪目标的移动角度和移动速度,随后第二电子设备不断的根据上述方式检测跟踪目标的移动信息,最后,第二电子设备将跟踪目标的移动方向、移动速度以及变化的时间等信息存储起来,形成第二运动数据。
对于上述实施例,第一电子设备得到根据第一跟踪结果后,可以通过读取单元读取到第二电子设备的第二运动数据,第一电子设备在获取到第二运动数据后,与第一跟踪结果比较,得出第二跟踪结果,第二跟踪结果与第一跟踪结果可以相同也可以不同,当第一跟踪结果与第二跟踪结果相同时,第一跟踪结果可以不用更新数据,第一电子设备可以按照第一跟踪结果来移动,同时可以根据第一跟踪结果来预估跟踪目标的移动方向和移动速度,该预估结果可以和第一跟踪结果相同也可以不同;当第一跟踪结果与第二跟踪结果不同时,第一电子设备判断该结果偏差的大小,这里可以给比较结果的偏差值设定一个阈值,该阈值是根据跟踪目标的运动状态确定的(例如,移动速度设为5米/分钟),在第一跟踪结果与第二跟踪结果的比较结果差值较大(例如,比较结果的差值超出阈值),第一跟踪结果需要改变,其中跟踪目标的运动方向、运动速度、坐标以及跟踪目标的运动变化角度可以更新,其更新的数据可以是第二跟踪结果中的数据也可以是参考第二跟踪结果的数据进行调整,如果第一跟踪结果与第二跟踪结果的比较结果差值较小,例如,该比较结果的差值低于阈值时,该第一跟踪结果可以不更新。
对于上述实施例中的第一跟踪结果与第二跟踪结果比较结果差值较大时,可以得出第一电子设备在跟踪过程中“跟丢”的结果,从而更新数据,改变第一电子设备的运动方向、运动速度以及运动角度。
具体地,上述实施例在得出第二跟踪结果后,可以分析得出多个结论,例如:跟踪目标建模和/或跟踪目标定位。其中,目标建模分为离线目标建模和在线目标建模,离线目标建模是指在开始跟踪之前就已经训练好跟踪目标的模型,然后在实时跟踪过程中进行判别是否为跟踪目标;在线目标建模是指在跟踪过程中不断地学习与更新目标模型,同时进行跟踪目标的判别。
优选的,上述实施例中的第二电子设备中可以是内置IMU芯片的移动通信设备(例如:遥控器、手机),该设备可以将IMU信息实时的传达给第一电子设备,其中第二电子设备的IMU芯片可以是上述实施例的检测单元。
可选的,第二电子设备可以配置在跟踪目标的身上,可以是跟踪目标穿戴的物品,也可以是跟踪目标的手拿着的。
在第一电子设备和第二电子设备传输数据的过程中,可以是有线的数据传输,也可以是无线的数据传输。
可选的,第一电子设备可以包括拍摄装置,该拍摄装置可以拍摄跟踪目标,拍摄装置可以实时的将拍摄到信息传输到第一电子设备中,该拍摄设备可以是摄像机。
可选的,上述实施例中的跟踪可以是视觉跟踪,该视觉跟踪可以通过在第一电子设备中的拍摄装置获得,拍摄装置拍摄第一电子设备当前的环境,其中,当前环境包含有跟踪目标的行走的路面、行走方向上障碍物、跟踪目标、光照强度,如果在第一电子设备行走方向上有障碍物,分析该障碍物所处的坐标以及该障碍物的大小,当前跟踪环境还包括第一电子设备与跟踪目标之间的环境,第一电子设备与跟踪目标之间的环境包括在第一电子设备向跟踪目标移动时有无障碍物、光照强度、背景。
在一种可选的实施例中,运动信息包括针对跟踪目标的运动测量参数,运动测量参数存入第二电子设备的预定存储空间中,运动测量参数至少包括:运动加速度和/或运动角速度,或者,第一电子设备通过以下方式获得运动测量参数:周期性或非周期性的访问第二电子设备的预定存储空间,以获取第二电子设备在预定时间段内采集得到的运动测量参数,该周期性是指第一电子设备内设定一个时间间隔,例如:0.5秒、1秒、5秒、10秒、20秒等,在一个时间间隔后第一电子设备就会获取第二电子设备预定存储空间内存储的跟踪目标运动变化数据,或者,根据用于描述跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对跟踪目标的第二跟踪结果,包括:对预定时间段内的运动测量参数进行统计分析,获得跟踪目标在预定时间段内的运动描述信息,并根据运动描述信息对第一跟踪结果进行修正,获得第二跟踪结果;其中,运动描述信息至少包括运动速度和/或运动方向,可以结合第二电子设备在预定时间段内的运动测量参数以及第一电子设备在预定时间段内的自身运动测量参数,综合分析获得跟踪目标在预定时间段内相对于第一电子设备的运动描述信息。
对于上述实施例,第一电子设备通过不断地获取第一跟踪结果和第二电子设备的运动数据分析得出第二跟踪结果,这样可以通过实时获取的运动数据增加跟踪的准确性,从而准确的跟踪目标,也增加了跟踪目标的稳定性。
对于上述实施例,运动测量参数可以不断地更新,在第二电子设备再次测量得出新的跟踪目标的数据后,将该数据重新存入第二电子设备的预定存储空间中,对原来的数据可以删除也可以暂时保留,例如,在第二电子设备的预定存储空间将要占满时,可以删除原来的第二电子设备的数据。
对于上述实施例中的加速度,可以通过测量跟踪目标的速度变化信息来得出,在跟踪目标更改行进速度后,跟踪目标的运动加速度就可以通过计算得出。
通过上述实施例,可以对第一电子设备的运动测量参数进行统计分析,该统计分析包括对第一电子设备测量的跟踪目标的位置变化、移动方向、移动速度进行分析,可以通过将第二次得到的位置与第一次得到的位置进行比较得出运动测量参数,例如:设置一个长宽为10米的屏幕,第一次跟踪目标在正中心,其坐标为(5,5),第二次跟踪目标在最北边的中心,其坐标为(5,10),通过分析可以判断出该目标在第一次测量和第二次测量的时间间隔内,跟踪目标朝正北方向移动,移动距离为5米,将移动距离与移动时间做计算得出移动速度。通过对运动测量参数的变化进行计算,就可以分析出跟踪目标的运动状态,最后第一电子设备可以将得出的运动变化数据存储起来,经过综合分析最后得出跟踪目标的在预定时间段内的运动描述信息,该预定时间是指在第一电子设备和第二电子设备传输数据过程中的时间间隔,每过一定的时间间隔(例如,5秒),第一电子设备获取第二电子设备的数据。
对于上述实施例,运动信息包括对跟踪目标的运动描述信息,第一电子设备通过以下方式获得运动描述信息:周期性或非周期性的访问第二电子设备的预定存储空间,第二电子设备的预定存储空间是相对于该第二电子设备的存储设备的大小确定的,如果预定存储空间较大,第二电子设备可以存储多条第二电子设备的运动变化信息,如果预定存储空间空间较小,例如:10条,第二电子设备可以存储较少的第二电子设备的运动变化信息,例如2条。
对于上述实施例,根据预定时间段内的运动描述信息,对第一跟踪结果进行修正,最后获得第二跟踪结果,在对第一跟踪结果进行修正时,可以有一个运动变化参数,该运动变化参数是在第一跟踪结果的基础上,对比第二电子设备内的运动信息,得出的第二跟踪结果。例如,可以将运动变化角度的数值设置在10度内,如果第二跟踪结果中的运动方向相对于第一跟踪结果运动方向变化在该数值内,则第一跟踪结果的运动方向或角度信息不用改变,如果第二跟踪结果中的运动方向相对于第一跟踪结果运动方向变化大于该数值,则第一跟踪结果的运动方向或角度信息可以修正,将第一跟踪结果内的运动方向或运动角度修改为根据第二电子设备获取到的第二运动数据中的运动方向或运动角度。
通过对比第一跟踪结果和第二运动数据可以得出是否修正第一电子设备的运动数据,可以减少跟踪的误差。
对于上述实施例,在跟踪目标时出现较大误差可以进行修正,例如,在基于视觉的跟踪技术跟踪目标,在时间加长时,可以在第一电子设备测量的第一跟踪结果与第二电子设备测量得出的第二运动数据比较出现误差时,就可以修正第一跟踪结果的数据,保证了在长时间跟踪过程中稳定性,一种可选的实施方式,在跟踪目标突然加速运动的时候,跟踪目标就会容易跟丢,这时测量的第一跟踪结果与获取的第二运动数据相比较就会出现较大误差值,可以通过修正第一跟踪结果的数据(例如,第一电子设备也加速度运动,并且相应的改变运动方向)重新跟踪目标,这样可以保证跟踪目标在跟丢后重新跟上目标。
对于上述实施例,根据预定时间段内的运动描述信息,对第一跟踪结果进行修正,获得第二跟踪结果,可以根据跟踪目标在不同运动方向上的状态概率,以及第一跟踪结果所表示的跟踪目标在跟踪图像中的至少一个候选跟踪区域,确定跟踪目标在跟踪图像中的置信跟踪区域,并基于置信跟踪区域生成第二跟踪结果,其中,状态概率用于表示跟踪目标在不同运动方向上运动的概率。
在上述实施例中,运动描述信息包括跟踪目标在不同运动方向上的状态概率,是指对跟踪目标进行运动预估时,对目标运动方向或速度进行预估,其中,该目标运动方向或速度的预估可以是第一电子设备根据第二跟踪结果获取的也可以第一跟踪结果获取的,预估的目标运动方向或速度可以与第二跟踪结果的数据相同也可以不同,在预估出跟踪目标的运动方向后,可以得出相对应的跟踪目标的在接下来的时间间隔内的运动区域和运动线路。
可选的,跟踪目标所活动的区域可以在固定的屏幕内,可以根据第二跟踪结果给第一电子设备发出接下来的候选活动区域,第一电子设备根据候选活动区域和跟踪目标在未来一定时间间隔内的活动区域和运动路线来确定行进方向和行进速度,从而提高跟踪的准确性。
在一个可选的实施例中,该方案还可以包括:在预定时间段内的运动描述信息表示跟踪目标在预定时间段内的运动方向为第一方向,预定时间段内的第一跟踪结果表示跟踪目标在预定时间段内的运动方向为第二方向,第一方向与第二方向不同,且跟踪目标在预定时间段内在第一方向上的移动距离大于预设的第一距离阈值,跟踪目标在预定时间段内在第二方向上的移动距离大于预设的第二距离阈值时,产生报警提示信息,用于提示第一电子设备跟丢跟踪目标。在该方案中,报警信息是根据第二跟踪结果得到的,该报警信息可以为第一电子设备的处理中心向目标跟踪单元发出的指令,目标跟踪单元在接收到该指令后可以及时修改第一电子设备的运动数据,其中,该运动数据可以是根据第二运动数据得出的,如果第二跟踪结果与第一跟踪结果的数据相差较大,则第一电子设备调整其运动方向和运动速度,例如将第一电子设备的运动速度加快。
图2是根据本发明实施例的一种可选地第一电子设备的结构图,如图2所示,该第一电子设备包括:目标跟踪单元21,目标跟踪单元21用于执行基于视觉的目标跟踪,并获得针对跟踪目标的第一跟踪结果;处理器22,用于根据用于描述跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对跟踪目标的第二跟踪结果;其中,第二跟踪结果与第一跟踪结果相同或不同;用于描述跟踪目标运动状态的运动信息由设置于跟踪目标上的第二电子设备基于测量获得。
通过上述实施例,在跟踪目标的过程中,第一电子设备可接收到来自第二电子设备测量出的目标运动状态的运动信息,根据第二电子设备获取到的目标运动状态的运动信息结合第一电子设备实时获取到的第一跟踪结果通过处理器22分析得出跟踪目标的第二跟踪结果,通过目标跟踪单元21达到实时检测跟踪目标的运动状态,利用设置在跟踪目标上的第二电子设备实时测量获得跟踪目标的运动信息,并结合第一电子设备获取的跟踪目标的第一跟踪结果,分析得到第二跟踪结果,如利用该运动信息修正第一跟踪结果得到第二跟踪结果,通过上述方案,不是直接将第一电子设备的第一跟踪结果作为最终的结果,而是结合第二电子设备测量得到的跟踪目标的运动信息分析得到第二跟踪结果,得到的结果更加准确,解决了现有技术中跟踪目标时准确性低的问题,增加了视觉跟踪的鲁棒性。
在上述实施例的处理器22进一步用于:结合第二电子设备在预定时间段内的运动测量参数、以及第一电子设备在预定时间段内的自身运动测量参数,综合分析获得跟踪目标在预定时间段内相对于第一电子设备的运动描述信息。
进一步地,目标跟踪单元21还用于在产生报警提示信息之后,重新检测跟踪目标,并重新进入基于视觉的目标跟踪。
图3是根据本发明实施例的一种可选地一种目标跟踪系统的示意图,如图3所示,该目标跟踪系统包括:上述实施例中的任意一种第一电子设备31,第一电子设备31用于通过目标跟踪单元执行基于视觉的目标跟踪,并获得针对跟踪目标的第一跟踪结果,根据用于描述跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对跟踪目标的第二跟踪结果;第二电子设备32,设置于跟踪目标上,用于基于测量获得用于描述跟踪目标运动状态的运动信息。
通过上述实施例,在跟踪目标的过程中,第一电子设备31可接收到来自第二电子设备32测量出的目标运动状态的运动信息,根据第二电子设备32获取到的目标运动状态的运动信息结合第一电子设备31实时获取到的第一跟踪结果分析得出跟踪目标的第二跟踪结果,达到实时检测跟踪目标的运动状态,利用设置在跟踪目标上的第二电子设备32实时测量获得跟踪目标的运动信息,并结合第一电子设备31获取的跟踪目标的第一跟踪结果,分析得到第二跟踪结果,如利用该运动信息修正第一跟踪结果得到第二跟踪结果,通过上述方案,不是直接将第一电子设备31的第一跟踪结果作为最终的结果,而是结合第二电子设备32测量得到的跟踪目标的运动信息分析得到第二跟踪结果,得到的结果更加准确,解决了现有技术中跟踪目标时准确性低的问题,增加了视觉跟踪的鲁棒性。
下面以一种可选的实施例对本发明做出说明。
图4是根据本发明实施例的一种可选的目标跟踪方法的实施场景的示意图,如图4所示,该方案的跟踪目标是屏幕内的人,所在的测量环境为一个相对的屏幕,其中,第一电子设备为机器人,第二电子设备为采用了IMU芯片的设备,该方案通过采集IMU发出的反馈信息完成对视觉跟踪的辅助。
首先,机器人不断检测通过不断地扫描来实时检测屏幕内的人的运动状态,机器人内有存储器,机器人的该存储器可以将检测到的屏幕内的人的运动数据状态存储起来在机器人存储空间内部形成第一运动数据,在屏幕内的人的身上放置含IMU芯片的第二电子设备,该IMU芯片可以实时检测人的运动状态,第二电子设备包括存储单元,该IMU设备的存储单元可以将检测到的人的运动状态的运动数据存储,形成第二运动数据,机器人对IMU返回的第二运动数据进行一系列的统计学习分析,机器人通过统计分析学习得到一个结果数据,之后,机器人通过该结果数据可对屏幕内的人运动行为进行分析,得到基于概率的目标运动信息,例如:估计运动人当前运动方向,其中,该运动方向包括:前进、后退、停止、左移、右移。将该运动信息中有效的运动数据融合到视觉跟踪算法中,以达到增加跟踪目标性的作用。
通过上述实施例,可以对屏幕内的人的位置运动方向和运动速度进行预测,机器人根据IMU返回的数据对人所携带的第二电子设备相对于机器人的运动分析,机器人通过运动分析可以预估目标在屏幕中的移动规律,从而可以产生置信度区域,从而增加跟踪目标的稳定性和准确性。
通过上述实施例,如果返回两个待定结果:第一预测移动方向Rectangle1与第二预测移动方向Rectangle2,而机器人根据得到的IMU反馈信息预测到行人此时在向右运动,则置信区域出现在右侧,Rectangle2的置信度更高,Rectangle1可被抑制,视觉跟踪中间或者最后的筛选结果为Rectangle2,即预测屏幕内的人会向右移动。
通过上述实施例,可以在机器的视觉跟踪算法失效时,可以及时纠正,例如,如果机器人通过分析得出目标运动方向与基于视觉技术估计的运动方向严重不符,机器人可以做出“跟丢”判断,这时,机器人可以通过IMU第二电子设备返回的信息重新确定屏幕内的目标的运动方向和运动速度,从而机器人可以通过控制器纠正机器人未来的运动方向。
对于上述实施例,若Rectangle1与Rectangle2与前面连续n帧相比都是在向左移动,即视觉跟踪结果显示人在这n帧视频中一直在向左移动,且向左移动距离大于距离阈值,而IMU反馈信息表示目标一直在向右移动,且移动距离大于距离阈值时,那么此时视觉跟踪基本可以判断为“跟丢”,视觉跟踪算法可以重新进行初始化,机器人的运动方向重新确定,使得机器人可以继续跟踪目标。
上述实施例的视觉跟踪算法可以包括:camshift算法、光流跟踪算法、粒子滤波算法。
通过上述实施例,在跟踪屏幕内的人的过程中,机器人可接收到来自屏幕内的人身上的第二电子设备测量出的目标运动状态的运动信息,根据第二电子设备获取到的人的运动状态的运动信息结合机器人实时获取到的第一跟踪结果分析得出人的第二跟踪结果,达到实时检测人的运动状态,利用设置在人上的第二电子设备实时测量获得跟踪目标的运动信息,并结合机器人获取的人的第一跟踪结果,分析得到第二跟踪结果,如利用该运动信息修正第一跟踪结果得到第二跟踪结果,通过上述方案,不是直接将机器人的第一跟踪结果作为最终的结果,而是结合第二电子设备测量得到的人的运动信息分析得到第二跟踪结果,得到的结果更加准确,解决了现有技术中跟踪目标时准确性低的问题,增加了视觉跟踪的鲁棒性。
下面以另一种可选的实施例对本发明做出说明。
图5是根据本发明实施例的一种可选地目标跟踪方法的流程图二,在以动平衡车为运动底盘的地面移动机器人上运行视觉跟踪算法,用户的运动信息通过其身上便携的含有IMU的移动设备(如手机、手环、遥控器、平板电脑等)反馈给机器人,完成对视觉跟踪的辅助,对该移动设备进行跟踪。如图5所示,该方法包括:
步骤S501,机器人视觉跟踪算法以及用户手中的IMU设备初始化。
步骤S502,视觉跟踪算法建立目标模型,实时在线跟踪用户。
步骤S503,跟踪过程中定时地访问IMU数据缓冲区,并对这一阶段内的IMU数据进行一定的统计学习,得到基于概率的用户运动信息。
其中,该用户运动信息可分为前、后、左、右、停等5个状态。
步骤S504,得到图像置信区域。
步骤S505,判断置信区域和用户最后运动结果是否完全不同或者是否符合一定的“跟丢”准则。
若是,执行步骤S506,若否,执行步骤S508。
步骤S506,视觉算法模型不再进行更新。
若对二者结果匹配后发现完全不同,或者符合一定的“跟丢”准则,则得出当前帧“跟丢”,视觉算法模型不再进行更新。
步骤S507,视觉算法模型重新初始化或者行人检测,回到步骤S503。
步骤S508,对视觉跟踪算法的中间或者最后结果进行修正。
利用步骤S504的置信区域对视觉跟踪算法的中间或者最后结果进行修正,从而提升视觉跟踪算法的准确性。
步骤S509,视觉算法更新模型,回到步骤S503。
通过上述实施例,在跟踪目标的过程中,代步机器人可以接收到用户身上的含IMU的移动设备测量出的用户运动状态的运动信息,根据该移动设备获取到的目标运动状态的运动信息结合代步机器人实时获取到的第一跟踪结果经过分析得出跟踪目标的第二跟踪结果,达到实时检测用户的运动状态的准确信息,通过上述的含IMU的移动设备抽取关键信息进行物体运动分析,可以预测用户的运动方向或运动角度,同时也可以发现跟踪过程中出现的预估目标运动状态的错误,从而解决了长时间视觉跟踪出现的跟踪准确性低的技术问题,增加了视觉跟踪的鲁棒性。当然,本发明实施例并不仅限于地面移动机器人,对于空间飞行类的机器人(如无人机)也是适用的。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种目标跟踪方法,应用于第一电子设备,其特征在于,所述第一电子设备具有目标跟踪单元,所述目标跟踪单元用于执行基于视觉的目标跟踪,所述方法包括:
将分析出的跟踪目标的移动方向、坐标信息、移动速度、移动时间以及跟踪目标与该第一电子设备之间的距离形成第一跟踪结果;
对预定时间段内的运动测量参数进行统计分析,获得被跟踪目标在预定时间段内的运动描述信息,并根据所述运动描述信息对所述第一跟踪结果进行修正,获得第二跟踪结果;
其中,所述运动描述信息包括所述被跟踪目标在不同运动方向上的状态概率;根据预定时间段内的运动描述信息,对第一跟踪结果进行修正,获得第二跟踪结果,包括:
根据所述被跟踪目标在不同运动方向上的状态概率,以及所述第一跟踪结果所表示的所述被跟踪目标在跟踪图像中的至少一个候选跟踪区域,确定所述被跟踪目标在跟踪图像中的置信跟踪区域,并基于所述置信跟踪区域生成第二跟踪结果;其中,所述状态概率用于表示所述被跟踪目标在不同运动方向上运动的概率;
其中,所述运动描述信息至少包括运动速度和/或运动方向;
其中,所述第二跟踪结果与所述第一跟踪结果相同或不同;用于描述被跟踪目标运动状态的运动信息由设置于所述被跟踪目标上的第二电子设备基于测量获得;
所述运动测量参数存入所述第二电子设备的预定存储空间中,所述运动测量参数至少包括:运动加速度和/或运动角速度;
所述第一电子设备通过以下方式获得所述运动测量参数:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内采集得到的所述运动测量参数。
2.根据权利要求1所述的方法,其特征在于,所述对预定时间段内的所述运动测量参数进行统计分析,获得被跟踪目标在预定时间段内的运动描述信息,包括:结合所述第二电子设备在预定时间段内的运动测量参数、以及所述第一电子设备在所述预定时间段内的自身运动测量参数,综合分析获得所述被跟踪目标在所述预定时间段内相对于所述第一电子设备的运动描述信息。
3.根据权利要求1所述的方法,其特征在于,所述运动信息包括对所述被跟踪目标的运动描述信息,所述运动描述信息由所述第二电子设备根据采集获得的预定时间段内的运动测量参数进行统计分析获得,所述运动测量参数至少包括:运动加速度和/或运动角速度,所述运动描述信息至少包括运动速度和/或运动方向,所述运动描述信息存入所述第二电子设备的预定存储空间中;
所述第一电子设备通过以下方式获得所述运动描述信息:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内的运动描述信息;
根据用于描述所述被跟踪目标运动状态的运动信息,并结合第一跟踪结果,分析获得针对被跟踪目标的第二跟踪结果,包括:根据所述预定时间段内的所述运动描述信息,对所述第一跟踪结果进行修正,获得所述第二跟踪结果。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述预定时间段内的运动描述信息表示所述被跟踪目标在预定时间段内的运动方向为第一方向,所述预定时间段内的第一跟踪结果表征所述被跟踪目标在预定时间段内的运动方向为第二方向,所述第一方向与第二方向不同,且所述被跟踪目标在预定时间段内在所述第一方向上的移动距离大于预设的第一距离阈值,所述被跟踪目标在预定时间段内在所述第二方向上的移动距离大于预设的第二距离阈值时,产生报警提示信息,用于提示所述第一电子设备跟丢所述被跟踪目标。
5.根据权利要求4所述的方法,其特征在于,在所述产生报警提示信息之后,所述方法还包括:通过所述目标跟踪单元重新检测所述被跟踪目标,并重新进入基于视觉的目标跟踪。
6.一种第一电子设备,其特征在于,包括:
目标跟踪单元,所述目标跟踪单元用于将分析出的跟踪目标的移动方向、坐标信息、移动速度、移动时间以及跟踪目标与该第一电子设备之间的距离形成第一跟踪结果;
处理器,用于对预定时间段内的运动测量参数进行统计分析,获得被跟踪目标在预定时间段内的运动描述信息,并根据所述运动描述信息对所述第一跟踪结果进行修正,获得第二跟踪结果;其中,所述运动描述信息包括所述被跟踪目标在不同运动方向上的状态概率;所述处理器具体用于:根据所述被跟踪目标在不同运动方向上的状态概率,以及所述第一跟踪结果所表示的所述被跟踪目标在跟踪图像中的至少一个候选跟踪区域,确定所述被跟踪目标在跟踪图像中的置信跟踪区域,并基于所述置信跟踪区域生成第二跟踪结果;其中,所述状态概率用于表示所述被跟踪目标在不同运动方向上运动的概率;
其中,所述运动描述信息至少包括运动速度和/或运动方向;
其中,所述第二跟踪结果与所述第一跟踪结果相同或不同;用于描述被跟踪目标运动状态的运动信息由设置于所述被跟踪目标上的第二电子设备基于测量获得;
其中,所述运动测量参数存入所述第二电子设备的预定存储空间中,所述运动测量参数至少包括:运动加速度和/或运动角速度;
所述第一电子设备包括第一读取单元,用于通过以下方式获得所述运动测量参数:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内采集得到的所述运动测量参数。
7.根据权利要求6所述的第一电子设备,其特征在于,所述处理器进一步用于:结合所述第二电子设备在预定时间段内的运动测量参数、以及所述第一电子设备在所述预定时间段内的自身运动测量参数,综合分析获得所述被跟踪目标在所述预定时间段内相对于所述第一电子设备的运动描述信息。
8.根据权利要求6所述的第一电子设备,其特征在于,所述运动信息包括对所述被跟踪目标的运动描述信息,所述运动描述信息由所述第二电子设备根据采集获得的预定时间段内的运动测量参数进行统计分析获得,所述运动测量参数至少包括:运动加速度和/或运动角速度,所述运动描述信息至少包括运动速度和/或运动方向,所述运动描述信息存入所述第二电子设备的预定存储空间中;
所述第一电子设备包括第二读取单元,用于通过以下方式获得所述运动描述信息:周期性或非周期性的访问所述第二电子设备的预定存储空间,以获取所述第二电子设备在预定时间段内的运动描述信息;
所述处理器进一步用于,根据所述预定时间段内的所述运动描述信息,对所述第一跟踪结果进行修正,获得所述第二跟踪结果。
9.根据权利要求6所述的第一电子设备,其特征在于,所述第一电子设备包括报警单元,用于当所述预定时间段内的运动描述信息表示所述被跟踪目标在预定时间段内的运动方向为第一方向,所述预定时间段内的第一跟踪结果表征所述被跟踪目标在预定时间段内的运动方向为第二方向,所述第一方向与第二方向不同,且所述被跟踪目标在预定时间段内在所述第一方向上的移动距离大于预设的第一距离阈值,所述被跟踪目标在预定时间段内在所述第二方向上的移动距离大于预设的第二距离阈值时,产生报警提示信息,用于提示所述第一电子设备跟丢所述被跟踪目标。
10.根据权利要求9所述的第一电子设备,其特征在于,所述目标跟踪单元还用于在所述产生报警提示信息之后,重新检测所述被跟踪目标,并重新进入基于视觉的目标跟踪。
11.一种目标跟踪系统,其特征在于,包括:
权利要求6至10中任意一项所述的第一电子设备,所述第一电子设备用于通过目标跟踪单元执行基于视觉的目标跟踪,并获得针对被跟踪目标的第一跟踪结果,根据用于描述所述被跟踪目标运动状态的运动信息,并结合所述第一跟踪结果,分析获得针对所述被跟踪目标的第二跟踪结果,包括:利用所述运动信息修正所述第一跟踪结果得到所述第二跟踪结果;
第二电子设备,设置于所述被跟踪目标上,用于基于测量获得所述用于描述所述被跟踪目标运动状态的运动信息。
CN201611001901.8A 2016-10-12 2016-11-14 目标跟踪方法、系统和第一电子设备 Active CN106682572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/110745 WO2018068771A1 (zh) 2016-10-12 2017-11-13 目标跟踪方法、系统、电子设备和计算机存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016108913888 2016-10-12
CN201610891388 2016-10-12

Publications (2)

Publication Number Publication Date
CN106682572A CN106682572A (zh) 2017-05-17
CN106682572B true CN106682572B (zh) 2020-09-08

Family

ID=58840208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611001901.8A Active CN106682572B (zh) 2016-10-12 2016-11-14 目标跟踪方法、系统和第一电子设备

Country Status (2)

Country Link
CN (1) CN106682572B (zh)
WO (1) WO2018068771A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682572B (zh) * 2016-10-12 2020-09-08 纳恩博(北京)科技有限公司 目标跟踪方法、系统和第一电子设备
JP6962878B2 (ja) * 2018-07-24 2021-11-05 本田技研工業株式会社 操作補助システムおよび操作補助方法
CN111753599B (zh) * 2019-03-29 2023-08-08 杭州海康威视数字技术股份有限公司 人员操作流程检测方法、装置、电子设备及存储介质
CN110657794A (zh) * 2019-08-21 2020-01-07 努比亚技术有限公司 可穿戴设备的指南针校准方法、可穿戴设备及存储介质
CN110751022B (zh) * 2019-09-03 2023-08-22 平安科技(深圳)有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN112651414B (zh) * 2019-10-10 2023-06-27 马上消费金融股份有限公司 运动数据处理和模型训练方法、装置、设备及存储介质
CN112750301A (zh) * 2019-10-30 2021-05-04 杭州海康威视系统技术有限公司 目标对象追踪方法、装置、设备及计算机可读存储介质
CN113029190A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 运动跟踪系统和方法
CN111126807B (zh) * 2019-12-12 2023-10-10 浙江大华技术股份有限公司 行程切分方法和装置、存储介质及电子装置
CN111487993A (zh) * 2020-04-26 2020-08-04 重庆市亿飞智联科技有限公司 信息获取方法、装置、存储介质、自动驾驶仪及无人机
CN113701746A (zh) * 2020-05-21 2021-11-26 华为技术有限公司 目标朝向确定方法和装置
CN111759239A (zh) * 2020-06-08 2020-10-13 江苏美的清洁电器股份有限公司 一种区域确定方法、装置和计算机存储介质
CN111652911B (zh) * 2020-06-10 2023-07-28 创新奇智(南京)科技有限公司 目标监控方法、装置和设备
CN111986224B (zh) * 2020-08-05 2024-01-05 七海行(深圳)科技有限公司 一种目标行为预测追踪方法及装置
CN111932579A (zh) * 2020-08-12 2020-11-13 广东技术师范大学 基于被跟踪目标运动轨迹对设备角度的调整方法及装置
CN114001738A (zh) * 2021-09-28 2022-02-01 浙江大华技术股份有限公司 视觉巡线定位方法、系统以及计算机可读存储介质
CN114972415B (zh) * 2021-12-28 2023-03-28 广东东软学院 机器人视觉跟踪方法、系统、电子设备及介质
CN117423051B (zh) * 2023-10-18 2024-03-26 广州元沣智能科技有限公司 一种基于场所活动对象的信息监测分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859439A (zh) * 2010-05-12 2010-10-13 合肥寰景信息技术有限公司 一种用于人机交互的运动追踪装置及其追踪方法
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
US20160189391A1 (en) * 2014-02-26 2016-06-30 Apeiros, Llc Mobile, wearable, automated target tracking system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103411621B (zh) * 2013-08-09 2016-02-10 东南大学 一种面向室内移动机器人的光流场视觉/ins组合导航方法
CN106682572B (zh) * 2016-10-12 2020-09-08 纳恩博(北京)科技有限公司 目标跟踪方法、系统和第一电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859439A (zh) * 2010-05-12 2010-10-13 合肥寰景信息技术有限公司 一种用于人机交互的运动追踪装置及其追踪方法
CN103135549A (zh) * 2012-12-21 2013-06-05 北京邮电大学 一种具有视觉反馈的球形机器人运动控制系统及运动控制方法
US20160189391A1 (en) * 2014-02-26 2016-06-30 Apeiros, Llc Mobile, wearable, automated target tracking system

Also Published As

Publication number Publication date
CN106682572A (zh) 2017-05-17
WO2018068771A1 (zh) 2018-04-19

Similar Documents

Publication Publication Date Title
CN106682572B (zh) 目标跟踪方法、系统和第一电子设备
US10415975B2 (en) Motion tracking with reduced on-body sensors set
CN108700947B (zh) 用于并发测距和建图的系统和方法
US10970558B2 (en) People flow estimation device, people flow estimation method, and recording medium
Price et al. Deep neural network-based cooperative visual tracking through multiple micro aerial vehicles
EP3447448B1 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
EP2769574B1 (en) Tracking activity, velocity, and heading using sensors in mobile devices or other systems
EP3737912B1 (en) Determining the location of a mobile device
JP6198230B2 (ja) 深度カメラを使用した頭部姿勢トラッキング
Bošnak et al. Quadrocopter control using an on-board video system with off-board processing
JP2020505614A (ja) 1つ以上の慣性センサからの向き情報を補正する装置および方法
CA3107374A1 (en) Systems and methods for autonomous machine tracking and localization of mobile objects
CN106575437B (zh) 信息处理装置、信息处理方法以及程序
CN110553648A (zh) 一种用于室内导航的方法和系统
KR102226846B1 (ko) Imu 센서와 카메라를 이용한 하이브리드 실내 측위 시스템
CN111145251B (zh) 一种机器人及其同步定位与建图方法和计算机存储设备
CN110942474B (zh) 机器人目标跟踪方法、设备及存储介质
Wu et al. A pedestrian dead-reckoning system for walking and marking time mixed movement using an SHSs scheme and a foot-mounted IMU
US10242281B2 (en) Hybrid orientation system
US9990857B2 (en) Method and system for visual pedometry
Pérez et al. Enhanced monte carlo localization with visual place recognition for robust robot localization
US20220084244A1 (en) Information processing apparatus, information processing method, and program
Park et al. A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation
WO2019138640A1 (ja) 情報処理装置、情報処理方法、および、プログラム
CN111735478B (zh) 基于lstm的行人实时导航零速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant