CN107291216A - 一种移动终端目标跟踪方法、装置和移动终端 - Google Patents

一种移动终端目标跟踪方法、装置和移动终端 Download PDF

Info

Publication number
CN107291216A
CN107291216A CN201610206810.1A CN201610206810A CN107291216A CN 107291216 A CN107291216 A CN 107291216A CN 201610206810 A CN201610206810 A CN 201610206810A CN 107291216 A CN107291216 A CN 107291216A
Authority
CN
China
Prior art keywords
information
target
destination object
mobile terminal
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610206810.1A
Other languages
English (en)
Inventor
陆平
陈文杰
李静
刘子健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201610206810.1A priority Critical patent/CN107291216A/zh
Priority to PCT/CN2017/079445 priority patent/WO2017173977A1/zh
Publication of CN107291216A publication Critical patent/CN107291216A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本文公开了一种移动终端目标跟踪方法、装置和移动终端。本发明实施例中的移动终端目标跟踪方法包括：通过移动终端的加速度传感器和方向传感器实时获取移动终端的加速度信息和方向信息；分别根据该移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。本发明实施例解决了现有技术中移动终端的目标跟踪方法，由于将现有的目标跟踪算法直接应用到移动终端上，而导致目标跟踪的实时性、可靠性和鲁棒性等性能较差的问题。

Description

一种移动终端目标跟踪方法、装置和移动终端
技术领域
本发明实施例涉及但不限于计算机和计算机视觉技术领域，尤指一种移动终端目标跟踪方法、装置和移动终端。
背景技术
随着智能移动终端的高速普及和发展，用户对智能移动终端的依赖性变的越来越大。智能移动终端的应用受到人们的广泛关注与重视，尤其是虚拟现实和增强现实等视觉感知方面的应用增长尤为迅速，具有强大的商业市场潜力，目标跟踪技术作为其核心技术之一收到业界的普遍关注。
目前已经开始研究一些针对智能移动终端的目标跟踪算法，但是这些研究基本上都是将现有的目标跟踪算法直接移植到智能移动终端上，虽然近几十年来智能移动终端的硬件性能一直在不断的发展提高，但和传统的桌面设备相比，在计算能力等方面仍有较大的差距；并且现有的目标跟踪算法通常基于视频图像内容进行分析，可以在桌面设备这类计算能力较强的终端设备上达到较好的目标跟踪效果。然而，由于智能移动终端设备的计算能力相对于桌面设备往往较弱，将现有的目标跟踪算法直接移植到智能移动终端上的处理方式，对于移动终端执行目标跟踪的实时性、可靠性和鲁棒性等综合性能无法达到在桌面设备上的目标跟踪效果。
综上所述，现有技术中移动终端的目标跟踪方法，由于将现有的目标跟踪算法直接应用到移动终端上，而导致目标跟踪的实时性、可靠性和鲁棒性等性能较差的问题。
发明内容
为了解决上述技术问题，本发明实施例提供了一种移动终端目标跟踪方法、装置和移动终端，以解决现有技术中移动终端的目标跟踪方法，由于将现有的目标跟踪算法直接应用到移动终端上，而导致目标跟踪的实时性、可靠性和鲁棒性等性能较差的问题。
第一方面，本发明实施例提供一种移动终端目标跟踪方法，包括：
通过移动终端的加速度传感器和方向传感器实时获取所述移动终端的加速度信息和方向信息；
分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。
在第一方面的第一种可能的实现方式中，所述对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，还包括：
获取所述目标对象的初始ORB特征信息；
根据所获取的初始ORB特征信息对所述目标对象进行目标跟踪。
根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象进行目标匹配，包括：
根据所述移动终端的加速度信息的变化值或方向信息的差值，以及所述初始ORB特征信息对所述目标对象进行目标匹配；
所述对所跟踪的目标对象进行目标匹配之后，还包括：
若匹配到所述目标对象，更新所述目标对象的ORB特征信息，并根据更新的ORB特征信息重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续根据所述初始ORB特征信息对所述目标对象进行目标匹配。
根据第一方面、第一方面的第一种到第二种可能的实现方式中任意一种，在第三种可能的实现方式中，所述加速度信息包括坐标系三个轴向的加速度信息；所述根据所述移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
通过所述三个轴向的加速度信息计算得到所述加速度信息的变化值；
当所述加速度信息的变化值大于第一加速度阈值时，对所述目标对象进行目标匹配；
若匹配到所述目标对象，重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续对所述目标对象进行目标匹配。
根据第一方面、第一方面的第一种到第二种可能的实现方式中任意一种，在第四种可能的实现方式中，所述加速度信息包括坐标系三个轴向的加速度信息；所述根据所述移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
通过所述三个轴向的加速度信息计算得到所述加速度信息的变化值；
当所述加速度信息的变化值小于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述加速度信息的变化值小于第一加速度阈值且大于所述第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪，并且不处理当前时刻的视屏帧。
根据第一方面、第一方面的第一种到第二种可能的实现方式中任意一种，在第五种可能的实现方式中，所述加速度信息包括坐标系三个轴向的加速度信息；所述根据加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
通过所述三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值时，对所述目标对象进行目标匹配，其中，所述预置条件为：小于第一加速度阈值且大于第二加速度阈值；
若匹配到所述目标对象，重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续对所述目标对象进行目标匹配。
根据第一方面、第一方面的第一种到第二种可能的实现方式中任意一种，在第六种可能的实现方式中，所述方向信息包括沿坐标系三个轴旋转的方向信息，所述方向信息包括第一方向信息、第二方向信息和第三方向信息，其中，所述第一方向信息和所述第二方向信息中的一个为沿X轴旋转的方向信息，另一个为沿Y轴旋转的方向信息，所述第三方向信息为沿Z轴旋转的方向信息；
所述根据所述移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，还包括：
获取所述目标对象的初始方向信息；
所述根据所述方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
根据所述移动终端的当前第一方向信息和所述初始方向信息计算第一方向信息的差值；
当所述第一方向信息的差值大于第一方向阈值时，对所述目标对象进行目标匹配；
当所述第一方向信息的差值小于第二方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述第一方向信息的差值小于所述第一方向阈值且大于所述第二方向阈值时，根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
根据第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
根据所述移动终端的当前第二方向信息和所述初始方向信息计算第二方向信息的差值；
当所述第二方向信息的差值大于第三方向阈值时，对所述目标对象进行目标匹配；
当所述第二方向信息的差值小于第四方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述第二方向信息的差值小于所述第三方向阈值且大于所述第四方向阈值时，根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
根据第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
根据所述移动终端的当前第三方向信息和所述初始方向信息计算第三方向信息的差值；
当所述第三方向信息的差值小于旋转角度阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述第三方向信息的差值大于所述旋转角度阈值时，根据所述第一方向信息的差值、所述第二方向信息的差值和所述第三方向信息的差值计算当前ORB特征信息；
若计算出所述当前ORB特征信息，根据所计算的当前ORB特征信息对所述目标对象进行目标跟踪；
若未计算出所述当前ORB特征信息，对所述目标对象进行目标匹配。
根据第一方面、第一方面的第一种到第二种可能的实现方式中任意一种，在第九种可能的实现方式中，所述对所跟踪的目标对象继续进行目标跟踪之后，还包括：
根据当前ORB特征信息计算当前进行目标跟踪的正确率；
当所述正确率大于所述目标阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述正确率小于目标阈值时，对所述目标对象进行目标匹配；
若匹配到所述目标对象，重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续对所述目标对象进行目标匹配。
第二方面，本发明实施例提供一种移动终端目标跟踪处理装置，包括：相连接的获取模块和目标处理模块；
所述获取模块，配置为能够通过移动终端的加速度传感器和方向传感器实时获取所述移动终端的加速度信息和方向信息；
目标处理模块，配置为能够分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。
在第二方面的第一种可能的实现方式中，所述获取模块，还配置为能够在所述目标处理模块对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，获取所述目标对象的初始ORB特征信息；
所述目标处理模块，还配置为能够根据所述获取模块获取的初始ORB特征信息对所述目标对象进行目标跟踪。
根据第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述目标处理模块配置为能够分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象进行目标匹配，包括：配置为能够根据所述移动终端的加速度信息的变化值或方向信息的差值，以及所述获取模块获取的初始ORB特征信息对所述目标对象进行目标匹配；
所述目标处理模块，还配置为能够在对所跟踪的目标对象进行目标匹配之后，若匹配到所述目标对象，更新所述目标对象的ORB特征信息，并根据更新的ORB特征信息重新对所述目标对象进行目标跟踪；若未匹配到所述目标对象，继续根据所述初始ORB特征信息对所述目标对象进行目标匹配。
根据第二方面、第二方面的第一种到第二种可能的实现方式中任意一种，在第三种可能的实现方式中，所述加速度信息包括坐标系三个轴向的加速度信息；所述目标处理模块包括：两两相连接的计算单元、目标匹配单元和目标跟踪单元；
所述计算单元，配置为能够通过所述获取模块获取的三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述目标匹配单元，配置为能够在所述计算单元计算出的加速度信息的变化值大于第一加速度阈值时，对所述目标对象进行目标匹配；
所述目标跟踪单元，配置为能够在所述目标匹配单元匹配到所述目标对象时，重新对所述目标对象进行目标跟踪；
所述目标匹配单元，还配置为能够在未匹配到所述目标对象时，继续对所述目标对象进行目标匹配。
根据第二方面、第二方面的第一种到第二种可能的实现方式中任意一种，在第四种可能的实现方式中，所述加速度信息包括坐标系三个轴向的加速度信息；所述目标处理模块包括：相连接的计算单元和目标跟踪单元；
所述计算单元，配置为能够通过所述获取模块获取的三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述目标跟踪单元，配置为能够在所述计算单元计算出的加速度信息的变化值小于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述目标跟踪单元，还配置为能够在所述计算单元计算出的加速度信息的变化值小于第一加速度阈值且大于所述第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪，并且不处理当前时刻的视屏帧。
根据第二方面、第二方面的第一种到第二种可能的实现方式中任意一种，在第五种可能的实现方式中，所述加速度信息包括坐标系三个轴向的加速度信息；所述目标处理模块包括：两两相连接的计算单元、目标匹配单元和目标跟踪单元；
所述计算单元，配置为能够通过所述获取模块获取的三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述目标匹配单元，配置为能够在所述计算单元计算出的加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值时，对所述目标对象进行目标匹配，其中，所述预置条件为：小于第一加速度阈值且大于第二加速度阈值；
所述目标跟踪单元，配置为能够在所述目标匹配单元匹配到所述目标对象时，重新对所述目标对象进行目标跟踪；
所述目标匹配单元，还配置为能够在未匹配到所述目标对象时，继续对所述目标对象进行目标匹配。
根据第二方面、第二方面的第一种到第二种可能的实现方式中任意一种，在第六种可能的实现方式中，所述方向信息包括沿坐标系三个轴旋转的方向信息，所述方向信息包括第一方向信息、第二方向信息和第三方向信息，其中，所述第一方向信息和所述第二方向信息中的一个为沿X轴旋转的方向信息，另一个为沿Y轴旋转的方向信息，所述第三方向信息为沿Z轴旋转的方向信息；
所述获取模块，还配置为能够在所述目标处理模块根据所述移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，获取所述目标对象的初始方向信息；
所述目标处理模块包括：相连接的计算单元和目标处理单元；
所述计算单元，配置为能够根据所述移动终端的当前第一方向信息和所述初始方向信息计算第一方向信息的差值；
所述目标处理单元，配置为能够在所述计算单元计算出的第一方向信息的差值大于第一方向阈值时，对所述目标对象进行目标匹配；
所述目标处理单元，还配置为能够在所述计算单元计算出的第一方向信息的差值小于第二方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述计算单元和所述目标处理单元，还配置为能够在所述计算单元计算出的第一方向信息的差值小于所述第一方向阈值且大于所述第二方向阈值时，根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
根据第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述计算单元和所述目标处理单元配置为能够根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
所述计算单元，还配置为能够根据所述移动终端的当前第二方向信息和所述初始方向信息计算第二方向信息的差值；
所述目标处理单元，还配置为能够在所述计算单元计算出的第二方向信息的差值大于第三方向阈值时，对所述目标对象进行目标匹配；
所述目标处理单元，还配置为能够在所述计算单元计算出的第二方向信息的差值小于第四方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述计算单元和所述目标处理单元，还配置为能够在所述计算单元计算出的第二方向信息的差值小于所述第三方向阈值且大于所述第四方向阈值时，根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
根据第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述计算单元和所述目标处理单元配置为能够根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
所述计算单元，还配置为能够根据所述移动终端的当前第三方向信息和所述初始方向信息计算第三方向信息的差值；
所述目标处理单元，还配置为能够在所述计算单元计算出的第三方向信息的差值小于旋转角度阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述计算单元，还配置为能够在所述第三方向信息的差值大于所述旋转角度阈值时，根据所述第一方向信息的差值、所述第二方向信息的差值和所述第三方向信息的差值计算当前ORB特征信息；
所述目标处理单元，还配置为能够根据在所述计算单元计算出所述当前ORB特征信息时，根据所述当前ORB特征信息对所述目标对象进行目标跟踪；
所述目标处理单元，还配置为能够根据在所述计算单元未计算出所述当前ORB特征信息时，对所述目标对象进行目标匹配。
根据第二方面、第二方面的第一种到第二种可能的实现方式中任意一种，在第九种可能的实现方式中，所述移动终端目标跟踪装置还包括：与所述目标处理模块相连接的计算模块，配置为能够在所述目标处理模块对所跟踪的目标对象继续进行目标跟踪之后，根据当前ORB特征信息计算当前进行目标跟踪的正确率；
所述目标处理模块包括：相连接的目标匹配单元和目标跟踪单元；
所述目标跟踪单元，配置为能够在所述计算模块计算出的正确率大于目标阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述目标匹配单元，配置为能够在所述计算模块计算出的正确率小于目标阈值时，对所述目标对象进行目标匹配；
所述目标跟踪单元，配置为能够在所述目标匹配单元匹配到所述目标对象时，重新对所述目标对象进行目标跟踪；
所述目标匹配单元，还配置为能够在未匹配到所述目标对象时，继续对所述目标对象进行目标匹配。
第三方面，本发明实施例提供一种移动终端，所述移动终端中配置有摄像头、加速度传感器和方向传感器，以及如上述第二方面中任一项所述的移动终端目标跟踪装置；
其中，所述移动终端目标跟踪装置分别与所述摄像头、所述加速度传感器和所述方向传感器相连接。
本发明实施例提供的移动终端目标跟踪方法、装置和移动终端，通过移动终端的加速度传感器和方向传感器实时获取所述移动终端的加速度信息和方向信息，从而分别根据移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配；本发明实施例中通过利用移动终端的加速度传感器和方向传感器，可以实现对跟踪对象的适时调整，从而保证跟踪对象的准确性，即本发明实施例解决了现有技术中移动终端的目标跟踪方法，由于将现有的目标跟踪算法直接应用到移动终端上，而导致目标跟踪的实时性、可靠性和鲁棒性等性能较差的问题。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例提供的一种移动终端目标跟踪方法的流程图；
图2为本发明实施例提供的另一种移动终端目标跟踪方法的流程图；
图3为本发明实施例提供的又一种移动终端目标跟踪方法的流程图；
图4为图3所示实施例提供的移动终端目标跟踪方法中一种加速度变化示意图；
图5为图3所示实施例提供的移动终端目标跟踪方法中另一种加速度变化示意图；
图6为本发明实施例提供的再一种移动终端目标跟踪方法的流程图；
图7为图6所示实施例提供的移动终端目标跟踪方法中一种方向变化示意图；
图8为图6所示实施例提供的移动终端目标跟踪方法中另一种方向变化示意图；
图9为本发明实施例提供的还一种移动终端目标跟踪方法的流程图；
图10为本发明实施例提供的还一种移动终端目标跟踪方法的流程图；
图11为本发明实施例提供的一种移动终端目标跟踪装置的结构示意图；
图12为本发明实施例提供的另一种移动终端目标跟踪装置的结构示意图；
图13为本发明实施例提供的又一种移动终端目标跟踪装置的结构示意图；
图14为本发明实施例提供的再一种移动终端目标跟踪装置的结构示意图；
图15为本发明实施例提供的一种移动终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
上述背景技术中已经说明，由于移动终端的硬件性能与传统的桌面设备存在较大的差距，因此，若将现有的目标跟踪算法直接移植到智能移动终端上的处理方式，对于移动终端执行目标跟踪的实时性、可靠性和鲁棒性等综合性能无法达到在桌面设备上的目标跟踪效果。
以现有的一些目标跟踪算法为例予以说明，例如基于区域的目标跟踪算法，利用目标的全局信息，在目标未遮挡时虽然跟踪精度非常高，也非常稳定，但是计算量较大，非常耗时，不能满足移动终端上目标跟踪的实时性要求；再例如基于特征的目标跟踪算法不考虑运动目标的整体特征，而是提取目标的某种特征，然后对这些特征进行定位与跟踪，虽然速度快，同时对运动目标的形变、尺度、亮度等变化不敏感，由于特征具有稀疏性与不规则性，所以该算法对噪声、遮挡、图像模糊等比较敏感，如果目标发生旋转，则部分特征点会消失，新的特征点会出现，容易出现目标跟踪丢失的状况，且跟踪丢失后不能自动恢复跟踪，即达不到移动终端上的目标跟踪的鲁棒性与可靠性要求；又例如基于均值漂移的目标跟踪算法，通过迭代计算概率密度的局部最大值，计算量小、实时性高，但易出现跟踪错误，且亦不能自我恢复跟踪，不满足可靠性与鲁棒性的要求；又例如基于活动轮廓的跟踪算法，通过活动轮廓模型对图像进行分割，然后通过对分割的图像区域进行特征提取，并与目标进行特征匹配来实现跟踪，虽然具有较好的可靠性与鲁棒性，但并不能满足实时性的要求。因此，合理的设计针对移动终端的目标跟踪技术，成为提高移动终端性能的重要因素之一。
下面通过具体的实施例对本发明的技术方案进行详细说明，本发明以下各实施例中的移动终端可以为独立的终端设备，例如为智能手机、平板电脑(PAD)和个人数字助理(Personal Digital Assistant，简称为：PDA)等，该移动终端可也为配置于其他设备上的实体部件，例如车辆上设置的车载导航。本发明提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的一种移动终端目标跟踪方法的流程图。本实施例提供的移动终端目标跟踪方法适用于移动终端执行目标跟踪的情况中，该方法可以由移动终端目标跟踪装置执行，该移动终端目标跟踪装置通过硬件和软件结合的方式来实现，该装置可以集成在移动终端的处理器中，供处理器调用使用。如图1所示，本实施例的方法可以包括：
S110，通过移动终端的加速度传感器和方向传感器实时获取该移动终端的加速度信息和方向信息。
本发明实施例提供的移动终端目标跟踪方法，为通过该移动终端执行目标跟踪的执行方法，本实施例的移动终端中通常配置有加速度传感器和方向传感器(orientation sensor)，该加速度传感器例如为三轴加速度传感器(3-axisaccelerometer sensor)。通过上述两个传感器可以实时获取到移动终端的加速度信息和方向信息，本实施例通过实时获取的加速度信息和方向信息为依据，作为实现目标跟踪算法中对性能指标要求的基础。
本发明各实施例基于移动终端具有移动性的特点，充分利用移动终端中配置的加速器传感器和方向传感器，获取可以体现移动终端移动性的数据信息，以便后续根据这些数据信息在执行目标跟踪的过程中适时的调整执行跟踪的方式。
S120，分别根据移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。
在本实施例中，与现有技术中的目标跟踪方式不同的是，可以分别通过上述获取的加速度信息的变化值和方向信息的差值，对跟踪的目标对象进行目标跟踪或者进行目标匹配。举例来说，当加速度信息的变化值满足一个特定条件时，说明目标跟踪成功，即可以继续执行对该目标对象的目标跟踪；另一方面，当加速度信息的变化值满足另一个特定条件时，说明目标跟踪出现问题，此时，需要对上述目标对象进行目标匹配，从而可以根据匹配到的目标对象重新执行目标跟踪。本实施例中通过方向信息的差值进行目标跟踪或目标匹配的方式与上述通过加速度信息的变化值进行目标跟踪或目标匹配的方式类似，都是在跟踪成功的情况下继续执行目标跟踪，在跟踪出现问题的情况下进行目标匹配，以重新获取跟踪的目标对象。
本实施例在具体实现中，在S120之前还包括：S111，获取目标对象的初始ORB特征信息，其中，ORB特征信息例如包括目标对象的一些坐标点，也即特征点，ORB为Oriented FAST and Rotated BRIEF，即ORB是对FAST(Features From Accelerated Segment Test)特征点和BRIEF(Binary RobustIndependent Elementary Features)特征描述的一种结合与改进；S112，根据所获取的初始ORB特征信息对目标对象进行目标跟踪。本实施例中的移动终端通常具有摄像头，在执行目标跟踪前需要打开该摄像头，在摄像头的跟踪场景图像中确定目标对象并获取该目标对象的初始ORB特征信息，从而可以根据获取的初始ORB特征信息中对目标对象进行跟踪。
需要说明的是，本实施例中获取初始ORB特征信息的方式例如可以为FAST(Features From Accelerated Segment Test)、SIFT(Scale Invariant FeatureTransform)、SURF(Speeded Up Robust Features)、ORB(ORiented FAST andRotated BRIEF)、BRISK(Binary Robust Invariant Scalable Keypoints)、MSER(Maximally Stable Extremal Region Extractor)或GFTT(Good Features ToTrack)等；本发明各实施例中采用的目标跟踪算法与现有技术中类似，例如可以为金字塔光流跟踪算法(pyramid Lucas–Kanade，简称为：PyrLK)、在线推进跟踪算法(Tracking via On-line Boosting，简称为：OAB)、使用加速近端梯度的L1跟踪算法(L1Tracker Using Accelerated Proximal Gradient，简称为：L1APG)或压缩跟踪算法(Compressive Tracking，简称为：CT)等，本发明以下各实施例以金字塔光流跟踪算法为例予以说明。
由于移动终端具有移动性，并且其硬件性能较差，传统的目标跟踪方式很难满足移动终端执行目标跟踪时，对跟踪效果的要求。本实施例提供的移动终端目标跟踪方法，利用移动终端设备自身具备的加速度传感器和方向传感器，不仅可以通过这两个传感器实时获取移动终端的加速度信息和方向信息，并且可以利用这两个传感器实时获取的信息获知移动终端的加速度信息的变化值和方向信息的差值，适时的调整执行目标跟踪的对象，从而增强移动终端执行目标跟踪时对实时性、可靠性和鲁棒性的性能要求。
本实施例提供的移动终端目标跟踪方法，通过移动终端的加速度传感器和方向传感器实时获取所述移动终端的加速度信息和方向信息，从而分别根据移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配；本实施例中通过利用移动终端的加速度传感器和方向传感器，可以实现对跟踪对象的适时调整，从而保证跟踪对象的准确性，即本实施例解决了现有技术中移动终端的目标跟踪方法，由于将现有的目标跟踪算法直接应用到移动终端上，而导致目标跟踪的实时性、可靠性和鲁棒性等性能较差的问题。
可选地，图2为本发明实施例提供的另一种移动终端目标跟踪方法的流程图。在上述图1所示实施例的基础上，本实施例在具体实现中，S120中根据移动终端的加速度信息的变化值或方向信息的差值进行处理时，判断跟踪出现问题，则需要对所跟踪的目标对象进行目标匹配，即本实施例中的S120具体为：根据移动终端的加速度信息的变化值或方向信息的差值，以及初始ORB特征信息对目标对象进行目标匹配。在执行目标匹配，即S120之后还需要执行进一步地跟踪处理，可以包括：S130，若匹配到目标对象，更新目标对象的ORB特征信息，并根据更新的ORB特征信息重新对目标对象进行目标跟踪。在本实施例中，对目标对象进行匹配的过程中，同样需要通过摄像头的跟踪场景图像匹配之前确定的目标对象，但此时确定的目标对象在图像中的位置可能与初次确定目标对象时的位置不同，即目标对象的ORB特征信息发生变化，此时需要更行该目标对象的ORB特征信息，从而以更新的ORB特征信息作为执行目标跟踪的依据。
本实施例的S120之后还可以执行，S140，若未匹配到目标对象，继续根据初始ORB特征信息对目标对象进行目标匹配。
需要说明的是，本发明以下各实施例中进行目标匹配的参考信息均为初次获取的初始ORB特征信息，若匹配不到目标对象，则继续根据初始ORB特征信息进行匹配；以下实施例中均不具体说明进行目标匹配的具体方式。
本发明实施例在具体实现中，S110中获取的加速度信息可以包括坐标系三个轴向的加速度信息，通过该三个轴向的加速度信息可以计算出加速度信息的变化值，如图3所示，为本发明实施例提供的又一种移动终端目标跟踪方法的流程图，在上述图1所示实施例的基础上，S120中包括：S130，根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配；S140，根据移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。本实施例中的S130可以包括：
S131，通过三个轴向的加速度信息计算得到加速度信息的变化值。
S132，当加速度信息的变化值大于第一加速度阈值时，对目标对象进行目标匹配。
在本实施例中，若某一时刻加速度信息的变化值大于第一加速度阈值，则说明移动终端设备发生了较大的抖动和位移变化，如图4所示，为图3所示实施例提供的移动终端目标跟踪方法中一种加速度变化示意图，如图5所示，为图3所示实施例提供的移动终端目标跟踪方法中另一种加速度变化示意图。在图4中的tk＝6秒(s)附近和图5中的tk＝18s附近的加速度存在一个或多个较大的陡峭变化，说明此时移动终端发生了一个较大的抖动和位移变化。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。
其中，本实施例中的加速度信息的变化值如下式所示：
其中，mx、my和mz表示移动终端在当前记录时刻(例如tk时刻)沿X轴、Y轴和Z轴方向的加速度信息，m′x、m′y和m′z表示移动终端在前一记录时刻(例如tk-1时刻)沿X轴、Y轴和Z轴方向的加速度信息。
本实施例中的第一加速度阈值可以为加速度变化的上限值，即Tacc_up，例如可以按下列公式选取：
上式中的F表示移动终端上的摄像头的光圈大小，f表示摄像头的焦距大小，vf表示摄像头的帧率大小。
在本实施例中，若目标匹配的结果是匹配到目标对象，则说明该目标对象还在摄像头的场景内，则可以重新开始执行目标跟踪，此时，跟踪目标匹配成功时更新的ORB特征信息；若目标匹配的结果是未匹配到目标对象，则说明目标对象可能已移出摄像头的场景，则可以终止对目标对象的跟踪，并继续执行对目标对象的匹配，直到匹配到该目标对象。在本实施例中，进行目标匹配后的处理方式与图2所示实施例中的S130～S140的处理方式相同，故在此不再赘述。
可选地，本实施例的S130中根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配还可以包括：
S133，当加速度信息的变化值小于第一加速度阈值且大于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪，并且不处理当前时刻的视屏帧。
在本实施例中，若某一时刻加速度信息的变化值小于第一加速度阈值且大于第二加速度阈值，则说明移动终端设备发生了小幅抖动，同样如图4所示，在图4中的tk＝12s附近，视屏帧的灰度值变化较大，虽然可以通过目标跟踪算法跟踪上目标对象，但跟踪上的ORB特征信息在此时刻会产生较多异常值，不利于后续时刻的目标跟踪，此时可以继续对目标对象进行跟踪，但需要跳过对当前时刻(例如tk时刻)的视屏帧的处理，即忽略移动终端设备发生了小幅抖动时刻中，视屏帧的处理。
其中，本实施例中的加速度信息的变化值的计算方式和第一加速度阈值的取值都与上述实施例中相同，故在此不再赘述。
本实施例中的第二加速度阈值可以为加速度变化的下限值，即Tacc_down，例如可以按下列公式选取：
上式中的F表示移动终端上的摄像头的光圈大小，f表示摄像头的焦距大小，vf表示摄像头的帧率大小。
需要说明的是，本实施例中的S130中根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配还可以包括：
S134，当加速度信息的变化值小于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪。在该情况中，说明移动终端设备正常执行目标跟踪，即可以继续执行对该目标对象的目标跟踪。
可选地，本实施例的S130中根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配还可以包括：
S135，加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值时，对目标对象进行目标匹配。
在本实施例中，若在统计时间间隔t内，加速度信息的变化值满足预置条件的次数大于计数阈值，则说明移动终端在时间t内发生较频繁且连续的抖动，或者是连续跳过了相邻的几张视屏帧的处理，同样如图5所示，在此种情况下，跟踪算法所跟踪到的目标的ORB特征信息会持续减少，从而导致跟踪出错或跟丢。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。
其中，本实施例中的预置条件可以为：加速度信息的变化值小于第一加速度阈值且大于第二加速度阈值，每当加速度信息的变化值满足一次预置条件，次数Ncount加1；其中，加速度信息的变化值的计算方式，以及第一加速度阈值和第二加速度阈值的取值都与上述实施例中相同，故在此不再赘述。
具体地，本实施例中的统计时间间隔t和计数阈值Tacc_up的取值与选取的目标跟踪算法的性能指标相关，以本实施例中的金字塔流光跟踪算法为例予以说明，统计时间间隔t的取值可以为：
在之内，计数阈值Tacc_up的取值可以为在之内；
上式中的vf表示摄像头的帧率大小，fs表示传感器的采用频率。
需要说明的是，本发明上述实施例中的第一加速度阈值和第二加速度阈值的取值均与选取的目标跟踪算法的性能指标相关，并且本发明各实施例中有关计算阈值的取值均是以金字塔流光跟踪算法为例进行说明的。
在本实施例中，进行目标匹配后的处理方式与图2所示实施例中的S130～S140的处理方式相同，故在此不再赘述。
需要说明的是，本实施例中加速度信息的变化值可以等于第一加速度阈值，此时“等于”的情况可以按照“大于第一加速度阈值”的情况处理，也可以按照“小于第一加速度阈值”的情况处理；类似地，该加速度信息的变化值还可以等于第二加速度阈值，此时“等于”的情况可以按照“大于第二加速度阈值”的情况处理，也可以按照“小于第二加速度阈值”的情况处理。
还需要说明的是，上述实施例中的S132、S133、S134和S135为可选的执行方式，为根据加速度信息的变化值的不同情况做出的相应的正确处理方式；另外，匹配处理后的操作为选择性执行的，均是根据目标匹配的结果执行后续处理的具体方式。
进一步地，本实施例中S110获取的方向信息可以包括沿坐标系三个轴旋转的方向信息，该方向信息包括第一方向信息、第二方向信息和第三方向信息，其中，第一方向信息和第二方向信息中的一个为沿X轴旋转的方向信息，另一个为沿Y轴旋转的方向信息，第三方向信息为沿Z轴旋转的方向信息，如图6所示，为本发明实施例提供的再一种移动终端目标跟踪方法的流程图，图6为在上述图3所示实施例基础上的进一步描述，图6中仅示出图3所示实施例中S130的整体步骤，未示出S131～S135的具体步骤，S111中获取目标对象的初始ORB特征信息的同时，还可以获取该目标对象的初始方向信息，获取该初始方向信息的具体方式与上述实施例中获取初始ORB特征信息的方式相同，则S120中包括：S140，根据移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，S140具体可以包括：
S141，根据移动终端的当前第一方向信息和初始方向信息计算第一方向信息的差值。
本实施例中获取的初始方向信息例如为和其中，表示移动设备绕X轴旋转的角度，表示移动设备绕Y轴旋转的角度，表示移动设备绕Z轴旋转的角度；本实施例中的第一方向信息例如为沿X轴旋转的方向信息，则第一方向信息的差值为：其中，dp表示当前时刻(例如tk时刻)移动终端沿横向轴(即Y轴)转动的角度，表示移动终端每次开始执行目标跟踪时沿横向轴的初始转动角度信息。
S142，当第一方向信息的差值大于第一方向阈值时，对目标对象进行目标匹配。
在本实施例中，若某一时刻第二方向信息的差值大于第一加速度阈值，则说明沿X轴旋转过大而导致目标对象已移出场景，如图7所示，为图6所示实施例提供的移动终端目标跟踪方法中一种方向变化示意图。在图7中的tk＝8s附近，移动终端沿传感器坐标轴横向轴(即X轴)旋转了大约50度的角度，这种情况下目标对象已经移出了摄像头的摄像场景。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。本实施例中，进行目标匹配后的处理方式与图2所示实施例中的S130～S140的处理方式相同，故在此不再赘述。
若该时刻方向信息的差值小于第一方向阈值且大于第二方向阈值，则说明移动终端设备沿X轴有一个较大但可以忍受的旋转角度，因此，可以继续通过第二方向信息的差值执行后续的处理方式。
其中，本实施例中的第一方向阈值可以为方向变化的上限值，即Torien_x1，其取值可以为：
在之内，F表示移动终端上的摄像头的光圈大小。
本实施例在S141之后还可以包括：
S143，当第一方向信息的差值小于第二方向阈值时，对所跟踪的目标对象继续进行目标跟踪。
本实施例中的第二方向阈值可以为方向变化的下限值，即Torien_x2，其取值可以为：
在之内，F表示移动终端的摄像头的光圈大小。
S144，当第一方向信息的差值小于第一方向阈值且大于第二方向阈值时，根据移动终端的当前第二方向信息和所述初始方向信息计算第二方向信息的差值。
本实施例中获取的初始方向信息同样为和本实施例中的第二方向信息例如为沿Y轴旋转的方向信息，则第二方向信息的差值为：其中，dr表示当前时刻(例如tk时刻)移动终端沿纵向轴(即Y轴)转动的角度，表示移动终端每次开始执行目标跟踪时沿纵向轴的初始转动角度信息。
需要说明的是，本实施例中的S142、S143和S144是选择性执行的，根据S141中计算出的第一方向信息的差值大小择一执行。并且本实施例在S144之后，根据第二方向信息的差值执行后续处理的操作可以包括：
S145，当第二方向信息的差值大于第三方向阈值时，对目标对象进行目标匹配。
在本实施例中，若某一时刻第二方向信息的差值大于第三加速度阈值，则说明沿Y轴旋转过大而导致目标对象已移出场景，如图8所示，为图6所示实施例提供的移动终端目标跟踪方法中另一种方向变化示意图。在图8中的tk＝11s附近，移动终端沿传感器坐标轴纵向轴(即Y轴)旋转了大约100度的角度，这种情况下目标对象已经移出了摄像头的摄像场景。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。在本实施例中，进行目标匹配后的处理方式与图2所示实施例中的S130～S140的处理方式相同，故在此不再赘述。
若该时刻方向信息的差值小于第三方向阈值且大于第四方向阈值，则说明移动终端设备沿Y轴有一个较大但可以忍受的旋转角度，因此，可以继续通过第三方向信息的差值执行后续的处理方式。
其中，本实施例中的第三方向阈值可以为方向变化的上限值，即Torien_y1，其取值可以为：
在之内，F表示移动终端上的摄像头的光圈大小。
本实施例在S144之后还可以包括：
S146，当第二方向信息的差值小于第四方向阈值时，对所跟踪的目标对象继续进行目标跟踪。在该情况中，说明移动终端设备正常执行目标跟踪，即可以继续执行对该目标对象的目标跟踪。
本实施例中的第四方向阈值可以为方向变化的下限值，即Torien_y2，其取值可以为：
在之内，F表示移动终端的摄像头的光圈大小。
S147，当第二方向信息的差值小于第三方向阈值且大于第四方向阈值时，根据移动终端的当前第三方向信息和初始方向信息计算第三方向信息的差值。
本实施例中获取的初始方向信息同样为和本实施例中的第三方向信息为沿Z轴旋转的方向信息，则第三方向信息的差值可以为：其中，da表示当前时刻(例如tk时刻)移动终端沿中心轴(即Z轴)转动的角度，表示移动终端每次开始执行目标跟踪时沿中心轴的初始转动角度信息。
需要说明的是，本实施例中的S145、S146和S147是选择性执行的，根据S144中计算出的第二方向信息的差值大小择一执行。并且本实施例在S147之后，根据第三方向信息的差值执行后续处理的操作可以包括：
S148，当第三方向信息的差值小于旋转角度阈值时，对所跟踪的目标对象继续进行目标跟踪。在该情况中，说明移动终端设备正常执行目标跟踪，即可以继续执行对该目标对象的目标跟踪。
S149，当第三方向信息的差值大于旋转角度阈值时，根据第一方向信息的差值、第二方向信息的差值和第三方向信息的差值计算当前ORB特征信息。
需要说明的是，本实施例中各方向信息的差值同样可以等于第一方向阈值、第二方向阈值、第三方向阈值、第四方向阈值或旋转角度阈值；并且“等于”的情况可以按照“大于对应阈值”的情况处理，也可以按照“小于对应阈值”的情况处理。另外，本实施例中的S148和S149是选择性执行的，根据S147中计算出的第三方向信息的差值大小择一执行。并且本实施例在S149之后，根据对当前ORB特征信息的计算结果执行后续处理的操作可以包括：
S150，若计算出当前ORB特征信息，根据所计算的当前ORB特征信息对目标对象进行目标跟踪；若未计算出当前ORB特征信息，对目标对象进行目标匹配。
在本实施例中，由于沿中心轴旋转的目标对象并不会移出摄像头的摄像场景，但是由于目标跟踪算法的抗旋转的能力有限。当第三方向信息的差值大于目标跟踪算法所能忍受的旋转角度最大值(即旋转角度阈值)时，可以通过上述S141、S144和S147中计算出的第一方向信息的差值dox、第二方向信息的差值doy和第三方向信息的差值doz，得到旋转矩阵R，R的表达式如下：
从而可以根据上述旋转矩阵R和前一时刻的ORB特征信息计算出当前ORB特征信息，具体为：Kt＝VQ[R T]Kt-1；
上述当前ORB特征信息的表达式中，其中，f表示摄像头的焦距；常量ku和kv定义了世界单位中的像素数目，角度表示扭曲角度，(uo,v0)则表示图像的主点位置。
在本实施例中，若计算出上述当前ORB特征信息，则说明跟踪到目标对象，则可以按照计算的当前ORB特征信息Kt继续执行目标跟踪。同样如图8所示，图8中的tk＝9s附近满足该情况。
需要说明的是，本实施例中旋转角度阈值Torien_z的取值与选取的目标跟踪算法的抗旋转能力相关，以本实施例中的金字塔流光跟踪算法为例予以说明，旋转角度阈值Torien_z的取值通常在之间
还需要说明的是，图6所示实施例中，可以先根据沿X轴旋转的方向信息的差值确定对目标对象的处理方式，也可以先根据沿Y轴旋转的方向信息的差值确定对目标对象的处理方式，最后根据沿Z轴旋转的方向信息的差值确定对目标对象的处理方式，为根据方向信息的差值的不同情况做出的相应的正确处理方式。另外，图6所示实施例中不限制S130与S140的执行顺序，即不限制根据加速度信息的变化值的不同情况做出处理与根据方向信息的差值的不同情况做出处理的执行顺序，可以是按特定的顺序依次执行的，也可以是并行执行的，图6所示实施例以S130在S140之前执行为例予以示出。
进一步地，图9为本发明实施例提供的还一种移动终端目标跟踪方法的流程图，在上述各实施例的基础上，本实施例提供的方法，在对所跟踪的目标对象继续进行目标跟踪之后，还包括：
S150，根据当前ORB特征信息计算当前进行目标跟踪的正确率。
本实施例在S150之后，根据计算出的当前进行目标跟踪的正确率执行后续处理的操作可以包括：
S151，当正确率大于目标阈值时，对所跟踪的目标对象继续进行目标跟踪。在该情况中，说明移动终端设备正常执行目标跟踪，即可以继续执行对该目标对象的目标跟踪。
S152，当正确率小于目标阈值时，对目标对象进行目标匹配。
在本实施例中，若某一时刻执行目标跟踪的正确率小于目标阈值，则说明执行目标跟踪出现问题，即跟丢目标对象。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。
其中，本实施例中的进行目标跟踪的正确率可以表示为：
上式中的D是根据具体ORB特征信息设计的距离度量函数，Ki是被跟踪的第i个ORB特征信息，Tr根据具体的度量函数D实验选取。
需要说明的是，本实施例中的S151和S152是选择性执行的，根据S150中计算出的当前进行目标跟踪的正确率择一执行。并且本实施例在S152之后，还可以包括：
S153，若匹配到目标对象，重新对目标对象进行目标跟踪。
S154，若未匹配到目标对象，继续对目标对象进行目标匹配。
在本实施例中，进行目标匹配后的处理方式与图2所示实施例中的S130～S140的处理方式相同，故在此不再赘述。图9所示实施例以在图1所示实例的基础上为例予以示出。
还需要说明的是，本实施例中正确率同样可以等于目标阈值，并且“等于”的情况可以按照“大于目标阈值”的情况处理，也可以按照“小于目标阈值”的情况处理。
为使本发明技术方案更清楚明白，以下通过一个具体实例详细说明本发明各实施例提供的数据传输方法的应用场景和应用方式。如图10所示，为本发明实施例提供的还一种移动终端目标跟踪方法的流程图，执行本实施例提供的方法的移动终端配置有加速度传感器、方向传感器和摄像头，本实施例的方法具体包括：
S201，开启移动终端的摄像头。本实施例中的摄像头用于目标跟踪场景中，例如可以在进行目标跟踪时，通过摄像头的场景获取目标对象的当前ORB特征信息，可以在进行目标匹配时，通过摄像头的场景对初始ORB特征信息对应的目标对象进行匹配。
S202，创建两个子线程Thread I与Thread II。本实施例中的子线程ThreadI用于进行目标跟踪，子线程Thread II用于进行目标匹配和跟踪恢复。
S203，启用加速度传感器和方向传感器，实时获取移动终端的加速度信息和方向信息。本实施例中的加速度信息可以包括坐标系三个轴向的加速度信息，并且同样通过该三个轴向的加速度信息可以计算出加速度信息的变化值；方向信息同样可以包括沿坐标系三个轴旋转的方向信息，即第一方向信息、第二方向信息和第三方向信息。
S204，获取目标对象的初始ORB特征信息和初始方向信息。
S205，通过子线程Thread I对目标对象进行目标跟踪。在初次打开子线程Thread I并执行目标跟踪时，具体根据初始ORB特征信息对目标对象进行目标跟踪，本实施例同样例如采用金字塔光流跟踪算法。
S206，根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。本实施例中的S206可以包括：
S2061，计算并判断加速度信息的变化值的大小。当加速度信息的变化值大于第一加速度阈值，则执行S2062；当加速度信息的变化值小于第一加速度阈值且大于第二加速度阈值，则执行S2067；当加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值，同样执行S2062；当加速度信息的变化值小于第二加速度阈值，则执行S2068。
当加速度信息的变化值大于第一加速度阈值时，执行S2062，暂停子线程Thread I的目标跟踪，启用子线程Thread II对目标对象进行目标匹配。在该情况下，说明移动终端设备发生了较大的抖动和位移变化，同样看以参照图4中的tk＝6s附近和图5中的tk＝18s附近，此时的加速度存在一个或多个较大的陡峭变化。因此，需要对目标对象进行目标匹配。
S2063，判断是否匹配到目标对象。若匹配到目标对象，则执行S2064；若未匹配到目标对象，则执行S2066。
S2064，更新目标对象的ORB特征信息。
S2065，根据更新的ORB特征信息重新对目标对象进行目标跟踪，并终止子线程Thread II的目标匹配。
S2066，终止子线程Thread I的目标跟踪处理。转到S210(图10未示出S2066转到S210的流程箭头)。
当加速度信息的变化值小于第一加速度阈值且大于第二加速度阈值时，执行S2067，通过子线程Thread I继续对目标对象进行目标跟踪，并且不处理当前时刻的视屏帧。在该情况下，说明移动终端设备发生了小幅抖动，同样可以参照图3中tk＝12s附近的变化示意。
当加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值，同样执行S2062，暂停子线程Thread I的目标跟踪，启用子线程ThreadII对目标对象进行目标匹配。在该情况下，说明说明移动终端在时间t内发生较频繁且连续的抖动，或者是连续跳过了相邻的几张视屏帧的处理，同样看以参照图5所述变化示意，跟踪算法所跟踪到的目标的ORB特征信息会持续减少，从而导致跟踪出错或跟丢。因此，需要对目标对象进行目标匹配。
S2062后同样可以执行S2063～S2066；即S2063判断是否匹配到目标对象，若匹配到目标对象，则执行S2064～S2065；若未匹配到目标对象，则执行S2066。
当加速度信息的变化值小于第二加速度阈值时，执行S2068，通过子线程Thread I继续对目标对象进行目标跟踪。
S207，判断上述S206中是否跟踪到目标对象。若跟踪到，则执行S208，若未跟踪到，则执行S210。
S208，根据移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。本实施例中的S208可以包括：
S2081，计算并判断第一方向信息的差值的大小。本实施例中的第一方向信息的差值同样例如为沿X轴旋转的方向信息的差值，当第一方向信息的差值大于第一方向阈值，则执行S2082；当第一方向信息的差值小于第一方向阈值且大于第二方向阈值，则执行S2083；当第一方向信息的差值小于第二方向阈值，则执行S2086。
当第一方向信息的差值大于第一方向阈值时，执行S2082，终止子线程Thread I的目标跟踪。随后转到S210(图10未示出S2082转到S210的流程箭头)。在该情况下，沿X轴旋转过大而导致目标对象已移出场景，同样看以参照图7中的tk＝8s附近，移动终端沿传感器坐标轴横向轴(即X轴)旋转了大约50度的角度，这种情况下目标对象已经移出了摄像头的摄像场景。因此，需要对目标对象进行目标匹配。
本实施例中S2081的判断结果为第一方向信息的差值小于第一方向阈值且大于第二方向阈值，则需要根据第二方向信息的差值对目标对象进行目标跟踪或者进行目标匹配。
即本实施例的S1081之后还可以包括：
S2083，计算并判断第二方向信息的差值的大小。本实施例中的第二方向信息的差值同样例如为沿Y轴旋转的方向信息的差值，当第二方向信息的差值大于第三方向阈值，则执行S2082；当第二方向信息的差值小于第三方向阈值且大于第四方向阈值，则执行S2084；当第二方向信息的差值小于第四方向阈值，则执行S2086。
本实施例中S2083的判断结果为第二方向信息的差值小于第三方向阈值且大于第四方向阈值，则需要根据第三方向信息的差值对目标对象进行目标跟踪或者进行目标匹配。
即本实施例中的S2083之后还可以包括：
S2084，计算并判断第三方向信息的差值的大小。本实施例中的第三方向信息的差值同样例如为沿Z轴旋转的方向信息的差值，当第三方向信息的差值大于旋转角度阈值，则执行S2085；当第三方向信息的差值小于旋转角度阈值，则执行S2086。
S2085，计算目标对象的当前ORB特征信息，并通过子线程Thread I继续进行目标跟踪。此时，具体通过所计算的当前ORB特征信息对目标对象进行目标跟踪。
S2086，通过子线程Thread I继续对目标对象进行目标跟踪。
S209，判断S208中是否跟踪到目标对象。若跟踪到，则返回执行S205，若未跟踪到，则执行S210。
S210，通过子线程Thread II对目标对象进行匹配。随后，继续判断是否匹配到目标对象；若匹配到目标对象，执行方式与S2064～S2065相同；若未匹配到目标对象，则继续匹配目标对象。
本发明实施例针对已有技术的不足，以及移动终端再商业应用中对目标跟踪所需的性能要求，提出了一种基于传感器信息融合的移动终端目标跟踪方法。本实施例充分利用加速度传感器与方向传感器，实时获取移动终端的加速度信息与方向信息。并且创建两个子线程，其中一个子线程用于目标跟踪，选取金字塔光流跟踪算法，该跟踪算法具有很好的实时性与稳定性；另外一个线程用于进行目标匹配定位，当跟踪失败时调用启用该线程达到校正与重新恢复目标跟踪的目的，从而使本实施例能具有较好的可靠性与鲁棒性。利用加速度传感器信息与方向传感器信息来适时地合理地调度目标跟踪线程与匹配校正线程，以使本实施例能同时能满足实时性、可靠性与鲁棒性的性能要求。其优点主要表现在以下几个方面：
第一，利用加速度传感器感知移动终端是否发生了较大抖动，若发生较大抖动，及时调整目标跟踪，从而实现了算法较强的稳定性和可靠性性能。
第二，利用方向传感器感知移动终端是否绕中心轴发生了较大旋转，以适时的调用匹配校正线程，达到很强的抗旋转性。
第三，利用方向传感器感知移动终端是否绕纵向轴或横向轴旋转，而导致目标移出摄像头的视场范围。此时，及时的调用匹配校正线程从新匹配定位目标，以重新恢复目标跟踪，从而获得了较强的鲁棒性能。
图11为本发明实施例提供的一种移动终端目标跟踪装置的结构示意图。本实施例提供的移动终端目标跟踪装置适用于移动终端执行目标跟踪的情况中，该移动终端目标跟踪装置通过硬件和软件结合的方式来实现，该装置可以集成在移动终端的处理器中，供处理器调用使用。如图11所示，本实施例的移动终端目标跟踪装置具体包括：相连接的获取模块11和目标处理模块12。
其中，获取模块11，配置为能够通过移动终端的加速度传感器和方向传感器实时获取移动终端的加速度信息和方向信息。
本发明实施例提供的移动终端目标跟踪装置，为设置于移动终端中用于执行目标跟踪的装置，本实施例的移动终端中通常配置有加速度传感器和方向传感器。通过该两个传感器可以实时获取到移动终端的加速度信息和方向信息，本实施例通过实时获取的加速度信息和方向信息为依据，作为实现目标跟踪算法中对性能指标要求的基础。
本发明各实施例基于移动终端具有移动性的特点，充分利用移动终端中配置的加速器传感器和方向传感器，获取可以体现移动终端移动性的数据信息，以便后续根据这些数据信息在执行目标跟踪的过程中适时的调整执行跟踪的方式。
目标处理模块12，配置为能够分别根据移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。
在本实施例中，与现有技术中的目标跟踪方式不同的是，可以分别通过上述获取的加速度信息的变化值和方向信息的差值，对跟踪的目标对象进行目标跟踪或者进行目标匹配。本实施例中通过方向信息的差值进行目标跟踪或目标匹配的方式与上述通过加速度信息的变化值进行目标跟踪或目标匹配的方式类似，都是在跟踪成功的情况下继续执行目标跟踪，在跟踪出现问题的情况下进行目标匹配，以重新获取跟踪的目标对象。
本实施例在具体实现中，获取模块11，还配置为能够在目标处理模块12对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，获取目标对象的初始ORB特征信息；相应地，目标处理模块12，还配置为能够根据获取模块11获取的初始ORB特征信息对目标对象进行目标跟踪。本实施例中的移动终端通常具有摄像头，在执行目标跟踪前需要打开该摄像头，在摄像头的跟踪场景图像中确定目标对象并获取该目标对象的初始ORB特征信息，从而可以根据获取的初始ORB特征信息中对目标对象进行跟踪。
需要说明的是，本实施例中获取初始ORB特征信息的方式例如可以为FAST、SIFT、SURF、ORB、BRISK、MSER或GFTT等；本发明各实施例中采用的目标跟踪算法与现有技术中类似，例如可以为金字塔光流跟踪算法(pyramid Lucas–Kanade，简称为：PyrLK)、OAB、L1APG或CT等，本发明以下各实施例以金字塔光流跟踪算法为例予以说明。
本发明实施例提供的移动终端目标跟踪装置用于执行本发明图1所示实施例提供的移动终端目标跟踪方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。
可选地，上述图11所示实施例在具体实现中，目标处理模块12配置为能够分别根据移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象进行目标匹配，包括：配置为能够根据移动终端的加速度信息的变化值或方向信息的差值，以及获取模块11获取的初始ORB特征信息对目标对象进行目标匹配；该目标处理模块12，还配置为能够在对所跟踪的目标对象进行目标匹配之后，若匹配到目标对象，更新目标对象的ORB特征信息，并根据更新的ORB特征信息重新对目标对象进行目标跟踪；若未匹配到目标对象，继续根据初始ORB特征信息对目标对象进行目标匹配。
需要说明的是，本发明以下各实施例中进行目标匹配的参考信息均为初次获取的初始ORB特征信息，若匹配不到目标对象，则继续根据初始ORB特征信息进行匹配；以下实施例中均不具体说明进行目标匹配的具体方式。
本发明实施例提供的移动终端目标跟踪装置用于执行本发明图2所示实施例提供的移动终端目标跟踪方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。
本发明实施例在具体实现中，获取模块11获取的加速度信息可以包括坐标系三个轴向的加速度信息，如图12所示，为本发明实施例提供的另一种移动终端目标跟踪装置的结构示意图。在上述图11所示实施例的基础上，本实施例中目标处理模块12配置为能够根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配的具体方式可以为，该目标处理模块12包括：两两相连接的目标匹配单元13、目标跟踪单元14和计算单元15，具体地，本实施例中的目标匹配单元13、目标跟踪单元14和计算单元15分别与获取模块11相连接；其中，计算单元15，配置为能够通过获取模块11获取的三个轴向的加速度信息计算得到加速度信息的变化值；目标匹配单元13，配置为能够在计算单元15计算出的加速度信息的变化值大于第一加速度阈值时，对目标对象进行目标匹配；目标跟踪单元14，配置为能够在目标匹配单元13匹配到目标对象时，重新对目标对象进行目标跟踪；相应地，目标匹配单元13，还配置为能够在未匹配到目标对象时，继续对目标对象进行目标匹配。本实施例同样可以参照图4中的tk＝6s附近和图5中的tk＝18s附近，加速度存在一个或多个较大的陡峭变化，说明此时移动终端发生了一个较大的抖动和位移变化。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。
可选地，本实施例中目标处理模块12配置为能够根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配的具体方式还可以为，目标跟踪单元14，还配置为能够在计算单元15计算出的加速度信息的变化值小于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪；目标跟踪单元14，还配置为能够在计算单元15计算出的加速度信息的变化值小于第一加速度阈值且大于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪，并且不处理当前时刻的视屏帧。本实施例同样可以参照图4中的tk＝12s附近，视屏帧的灰度值变化较大，虽然可以通过目标跟踪算法跟踪上目标对象，但跟踪上的ORB特征信息在此时刻会产生较多异常值，不利于后续时刻的目标跟踪，此时可以继续对目标对象进行跟踪，但需要跳过对当前时刻的视屏帧的处理。
可选地，本实施例中目标处理模块12配置为能够根据移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配的具体方式还可以为，目标匹配单元13，还配置为能够在计算单元15计算出的加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值时，对目标对象进行目标匹配，其中，预置条件为：小于第一加速度阈值且大于第二加速度阈值；目标跟踪单元14，还配置为能够在目标匹配单元13匹配到目标对象时，重新对目标对象进行目标跟踪；目标匹配单元13，还配置为能够在未匹配到目标对象时，继续对目标对象进行目标匹配。本实施例同样可以参照图5，跟踪算法所跟踪到的目标的ORB特征信息会持续减少，从而导致跟踪出错或跟丢。因此，为了保证目标跟踪的准确性，需要对目标对象进行目标匹配。
本发明实施例提供的移动终端目标跟踪装置用于执行本发明图3所示实施例提供的移动终端目标跟踪方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。
进一步地，本实施例中获取模块11获取的方向信息可以包括沿坐标系三个轴旋转的方向信息，该方向信息包括第一方向信息、第二方向信息和第三方向信息，其中，第一方向信息和第二方向信息中的一个为沿X轴旋转的方向信息，另一个为沿Y轴旋转的方向信息，第三方向信息为沿Z轴旋转的方向信息，如图13所示，为本发明实施例提供的又一种移动终端目标跟踪装置的结构示意图，在上述图11所述实施例的基础上，获取模块11获取目标对象的初始ORB特征信息的同时，还可以获取该目标对象的初始方向信息，本实施例中目标处理模块12配置为能够根据移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配的方式可以为，该目标处理模块12包括：相连接的计算单元15和目标处理单元16，本实施例中的计算单元15与获取模块11相连接；其中，计算单元15，配置为能够根据移动终端的当前第一方向信息和初始方向信息计算第一方向信息的差值；相应地，目标处理单元16，配置为能够在计算单元15计算出的第一方向信息的差值大于第一方向阈值时，对目标对象进行目标匹配；目标处理单元16，还配置为能够在计算单元15计算出的第一方向信息的差值小于第二方向阈值时，对所跟踪的目标对象继续进行目标跟踪；计算单元15和目标处理单元16，还配置为能够在计算单元15计算出的第一方向信息的差值小于第一方向阈值且大于第二方向阈值时，根据第二方向信息的差值对目标对象进行目标跟踪或者进行目标匹配。
进一步地，计算单元15和目标处理单元16配置为能够根据第二方向信息的差值对目标对象进行目标跟踪或者进行目标匹配的具体方式为：计算单元15，还配置为能够根据移动终端的当前第二方向信息和初始方向信息计算第二方向信息的差值；目标处理单元16，还配置为能够在计算单元15计算出的第二方向信息的差值大于第三方向阈值时，对目标对象进行目标匹配；目标处理单元16，还配置为能够在计算单元15计算出的第二方向信息的差值小于第四方向阈值时，对所跟踪的目标对象继续进行目标跟踪；计算单元15和目标处理单元16，还配置为能够在计算单元15计算出的第二方向信息的差值小于第三方向阈值且大于第四方向阈值时，根据第三方向信息的差值对目标对象进行目标跟踪或者进行目标匹配。
进一步地，计算单元15和目标处理单元16配置为能够根据第三方向信息的差值对目标对象进行目标跟踪或者进行目标匹配的具体方式为：计算单元15，还配置为能够根据移动终端的当前第三方向信息和初始方向信息计算第三方向信息的差值；目标处理单元16，还配置为能够在计算单元15计算出的第三方向信息的差值小于旋转角度阈值时，对所跟踪的目标对象继续进行目标跟踪；计算单元15，还配置为能够在第三方向信息的差值大于旋转角度阈值时，根据第一方向信息的差值、第二方向信息的差值和第三方向信息的差值计算当前ORB特征信息；目标处理单元16，还配置为能够在计算单元15计算出当前ORB特征信息时，根据该当前ORB特征信息对目标对象进行目标跟踪，在计算单元15未计算出当前ORB特征信息时，对目标对象进行目标匹配。
本发明实施例提供的移动终端目标跟踪装置用于执行本发明图6所示实施例提供的移动终端目标跟踪方法，具备相应的功能模块，其实现原理和技术效果类似，此处不再赘述。
在上述各实施例的基础上，如图14所示，为本发明实施例提供的再一种移动终端目标跟踪装置的结构示意图，本实施例以在图11所示实施例的基础上为例予以示出，本实施例中的移动终端目标跟踪装置还包括：与目标处理模块12相连接的计算模块17，配置为能够在目标处理模块12对所跟踪的目标对象继续进行目标跟踪之后，根据当前ORB特征信息计算当前进行目标跟踪的正确率；并且本实施例中的目标处理模块12同样包括：相连接的目标匹配单元13和目标跟踪单元14，本实施例中的目标匹配单元13和目标跟踪单元14分别与获取模块11相连接；其中，目标跟踪单元14，配置为能够在计算模块17计算出的正确率大于目标阈值时，对所跟踪的目标对象继续进行目标跟踪；目标匹配单元13，配置为能够在计算模块17计算出的正确率小于目标阈值时，对目标对象进行目标匹配；进一步地，目标跟踪单元14，配置为能够在目标匹配单元13匹配到目标对象时，对目标对象进行目标跟踪；目标匹配单元13，还配置为能够在未匹配到目标对象时，继续对目标对象进行目标匹配。
在具体实现中，本发明图11到图14所示各实施例中的获取模块11和目标处理模块12可以通过终端设备的处理器来实现，其中的各单元和子单元同样可以通过终端设备的处理器来实现，该处理器例如可以是一个中央处理器(Central Processing Unit，简称为：CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为：ASIC)，或者是完成实施本发明实施例的一个或多个集成电路。
图15为本发明实施例提供的一种移动终端的结构示意图。本实施例提供的移动终端适用于移动终端执行目标跟踪的情况中，该移动终端中配置有摄像头31、加速度传感器32、方向传感器33和移动终端目标跟踪装置34，其中，移动终端目标跟踪装置可以为上述图11到图14中所示任一实施例提供的移动终端目标跟踪装置，并且，该移动终端目标跟踪装置分别与摄像头、加速度传感器和方向传感器相连接。本实施例的移动终端中的各实体装置执行目标跟踪的方式，与上述图11到图14所示实施例中对应实体装置执行目标跟踪的方式相同，同样用于执行本发明图1到图10所示任一实施例提供的移动终端目标跟踪装置，具备相应的实体装置，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可以通过程序来指令相关硬件(例如处理器)完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，例如通过集成电路来实现其相应功能，也可以采用软件功能模块的形式实现，例如通过处理器执行存储于存储器中的程序/指令来实现其相应功能。本发明实施例不限制于任何特定形式的硬件和软件的结合。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (21)

1.一种移动终端目标跟踪处理方法，其特征在于，包括：
通过移动终端的加速度传感器和方向传感器实时获取所述移动终端的加速度信息和方向信息；
分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。
2.根据权利要求1所述的移动终端目标跟踪方法，其特征在于，所述对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，还包括：
获取所述目标对象的初始ORB特征信息；
根据所获取的初始ORB特征信息对所述目标对象进行目标跟踪。
3.根据权利要求2所述的移动终端目标跟踪方法，其特征在于，所述分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象进行目标匹配，包括：
根据所述移动终端的加速度信息的变化值或方向信息的差值，以及所述初始ORB特征信息对所述目标对象进行目标匹配；
所述对所跟踪的目标对象进行目标匹配之后，还包括：
若匹配到所述目标对象，更新所述目标对象的ORB特征信息，并根据更新的ORB特征信息重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续根据所述初始ORB特征信息对所述目标对象进行目标匹配。
4.根据权利要求1～3中任一项所述的移动终端目标跟踪方法，其特征在于，所述加速度信息包括坐标系三个轴向的加速度信息；所述根据所述移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
通过所述三个轴向的加速度信息计算得到所述加速度信息的变化值；
当所述加速度信息的变化值大于第一加速度阈值时，对所述目标对象进行目标匹配；
若匹配到所述目标对象，重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续对所述目标对象进行目标匹配。
5.根据权利要求1～3中任一项所述的移动终端目标跟踪方法，其特征在于，所述加速度信息包括坐标系三个轴向的加速度信息；所述根据所述移动终端的加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
通过所述三个轴向的加速度信息计算得到所述加速度信息的变化值；
当所述加速度信息的变化值小于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述加速度信息的变化值小于第一加速度阈值且大于所述第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪，并且不处理当前时刻的视屏帧。
6.根据权利要求1～3中任一项所述的移动终端目标跟踪方法，其特征在于，所述加速度信息包括坐标系三个轴向的加速度信息；所述根据加速度信息的变化值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
通过所述三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值时，对所述目标对象进行目标匹配，其中，所述预置条件为：小于第一加速度阈值且大于第二加速度阈值；
若匹配到所述目标对象，重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续对所述目标对象进行目标匹配。
7.根据权利要求1～3中任一项所述的移动终端目标跟踪方法，其特征在于，所述方向信息包括沿坐标系三个轴旋转的方向信息，所述方向信息包括第一方向信息、第二方向信息和第三方向信息，其中，所述第一方向信息和所述第二方向信息中的一个为沿X轴旋转的方向信息，另一个为沿Y轴旋转的方向信息，所述第三方向信息为沿Z轴旋转的方向信息；
所述根据所述移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，还包括：
获取所述目标对象的初始方向信息；
所述根据所述方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配，包括：
根据所述移动终端的当前第一方向信息和所述初始方向信息计算第一方向信息的差值；
当所述第一方向信息的差值大于第一方向阈值时，对所述目标对象进行目标匹配；
当所述第一方向信息的差值小于第二方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述第一方向信息的差值小于所述第一方向阈值且大于所述第二方向阈值时，根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
8.根据权利要求7所述的移动终端目标跟踪方法，其特征在于，所述根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
根据所述移动终端的当前第二方向信息和所述初始方向信息计算第二方向信息的差值；
当所述第二方向信息的差值大于第三方向阈值时，对所述目标对象进行目标匹配；
当所述第二方向信息的差值小于第四方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述第二方向信息的差值小于所述第三方向阈值且大于所述第四方向阈值时，根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
9.根据权利要求8所述的移动终端目标跟踪方法，其特征在于，所述根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
根据所述移动终端的当前第三方向信息和所述初始方向信息计算第三方向信息的差值；
当所述第三方向信息的差值小于旋转角度阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述第三方向信息的差值大于所述旋转角度阈值时，根据所述第一方向信息的差值、所述第二方向信息的差值和所述第三方向信息的差值计算当前ORB特征信息；
若计算出所述当前ORB特征信息，根据所计算的当前ORB特征信息对所述目标对象进行目标跟踪；
若未计算出所述当前ORB特征信息，对所述目标对象进行目标匹配。
10.根据权利要求1～3中任一项所述的移动终端目标跟踪方法，其特征在于，所述对所跟踪的目标对象继续进行目标跟踪之后，还包括：
根据当前ORB特征信息计算当前进行目标跟踪的正确率；
当所述正确率大于所述目标阈值时，对所跟踪的目标对象继续进行目标跟踪；
当所述正确率小于目标阈值时，对所述目标对象进行目标匹配；
若匹配到所述目标对象，重新对所述目标对象进行目标跟踪；
若未匹配到所述目标对象，继续对所述目标对象进行目标匹配。
11.一种移动终端目标跟踪处理装置，其特征在于，包括：相连接的获取模块和目标处理模块；
所述获取模块，配置为能够通过移动终端的加速度传感器和方向传感器实时获取所述移动终端的加速度信息和方向信息；
目标处理模块，配置为能够分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配。
12.根据权利要求11所述的移动终端目标跟踪装置，其特征在于，所述获取模块，还配置为能够在所述目标处理模块对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，获取所述目标对象的初始ORB特征信息；
所述目标处理模块，还配置为能够根据所述获取模块获取的初始ORB特征信息对所述目标对象进行目标跟踪。
13.根据权利要求12所述的移动终端目标跟踪装置，其特征在于，所述目标处理模块配置为能够分别根据所述移动终端的加速度信息的变化值和方向信息的差值，对所跟踪的目标对象进行目标匹配，包括：配置为能够根据所述移动终端的加速度信息的变化值或方向信息的差值，以及所述获取模块获取的初始ORB特征信息对所述目标对象进行目标匹配；
所述目标处理模块，还配置为能够在对所跟踪的目标对象进行目标匹配之后，若匹配到所述目标对象，更新所述目标对象的ORB特征信息，并根据更新的ORB特征信息重新对所述目标对象进行目标跟踪；若未匹配到所述目标对象，继续根据所述初始ORB特征信息对所述目标对象进行目标匹配。
14.根据权利要求11～13中任一项所述的移动终端目标跟踪装置，其特征在于，所述加速度信息包括坐标系三个轴向的加速度信息；所述目标处理模块包括：两两相连接的计算单元、目标匹配单元和目标跟踪单元；
所述计算单元，配置为能够通过所述获取模块获取的三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述目标匹配单元，配置为能够在所述计算单元计算出的加速度信息的变化值大于第一加速度阈值时，对所述目标对象进行目标匹配；
所述目标跟踪单元，配置为能够在所述目标匹配单元匹配到所述目标对象时，重新对所述目标对象进行目标跟踪；
所述目标匹配单元，还配置为能够在未匹配到所述目标对象时，继续对所述目标对象进行目标匹配。
15.根据权利要求11～13中任一项所述的移动终端目标跟踪装置，其特征在于，所述加速度信息包括坐标系三个轴向的加速度信息；所述目标处理模块包括：相连接的计算单元和目标跟踪单元；
所述计算单元，配置为能够通过所述获取模块获取的三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述目标跟踪单元，配置为能够在所述计算单元计算出的加速度信息的变化值小于第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述目标跟踪单元，还配置为能够在所述计算单元计算出的加速度信息的变化值小于第一加速度阈值且大于所述第二加速度阈值时，对所跟踪的目标对象继续进行目标跟踪，并且不处理当前时刻的视屏帧。
16.根据权利要求11～13中任一项所述的移动终端目标跟踪装置，其特征在于，所述加速度信息包括坐标系三个轴向的加速度信息；所述目标处理模块包括：两两相连接的计算单元、目标匹配单元和目标跟踪单元；
所述计算单元，配置为能够通过所述获取模块获取的三个轴向的加速度信息计算得到所述加速度信息的变化值；
所述目标匹配单元，配置为能够在所述计算单元计算出的加速度信息的变化值在统计时间间隔内满足预置条件的次数大于计数阈值时，对所述目标对象进行目标匹配，其中，所述预置条件为：小于第一加速度阈值且大于第二加速度阈值；
所述目标跟踪单元，配置为能够在所述目标匹配单元匹配到所述目标对象时，重新对所述目标对象进行目标跟踪；
所述目标匹配单元，还配置为能够在未匹配到所述目标对象时，继续对所述目标对象进行目标匹配。
17.根据权利要求11～13中任一项所述的移动终端目标跟踪装置，其特征在于，所述方向信息包括沿坐标系三个轴旋转的方向信息，所述方向信息包括第一方向信息、第二方向信息和第三方向信息，其中，所述第一方向信息和所述第二方向信息中的一个为沿X轴旋转的方向信息，另一个为沿Y轴旋转的方向信息，所述第三方向信息为沿Z轴旋转的方向信息；
所述获取模块，还配置为能够在所述目标处理模块根据所述移动终端的方向信息的差值，对所跟踪的目标对象继续进行目标跟踪或者进行目标匹配之前，获取所述目标对象的初始方向信息；
所述目标处理模块包括：相连接的计算单元和目标处理单元；
所述计算单元，配置为能够根据所述移动终端的当前第一方向信息和所述初始方向信息计算第一方向信息的差值；
所述目标处理单元，配置为能够在所述计算单元计算出的第一方向信息的差值大于第一方向阈值时，对所述目标对象进行目标匹配；
所述目标处理单元，还配置为能够在所述计算单元计算出的第一方向信息的差值小于第二方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述计算单元和所述目标处理单元，还配置为能够在所述计算单元计算出的第一方向信息的差值小于所述第一方向阈值且大于所述第二方向阈值时，根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
18.根据权利要求17所述的移动终端目标跟踪装置，其特征在于，所述计算单元和所述目标处理单元配置为能够根据所述第二方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
所述计算单元，还配置为能够根据所述移动终端的当前第二方向信息和所述初始方向信息计算第二方向信息的差值；
所述目标处理单元，还配置为能够在所述计算单元计算出的第二方向信息的差值大于第三方向阈值时，对所述目标对象进行目标匹配；
所述目标处理单元，还配置为能够在所述计算单元计算出的第二方向信息的差值小于第四方向阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述计算单元和所述目标处理单元，还配置为能够在所述计算单元计算出的第二方向信息的差值小于所述第三方向阈值且大于所述第四方向阈值时，根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配。
19.根据权利要求18所述的移动终端目标跟踪装置，其特征在于，所述计算单元和所述目标处理单元配置为能够根据所述第三方向信息的差值对所述目标对象进行目标跟踪或者进行目标匹配，包括：
所述计算单元，还配置为能够根据所述移动终端的当前第三方向信息和所述初始方向信息计算第三方向信息的差值；
所述目标处理单元，还配置为能够在所述计算单元计算出的第三方向信息的差值小于旋转角度阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述计算单元，还配置为能够在所述第三方向信息的差值大于所述旋转角度阈值时，根据所述第一方向信息的差值、所述第二方向信息的差值和所述第三方向信息的差值计算当前ORB特征信息；
所述目标处理单元，还配置为能够根据在所述计算单元计算出所述当前ORB特征信息时，根据所述当前ORB特征信息对所述目标对象进行目标跟踪；
所述目标处理单元，还配置为能够根据在所述计算单元未计算出所述当前ORB特征信息时，对所述目标对象进行目标匹配。
20.根据权利要求11～13中任一项所述的移动终端目标跟踪装置，其特征在于，所述移动终端目标跟踪装置还包括：与所述目标处理模块相连接的计算模块，配置为能够在所述目标处理模块对所跟踪的目标对象继续进行目标跟踪之后，根据当前ORB特征信息计算当前进行目标跟踪的正确率；
所述目标处理模块包括：相连接的目标匹配单元和目标跟踪单元；
所述目标跟踪单元，配置为能够在所述计算模块计算出的正确率大于目标阈值时，对所跟踪的目标对象继续进行目标跟踪；
所述目标匹配单元，配置为能够在所述计算模块计算出的正确率小于目标阈值时，对所述目标对象进行目标匹配；
所述目标跟踪单元，配置为能够在所述目标匹配单元匹配到所述目标对象时，重新对所述目标对象进行目标跟踪；
所述目标匹配单元，还配置为能够在未匹配到所述目标对象时，继续对所述目标对象进行目标匹配。
21.一种移动终端，其特征在于，所述移动终端中配置有摄像头、加速度传感器和方向传感器，以及如权利要求11～20中任一项所述的移动终端目标跟踪装置；
其中，所述移动终端目标跟踪装置分别与所述摄像头、所述加速度传感器和所述方向传感器相连接。
CN201610206810.1A 2016-04-05 2016-04-05 一种移动终端目标跟踪方法、装置和移动终端 Pending CN107291216A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610206810.1A CN107291216A (zh) 2016-04-05 2016-04-05 一种移动终端目标跟踪方法、装置和移动终端
PCT/CN2017/079445 WO2017173977A1 (zh) 2016-04-05 2017-04-05 一种移动终端目标跟踪方法、装置和移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610206810.1A CN107291216A (zh) 2016-04-05 2016-04-05 一种移动终端目标跟踪方法、装置和移动终端

Publications (1)

Publication Number Publication Date
CN107291216A true CN107291216A (zh) 2017-10-24

Family

ID=60000215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610206810.1A Pending CN107291216A (zh) 2016-04-05 2016-04-05 一种移动终端目标跟踪方法、装置和移动终端

Country Status (2)

Country Link
CN (1) CN107291216A (zh)
WO (1) WO2017173977A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675432A (zh) * 2019-10-11 2020-01-10 智慧视通(杭州)科技发展有限公司 一种基于多维特征融合的视频多目标跟踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051836B (zh) * 2012-12-14 2016-03-30 中兴通讯股份有限公司 移动终端防抖动拍照方法和装置
US9070202B2 (en) * 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
CN103259962B (zh) * 2013-04-17 2016-02-17 深圳市捷顺科技实业股份有限公司 一种目标追踪方法和相关装置
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
CN104200487A (zh) * 2014-08-01 2014-12-10 广州中大数字家庭工程技术研究中心有限公司 一种基于orb特征点匹配的目标跟踪方法
CN104197932B (zh) * 2014-09-26 2017-02-15 哈尔滨工业大学 基于人类行为学的位置跟踪方法
CN105447459B (zh) * 2015-11-18 2019-03-22 上海海事大学 一种无人机自动检测目标和跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675432A (zh) * 2019-10-11 2020-01-10 智慧视通(杭州)科技发展有限公司 一种基于多维特征融合的视频多目标跟踪方法
CN115311329A (zh) * 2019-10-11 2022-11-08 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法
CN115311329B (zh) * 2019-10-11 2023-05-23 杭州云栖智慧视通科技有限公司 一种基于双环节约束的视频多目标跟踪方法

Also Published As

Publication number Publication date
WO2017173977A1 (zh) 2017-10-12

Similar Documents

Publication Publication Date Title
CN110610453B (zh) 一种图像处理方法、装置及计算机可读存储介质
US11481923B2 (en) Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN110060276B (zh) 对象追踪方法、追踪处理方法、相应的装置、电子设备
WO2019007258A1 (zh) 相机姿态信息的确定方法、装置、设备及存储介质
CN109948542A (zh) 手势识别方法、装置、电子设备和存储介质
RU2708027C1 (ru) Способ передачи движения субъекта из видео на анимированного персонажа
KR20160003066A (ko) 일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 slam
CN111062981A (zh) 图像处理方法、装置及存储介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
CN105513083A (zh) 一种ptam摄像机跟踪方法及装置
CN114445853A (zh) 一种视觉手势识别系统识别方法
CN113177432A (zh) 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
CN115761826A (zh) 掌静脉有效区域提取方法、系统、介质及电子设备
CN107291216A (zh) 一种移动终端目标跟踪方法、装置和移动终端
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
Xue et al. Event-based non-rigid reconstruction from contours
CN113379787B (zh) 基于3d卷积孪生神经网络和模板更新的目标跟踪方法
CN111126101A (zh) 关键点位置的确定方法、装置、电子设备和存储介质
CN115660969A (zh) 图像处理方法、模型训练方法、装置、设备和存储介质
CN107993247A (zh) 追踪定位方法、系统、介质和计算设备
CN116563450A (zh) 表情迁移方法、模型训练方法和装置
CN112036255A (zh) 人脸关键点检测装置
CN114422736B (zh) 一种视频处理方法、电子设备及计算机存储介质
CN114120337B (zh) 实时的纸张书写笔迹恢复方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171024