CN112489077A - 目标跟踪方法、装置及计算机系统 - Google Patents

目标跟踪方法、装置及计算机系统 Download PDF

Info

Publication number
CN112489077A
CN112489077A CN201910865797.4A CN201910865797A CN112489077A CN 112489077 A CN112489077 A CN 112489077A CN 201910865797 A CN201910865797 A CN 201910865797A CN 112489077 A CN112489077 A CN 112489077A
Authority
CN
China
Prior art keywords
target
tracking
image sequence
trend
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910865797.4A
Other languages
English (en)
Inventor
孙海洋
吕思霖
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuzhou Online E Commerce Beijing Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910865797.4A priority Critical patent/CN112489077A/zh
Priority to PCT/CN2020/113895 priority patent/WO2021047492A1/zh
Publication of CN112489077A publication Critical patent/CN112489077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了目标跟踪方法、装置及计算机系统,所述方法包括:在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。通过本申请实施例,能够降低目标跟踪的时间复杂度。

Description

目标跟踪方法、装置及计算机系统
技术领域
本申请涉及目标跟踪技术领域,特别是涉及目标跟踪方法、装置及计算机系统。
背景技术
视觉目标跟踪是计算机视觉中的一个重要研究方向,有着广泛的应用,如:视频监控,人机交互(例如,基于手势、人脸表情的互动游戏等),无人驾驶,等等。
视觉目标(单目标)跟踪任务就是在给定某图像序列初始帧的目标大小与位置的情况下,预测后续帧中该目标的大小与位置。这一基本任务流程可以按如下的框架划分:输入初始化目标框,在下一帧中产生众多候选框,提取这些候选框的特征,然后对这些候选框评分,最后在这些评分中找一个得分最高的候选框作为预测的目标,或者对多个预测值进行融合得到更优的预测目标。
视觉运动目标跟踪是一个极具挑战性的任务,因为对于运动目标而言,其运动的场景非常复杂并且经常发生变化,或是目标本身也会不断变化。那么如何在复杂场景中识别并跟踪不断变化的目标就成为一个挑战性的任务。
其中,尺度变换(Scale Variation)是目标在运动过程中的由远及近或由近及远而产生的尺度大小变化的现象,这就使得预测目标框的大小是目标跟踪中的挑战之一,如何又快又准确的预测出目标的尺度变化系数直接影响了跟踪的准确率。现有技术中通常的做法是:在运动模型产生候选样本的时候,生成大量尺度大小不一的候选框,或是在多个不同尺度目标上进行目标跟踪,产生多个预测结果,选择其中最优的作为最后的预测目标。
但是,现有技术在解决上述尺度变换问题的过程中,存在计算量巨大等问题。因此,如何在目标跟踪过程中以更小的计算量解决尺度变换问题,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了目标跟踪方法、装置及计算机系统,能够降低目标跟踪的时间复杂度。
本申请提供了如下方案:
一种目标跟踪方法,包括:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种目标跟踪方法,包括:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
一种交通场景中的目标跟踪方法,包括:
获得路侧设备配备的相机采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种交通场景中的目标跟踪方法,包括:
获得路侧设备配备的相机采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
一种人机交互场景中的目标跟踪方法,包括:
获得人机交互过程中终端设备实时采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种人机交互场景中的目标跟踪方法,包括:
获得人机交互过程中终端设备实时采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
一种目标跟踪装置,包括:
尺度变化趋势预测单元,用于在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种目标跟踪装置,包括:
尺度变化趋势预测单元,用于在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
一种交通场景中的目标跟踪装置,包括:
第一图像序列获得单元,用于获得路侧设备配备的相机采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种交通场景中的目标跟踪装置,包括:
第一图像序列获得单元,用于获得路侧设备配备的相机采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
一种人机交互场景中的目标跟踪装置,包括:
第二图像序列获得单元,用于获得人机交互过程中终端设备实时采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种人机交互场景中的目标跟踪装置,包括:
第二图像序列获得单元,用于获得人机交互过程中终端设备实时采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,在对图像序列进行目标跟踪的过程中,可以对目标在当前帧中相对于上一帧的尺度变化趋势进行预测,在针对当前帧生成缩放搜索区域时,可以根据预测结果,减少相反趋势对应的缩放搜索区域的数量。这样,通过减少无效尺度的scaledROI,可以减少特征提取的次数以及目标框检测步骤中的检测次数,进而降低了跟踪的时间复杂度。
另外,通过对目标的尺度变化趋势进行预测,再根据预测结果为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,这样可以使得更大置信度的样本组获得更高的权重,因此,使得最终获得的最佳匹配度信息更准确,有利于提高目标跟踪的精度。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是在当前帧中确定基础搜索区域的示意图;
图2是在当前帧中确定缩放搜索区域的示意图;
图3-1、3-2是在不同搜索区域基础上生成基础样本以及偏移样本的示意图;
图4是本申请实施例提供的系统架构的示意图;
图5是本申请实施例提供的第一方法的流程图;
图6是本申请实施例提供的第二方法的流程图;
图7是本申请实施例提供的第三方法的流程图;
图8是本申请实施例提供的第四方法的流程图;
图9是本申请实施例提供的第五方法的流程图;
图10是本申请实施例提供的第六方法的流程图;
图11是本申请实施例提供的第一装置的示意图;
图12是本申请实施例提供的第二装置的示意图;
图13是本申请实施例提供的第三装置的示意图;
图14是本申请实施例提供的第四装置的示意图;
图15是本申请实施例提供的第五装置的示意图;
图16是本申请实施例提供的第六装置的示意图;
图17是本申请实施例提供的计算机系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
为了便于理解,下面首先对现有技术中的目标跟踪算法进行简单的介绍。
视觉目标跟踪算法根据观测模型是生成式模型或判别式模型可以被分为生成式方法(Generative Method)和判别式方法(Discriminative Method)。其中,以相关滤波(Correlation Filter)和深度学习(Deep Learning)为代表的判别式方法取得了令人满意的效果。
相关滤波源于信号处理领域,相关性用于表示两个信号之间的相似程度,通常用卷积表示相关操作。那么基于相关滤波的跟踪方法的基本思想就是,寻找一个滤波模板,让下一帧的图像与滤波模板做卷积操作,响应最大的区域则是预测的目标。
本申请实施例就是在基于相关性滤波的目标跟踪算法基础上进行的改进。
其中,在目标跟踪领域引入相关性滤波,通过在当前帧的一定区域生成若干(region)样本,并从样本中选取与滤波模版相关性最大的(region)样本,作为当前帧的跟踪结果。具体的步骤主要包括:
1.在当前帧中确定搜索区域(search region,a.k.a.,ROI)。
首先,在当前帧确定搜索区域的前提是,该当前帧的上一帧中,目标的外接矩形框(简称为“目标框”)的位置以及大小已经确定。例如,如图1所示,示出了上一帧中目标框的位置以及大小。在当前帧中,首先可以根据目标框在上一帧中的位置,在当前帧中绘制出相同大小的目标框。另外,由于目标在当前帧中的位置和大小可能均以发生变化,因此,可以扩大搜索区域,具体的,可以将以目标框位置为中心,大于目标框尺寸(比如目标框尺寸的2.5倍)为搜索范围而确定的一块区域,记为based ROI。
然后,针对尺度变换的情况,为了覆盖不同尺度的目标,可以在based ROI的基础上进行扩充和缩减生成一系列大于和小于based ROI的搜索区域,记为scaled ROI。
例如,based ROI大小为M×N,按照比例系数s(s为大于1.0的数,比如1.05)生成K(K一般为偶数,比如2)个scaled ROI。其大小为(siM)x(siN),其中i是ROI序号,取值为
Figure BDA0002201233080000091
当i小于0时,比例系数s大于1.0,产生的scaled ROI尺度小于于based ROI,记为smaller scaled ROI。此时,对于smaller scaled ROI而言,搜索区域内框进的像素更少,因此,目标在scaled ROI的占比大于目标在based ROI的占比。特别的,若不同尺度ROI缩放到统一大小,则smaller scaled ROI可以覆盖目标尺度变大的情况。同理,bigger scaled ROI(i大于0时产生的scaled ROI)可以覆盖目标尺度变小的情况。
总之,对于目标框检测,因为要覆盖目标的不同尺度,因此需要同时生成basedROI和若干scaled ROI,例如,对于图1中所示的based ROI,具体生成的各个scaled ROI可以如图2所示。
2.对于当前目标的特征提取(extract feature)。
将当前目标的搜索区域内的颜色信息进行处理之后,可以获取表征当前ROI的特征。比如保持长宽比(aspect ratio)不变将ROI缩放到指定的模版大小(template size)获得模版图像(可以根据第一帧中通过标记等方式获得的目标的特征来生成模板,在后续跟踪过程中,该模板还可以进行更新),当ROI大小大于模版大小时,可以通过将ROI图像下采样获得模版图像。
3、目标框检测(object detection)。
如步骤1所示,在当前帧中,可以利用上一帧的目标位置,产生based ROI和若干scaled ROI。对于第i个ROI,可以按照下面的步骤得到该ROI的检测结果(包含最大匹配度ymax和对应的样本xmax):
a.通过ROI中的颜色信息,进行一定的特征提取之后可以获得一个检测基础样本(detection base sample)。其中,步骤1中生成的based ROI以及各个scaled ROI,都可以分别作为一个基础样本。
b.由基础样本在特征空间中通过循环移位得到的偏移的特征向量来产生一系列的偏移样本(shifted samples)。也就是说,相当于是在基础样本基础上,对样本中的像素进行循环移位。在移位的过程中,目标在样本中的位置会发生变化,但是,大小不变。也即,假设将基础样本视为一位数组,原始像素排序为(1,2,3,4,5),则进行一次循环移位后变成(5,1,2,3,4),两次循环移位后变成(4,5,1,2,3),等等。例如,在以图2所示的based ROI为应的基础样本时,各个偏移样本可以如图3-1所示;如果以图2所示的其中一个biggerscaled ROI为基础样本,则各个偏移样本可以如图3-2所示。总之,如果一共生成了如图2所示的一个based ROI以及四个scaled ROI,则一共可以得到五组样本,假设每组样本中分别包括一个基础样本,以及四个偏移样本,则一共可以得到25个样本。
接下来可以利用已有分类器对所有的样本进行分类(匹配),得匹配度最大的值(ymax,i)和对应的样本(xmax,i)。
具体的,首先可以按照上述步骤得到每个样本的最大匹配度和对应的样本组,即
Figure BDA0002201233080000101
K是scaled ROI的数量,且一般为偶数,i为0表示基础样本的检测结果。
然后,可以按照一定的规则筛选得到所有ROI的ymax中的最佳匹配度(即ybest)及对应的样本(即xbest),相应的ROI记为best ROI。具体的,首先可以确定出每个样本组中的最大匹配度ymax,然后再从各样本组得到的最大匹配度ymax中,选择出一个最佳匹配度ybest
其中,在从各样本组得到的最大匹配度ymax中选择ybest时,可以直接从中选择出一个最大值。或者,由于通常而言,基础样本的置信度要高于偏移样本,因此,还可以通过增加一个权重因子的方式,首先对各样本组中得到的ymax进行调节,然后再进行样本组间的比较。比如将不同的ymax乘以不同的权重因子(记为weighting factor),然后进行比较,选择最大值作为ybest,即
Figure BDA0002201233080000111
Figure BDA0002201233080000112
其中ki表示ymax,i的weighting factor。具体的,可以当i不为0时,ki=0.9,当i为0时,ki=1.0。
也就是说,在现有技术中,在每组样本中,只有基础样本对应的权重因子为1,其他的偏移样本对应的权重因子均为0.9,以此体现出基础样本与偏移样本在置信度方面的差异。
得到ybest和xbest以后,可以按照下述方法得到当前帧目标的位置和尺度:
通过样本xbest相对于基于best ROI得到的基础样本的偏移计算出当前帧中目标相对于best ROI中心点的偏移,将此位置记为目标跟踪位置。
通过best ROI相对于based ROI的尺度变化,得到当前帧目标尺度相对于上一帧目标尺度的变化。比如based ROI大小为M×N,best ROI的大小为(skM)x(skN),其中s为产生scaled ROI时的尺度比例系数,k为best ROI在scaled ROI的序号,若k为0表示based ROI即为best ROI。若上一帧目标大小为m×n,则当前帧目标的大小为(m/sk)x(n/sk)。
通过以上对基于相关性滤波的跟踪算法流程的介绍可见,在算法中,based ROI和scaled ROI的产生,以及如何筛选得到best ROI是解决目标多尺度的问题中非常重要的步骤。而关于产生ROI和筛选ROI,现有技术中的跟踪算法至少存在如下几个问题:
1.在产生的scaled ROI中,存在无效尺度的ROI。目前的跟踪算法中,biggerscaled ROI和smaller scaled ROI数量相同。在某些情况下,某些尺度的ROI是无效的,比如,若目标与相机相对距离增加,则当前帧相对于上一帧而言,目标在图像中的尺度会减小,这时覆盖目标变大趋势的ROI(即smaller scaled ROI)就是无效尺度的ROI。但是,在目标框检测的时候,每一个ROI都要进行特征提取,并应用分类器进行分类检测,因此无效尺度的ROI将增加跟踪的时间复杂度。
2.在筛选最佳匹配度(即ybest)时,在通过分类器得到各个样本组中的最大匹配度后,smaller scaled ROI与bigger scaled ROI的最大匹配度(即ybest)都是采用相同的权重因子。但实际上,目标与相机之间是按照某个确定的方向增加或者减小的,也即,目标在从上一帧到当前帧的尺度变化趋势实际上是确定的,因此,smaller scaled ROI与biggerscaled ROI中必然有其中一个方向的可信度是更高的。而现有技术中,由于预先并不知晓哪个方向上的scaled ROI可信度更高,因此,只能为基于smaller scaled ROI和biggerscaled ROI生成的样本组分配同样的的权重因子,但是,这将可能导致筛选出错误的ybest,进而可能导致对目标跟踪的精度不够。
而在本申请实施例中,主要就是针对上述问题,提供了相应的解决方案。在该方案中,考虑到目标在各帧图像中的尺度变化趋势具有一定的连续性,因此,可以根据一些先验信息(跟踪历史中,目标在已经检测完成的各帧图像中的位置、尺度变化情况,或者相机自身的一些配置文件等)对当前帧相对于上一帧的目标尺度变化趋势信息进行预测。这样,在通过对图像进行缩放生成搜索区域scaled ROI时,可以根据预测出的尺度变化趋势信息,减少相反趋势对应的scaled ROI的数量。例如,当判断出目标尺度变大时,则减少scaledROI中bigger scaled ROI的数量,当判断出目标尺度变小时,则减少scaled ROI中smallerscaled ROI的数量。这样,可以减少无效尺度的ROI所带来的跟踪时间的复杂度。
另外,在筛选最佳匹配度(即ybest)时,还可以根据预测出的目标变化趋势信息,为与变化趋势相同的缩放搜索区域scaled ROI对应的样本组分配更大的权重因子,这样有利于提高目标跟踪的精度。
在实际应用中,本申请实施例所提供的方案可以在多种具体的应用场景中使用。例如,在交通场景中,通过路侧设备上安装的相机设备采集到图像序列,然后需要对图像序列中的某目标进行跟踪,则可以使用本申请实施例所提供的方案来降低算法的时间复杂度,提高跟踪精度。如图4所示,在这种场景下,可以提供具体的目标跟踪程序/模块,并可以在该程序/模块中实现本申请实施例中所提供的方法。该程序/模块可以运行在云端服务器中,具体相机设备401则可以安装在路侧设备402上,可以对道路中的车辆等目标403以及周边的环境等进行图像采集,采集到的图像序列可以上传到云端服务器,在云端服务器中对具体的图像序列进行目标跟踪。当然,本申请实施例提供的目标跟踪方案也可以应用于其他的应用场景中,包括人机交互,无人驾驶,等等。
下面对本申请实施例所提供的具体技术方案进行详细介绍。
实施例一
首先,该实施例一从服务器端目标跟踪程序/模块的角度,提供了一种目标跟踪方法,参见图5,该方法具体可以包括:
S501:在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在本申请实施例中,“目标”就是指具体进行跟踪的对象。其中,对于图像序列中的第一帧,可以通过手动标记等方式绘制出目标的外接矩形框,也即目标框。之后,具体的目标跟踪的过程是,在后续各图像帧中,通过对该目标在各帧中的位置、大小进行跟踪,标记出目标在后续各图像帧中的目标框。
在本申请实施例中,在针对当前帧进行跟踪时,可以对目标在当前帧中的尺度相对于上一帧的变化趋势进行预测。其中,所谓的目标在当前帧的尺度,也就是说,目标在当前帧所占像素的多少,由于每一帧图像的总尺寸相同,因此,如果某目标在某图像帧中所占的像素越多,则其尺度越大。另外,如果同一目标在上一帧中所占的像素数量与在当前帧中所占的像素数量不同,例如,数量增多,则目标在当前帧中的尺度相对于上一帧成增大的变化趋势,反之则是减小的变化趋势。
当然,由于在获得当前帧的跟踪结果之前,具体的目标在当前帧所占的像素数量是无法获知的,因此,在本申请实施例中,可以采用一定的方式对目标在当前帧中的尺度相对于上一帧的变化趋势进行预测。
例如,在一种实现方式下,由于同一目标在不同帧之间的尺度变化趋势通常具有连续性,也就是说,如果在前几帧中目标的尺度在逐渐变大,则目标在当前帧中相对于上一帧通常也是逐渐变大的趋势,等等。因此,可以采用基于历史跟踪结果作为先验信息进行预测的方式来实现。
具体的,可以根据所述目标在已完成跟踪的多帧图像中的位置和/或大小的变化情况对所述尺度的变化趋势进行预测。例如,在相机以鸟瞰的视角拍摄获得所述图像序列的情况下,可以根据目标在已完成跟踪的多帧图像中的位置变化情况对尺度变化趋势进行预测。其中,如果所述目标向图像下方运动,则可以确定目标的尺度有变大的趋势,如果所述目标向图像上方运动,则可以确定目标的尺度有变小的趋势。
或者,在相机以平行的视角拍摄获得所述图像序列的情况下,可以根据目标在已完成跟踪的多帧图像中的大小变化情况对尺度变化趋势进行预测,例如,如图所述目标在已经完成跟踪的图像中逐渐变大,则目标的尺度有变大的趋势,如果目标在已经完成跟踪的图像中逐渐变小,则目标的尺度有变小的趋势,等等。
或者,在具体交通场景下,所述图像序列包括:交通场景中路侧设备安装的相机拍摄获得的图像序列;此时,由于目标从进入相机视野到开始离开相机视野,目标在竖直方向的运动方向不会发生变化,因此,可以根据所述目标在已完成跟踪的多帧图像中的位置,确定所述目标在图像竖直方向上的运动方向;然后,根据所述竖直方向上的运动方向,确定所述目标是否进入或离开相机视野,进而可以根据所述进入或离开相机视野的情况,确定所述目标的尺度变化趋势。例如,如果是进入相机视野,则目标的尺度会逐渐变大,如果是离开相机视野,则目标的尺度会逐渐变小,等等。
另一种实现方式下,还可以根据根据相机的配置文件信息,对所述尺度的变化趋势进行预测。也即是说,在一些特定的场景中,相机可能会具有一些特定的配置,例如,在交通场景下,某个角度的相机可能仅对来车方向的目标进行拍摄,而其他角度的相机则仅对去车方向的目标进行拍摄,等等。这些信息都会写在相机的配置文件中,因此,可以根据配置文件中仅对车辆来车方向或者去车方向进行拍摄的配置信息,对所述尺度的变化趋势进行预测。例如,如果某相机仅对车辆的来车方向进行拍摄,则目标在当前帧中的尺度相对于上一帧通常都是变大的趋势;而如果是仅对这车辆的去车方向进行拍摄,则目标在当前帧中的尺度相对于上一帧通常都是变小的趋势,等等。
总之,可以通过多种方式对目标在当前帧中相对于上一帧的尺度变化趋势进行预测。
S502:在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
在预测出具体的尺度变化趋势后,在针对当前帧生成缩放搜索区域时,便可以根据预测结果,减少相反趋势对应的缩放搜索区域的数量。也就是在前述对算法流程介绍的步骤1中确定搜索区域时,bigger scaled ROI和smaller scaled ROI数量不再是采用相同的数量,而是将其中一个方向上的ROI数量减少。
例如,当判断出目标尺度变大时,则减少scaled ROI中bigger scaled ROI的数量,具体的,若based ROI大小为M×N,按照比例系数s(一般s>1.0)产生scaled ROI,大小为(siM)x(siN),其中
Figure BDA0002201233080000151
K时提前设定好的数字,比如K=4,此时,biggerscaled ROI的数量由K/2减少为1。
或者,基于目标尺度将会变大的先验信息,也可以只生成若干smaller scaledROI,而将相反趋势的bigger scaled ROI的数量减少为0。例如based ROI大小为M×N,按照比例系数s(一般s>1.0)产生scaled ROI,只生成大小为(siM)x(siN),
Figure BDA0002201233080000152
的ROI,其中K是预先设定的数字,比如K=4。
类似的,基于目标尺度将会变小的先验信息,可以只生成若干bigger scaledROI,而将相反趋势的smaller scaled ROI的数量减少为0。例如based ROI大小为M×N,按照比例系数s(一般s>1.0)产生scaled ROI,只生成大小为(siM)x(siN),
Figure BDA0002201233080000161
的ROI,其中K是预先设定的数字,比如K=4。
当然,如果目标尺度的变化趋势无法确定,则可以生成相同数量的smallerscaled ROI和bigger scaled ROI。例如based ROI大小为M×N,按照比例系数s(一般s>1.0)产生scaled ROI,生成大小为(siM)x(siN),
Figure BDA0002201233080000162
的ROI,其中K是预先设定的数字,比如K=4。
由于在生成ROI后,针对每个ROI都需要分别进行循环移位生成样本组,再分别与模板特征进行匹配运算,因此,通过减少无效尺度的scaled ROI,可以减少特征提取的次数以及目标框检测步骤中的检测次数,进而降低了跟踪的时间复杂度。
需要说明的是,具体的目标跟踪算法可以有多种不同的应用场景,例如,可以包括交通场景、监控场景、人机交互场景,等等。不同应用场景中对安全性的要求可能是不同的,例如,在交通场景、监控场景下,对安全性的要求比较高,而人机交互场景下,通常是出于娱乐等目的,因此,对安全性的要求比较低。在本申请实施例中,还可以根据目标跟踪所处的不同场景对安全性要求的不同,调整目标跟踪算法的精度。例如,对安全性要求更高的场景,可以提高算法精度,以提高目标跟踪的准确性,等等。
实施例二
该实施例二也是从服务端中目标跟踪程序或模块的角度,提供了一种目标跟踪方法,参见图6,该方法具体可以包括:
S601:在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
该步骤S601的具体实现方式可以与前述实施例一中步骤S501相同,因此,参照执行即可,这里不再赘述,
S602:分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
如前文所述的基于相关性滤波的目标跟踪算法的流程步骤2、3可见,在当前帧中确定出搜索区域(包括一个基础搜索区域based ROI,以及多个缩放搜索区域scaled ROI)后,可以进行特征提取,以及目标框检测。其中,在进行目标框检测时,首先可以针对每个搜索区域分别生成一个样本组,每个样本组中包括一个基础样本以及多个偏移样本;然后,针对每个样本组中的每个样本分别进行特征提取,并分别计算每个样本特征与模板特征之间的特征匹配度。接下来,在每个样本组内部将各个样本对应的匹配度进行比对,得到样本组内部的最大匹配度。这样,后续可以在不同的样本组之间对各自的最大匹配度进行比对,得出最佳匹配度。该最佳匹配度对应的样本相对于基于best ROI得到的基础样本的偏移计算出当前帧中目标相对于best ROI中心点的偏移,此位置即可记为目标跟踪位置。
S603:根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
在不同的样本组之间对各自的最大匹配度进行比对时,为了使得不同样本组之间的最大匹配度更具有可比性,可以首先根据各样本组的置信度分配权重因子,将最大匹配度乘以对应的权重因子后再进行比对。但是,如前文所述,在现有技术中,为基于smallerscaled ROI和bigger scaled ROI生成的样本组分配同样的的权重因子。
而在本申请实施例中,由于对目标在当前帧中相对于上一帧的尺度变化趋势进行了预测,因此,可以在这一先验信息的基础上,为各样本组分配更适合的权重因子。具体的,由于已经预测出具体的尺度变化趋势,因此,与该变化趋势相同的缩放方向上的缩放搜索区域对应的样本组将具有更高的置信度,因此,可以分配较大的权重因子。相应的,与该变化趋势相反的缩放方向上的缩放搜索区域对应的样本组将具有较低的置信度,因此,可以分配较小的权重因子。也就是说,在本申请实施例中所述的较大的权重因子是指,该权重因子但与与变化趋势相反的缩放方向上的缩放搜索区域对应的样本组分配的权重因子。
例如,分配给bigger scaeld ROI对应的样本组的最大匹配度的权重因子为a,分配给samller scaeld ROI对应的样本组的最大匹配度的权重因子为b,当判断出目标尺度有变大趋势时,则有b大于a。其中a和b是合理设计的两个数字,保证既不能太大,影响了目标尺度的稳定性,也不能太小,导致目标尺度基本没有变化。例如,可以取a=0.9,b=0.95。
另外,为保证各种过程目标尺度的稳定性,based ROI对应的权重因子(记为basedfactor)应大于bigger scaeld ROI对应的权重因子(记为bigger factor)和smallerscaled ROI对应的权重因子(记为smaller factor)。比如,based factor取值为1.0,bigger factor和maller factor取值为小于1.0的数,然后,在此基础上,再将biggerfactor与maller factor之间体现出大小的区别。
具体如,基于目标尺度将会变大的先验信息,对于smaller scaled ROI对应的weighting factor要大于bigger scaled ROI的weighting factor。例如当i<0时,ki=0.95,当i=0时,ki=1.0,例如当i>0时,ki=0.9。
基于目标尺度将会变小的先验信息,对于bigger scaled ROI对应的weightingfactor要大于smaller scaled ROI的weighting factor。例如当i>0时,ki=0.95,当i=0时,ki=1.0,例如当i<0时,ki=0.9。
如果目标尺度的变化趋势无法确定,则对于smaller scaled ROI对应的weighting factor与bigger scaled ROI的weighting factor可以取相等的值。例如当i<0或i>0时,ki=0.9,当i=0时,ki=1.0。
在为各样本组分配了权重因子后,则可以通过权重因子对具体样本组对应的最大匹配度进行调节后,再在多个样本组之间进行最大匹配度的比较,从中得到最佳匹配度。该最佳匹配度对应的样本则可以用于确定具体目标在当前帧中的位置以及大小。
总之,通过对目标的尺度变化趋势进行预测,再根据预测结果为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,这样可以使得更大置信度的样本组获得更高的权重,因此,使得最终获得的最佳匹配度信息更准确,有利于提高目标跟踪的精度。
实施例三
该实施例三是将实施例一提供的具体技术方案与交通场景相结合,提供了一种交通场景中的目标跟踪方法,参见图7,该方法具体可以包括:
S701:获得路侧设备配备的相机采集到的图像序列;
路侧设备可以预先部署在道路一侧或者两侧的设备,其中可以安装有相机,可以用于对道路以及周边环境进行图像序列采集,采集的结果即可提交到云端服务器,由服务器基于具体的图像序列进行目标跟踪。
S702:在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
由于在图像序列是由安装在路侧设备上的相机采集到的,主要是以鸟瞰的视角进行拍摄,因此,可以直接根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测。例如,如果目标在图像的竖直方向上向下运动,则目标尺度有变大的趋势,否则,如果目标在图像的竖直方向上向上运动,则目标尺度有变小的趋势。
S703:在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
其中,如果所述在竖直方向上的运动方向为向下,则所述尺度变化趋势为变大;如果所述在竖直方向上的运动方向为向上,则所述尺度变化趋势为变小。
需要说明的是,在这种交通场景下,通常可以根据实时采集到的图像序列进行实时的目标跟踪处理,因此,对硬件以及计算资源的要求通常会比较高。而实际上,针对不同的情况,目标跟踪的复杂度可能会有所不同,因此,如果使用的计算资源来处理各种不同情况下的目标跟踪,则可能会造成一定程度的计算资源浪费。例如,在交通比较拥堵的情况下,道路上车多,则需要跟踪的目标数量也可能会比较多,并且由于图像画面比较杂乱,跟踪的复杂度也会更高;而在交通顺畅情况下,道路上车少,需要跟踪的目标数量以及复杂度也随之降低。另外,对于一些路段而言,其路况可能会呈现出随时间变化的特点,例如,在一些交通流量高峰期间,路面上车辆比较多,相对应的,目标跟踪的复杂度更高,而在非高峰时间,则复杂度又有所降低,等等。因此,在本申请的可选实施例中,还可以在目标跟踪的过程中,对分配给目标跟踪算法的计算资源进行动态调整。例如,一种方式下,可以根据所述图像序列中需要跟踪的目标的数量多少,动态分配用于进行目标跟踪的计算资源。或者,另一种方式下,还可以根据所述图像序列的采集时间是否属于交通流量高峰期,动态分配用于进行目标跟踪的计算资源,等等。
实施例四
该实施例四是将实施例二提供的具体技术方案与交通场景相结合,提供了一种交通场景中的目标跟踪方法,参见图8,该方法具体可以包括:
S801:获得路侧设备配备的相机采集到的图像序列;
S802:在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
S803:分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
S804:根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
实施例五
该实施例五是将实施例一提供的具体技术方案与人机交互场景相结合,提供了一种人机交互场景中的目标跟踪方法,参见图9,该方法具体可以包括:
S901:获得人机交互过程中终端设备实时采集到的图像序列;
其中,具体的人机交互可以包括通过采集并跟踪特定目标图像进行的交互,所述特定目标包括手势图像或人脸图像等。例如,通过对某种形状的手势进行跟踪提供互动素材,等等。因此,这种对目标的跟踪是基于实时采集到的图像序列的目标跟踪,具体的目标跟踪程序或模块可以直接在终端设备的客户端中运行,当然,也可以在服务端运行,此时,可以在客户端与服务端之间进行实时的数据传输。
S902:在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
由于在进行人机交互采集手势或人脸图像的过程中,相机通常是以平行的视角对目标进行拍摄,因此,可以根据目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测。
S903:在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
实施例六
该实施例六是将实施例一提供的具体技术方案与人机交互场景相结合,提供了一种人机交互场景中的目标跟踪方法,参见图10,该方法具体可以包括:
S1001:获得人机交互过程中终端设备实时采集到的图像序列;
S1002:在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
S1003:分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
S1004:根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
关于上述实施例三至实施例六中的未详述部分,可以参见前述实施例一、二中的记载,这里不再赘述。
与实施例一相对应,本申请实施例还提供了一种目标跟踪装置,参见图11,该装置可以包括:
尺度变化趋势预测单元1101,用于在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元1102,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
其中,所述尺度变化趋势预测单元具体可以用于:
根据所述目标在已完成跟踪的多帧图像中的位置和/或大小的变化情况对所述尺度的变化趋势进行预测。
具体的,在相机以鸟瞰的视角拍摄获得所述图像序列的情况下,如果所述目标向图像下方运动,则目标的尺度有变大的趋势,如果所述目标向图像上方运动,则目标的尺度有变小的趋势。
其中,所述图像序列包括:交通场景中路侧设备安装的相机拍摄获得的图像序列;
所述尺度变化趋势预测单元具体可以用于:
根据所述目标在已完成跟踪的多帧图像中的位置,确定所述目标在图像竖直方向上的运动方向;
根据所述竖直方向上的运动方向,确定所述目标是否进入或离开相机视野,并根据所述进入或离开相机视野的情况,确定所述目标的尺度变化趋势。
另外,所述尺度变化趋势预测单元还可以用于:
根据相机的配置文件信息,对所述尺度的变化趋势进行预测。
具体的,在交通场景下,根据所述相机配置文件中仅对车辆来车方向或者去车方向进行拍摄的配置信息,对所述尺度的变化趋势进行预测。
其中,所述缩放搜索区域数量控制单元具体可以用于:
仅生成相同趋势对应的缩放搜索区域。
另外所述缩放搜索区域数量控制单元还可以用于:
如果对所述尺度变化趋势预测失败,则相同与相反趋势的缩放搜索区域的数量相等。
在实际应用中,该装置还可以包括:
精度调整单元,用于根据目标跟踪所处的不同场景对安全性要求的不同,调整目标跟踪算法的精度。
与实施例二相对应,本申请实施例还提供了一种目标跟踪装置,参见图12,该装置可以包括:
尺度变化趋势预测单元1201,用于在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元1202,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元1203,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
其中,所述较大的权重因子大于与变化趋势相反的缩放方向上的缩放搜索区域对应的样本组分配的权重因子。
其中,为缩放搜索区域对应的样本组分配的权重因子,均小于为基础搜索区域对应的样本组分配的权重因子。
所述权重因子分配单元还可以用于:
如果对所述尺度变化趋势预测失败,则相同与相反趋势的缩放搜索区域对应的样本组分配的权重因子相等。
与实施例三相对应,本申请实施例还提供了一种交通场景中的目标跟踪装置,参见图13,该装置可以包括:
第一图像序列获得单元1301,用于获得路侧设备配备的相机采集到的图像序列;
尺度变化趋势预测单元1302,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元1303,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
其中,如果所述在竖直方向上的运动方向为向下,则所述尺度变化趋势为变大;如果所述在竖直方向上的运动方向为向上,则所述尺度变化趋势为变小。
具体实现时,该装置还可以包括:
第一计算资源分配单元,用于根据所述图像序列中需要跟踪的目标的数量多少,动态分配用于进行目标跟踪的计算资源。
或者,第一计算资源分配单元,用于根据所述图像序列的采集时间是否属于交通流量高峰期,动态分配用于进行目标跟踪的计算资源。
与实施例四相对应,本申请实施例还提供了一种交通场景中的目标跟踪装置,参见图14,该装置可以包括:
第一图像序列获得单元1401,用于获得路侧设备配备的相机采集到的图像序列;
尺度变化趋势预测单元1402,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元1403,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元1404,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
与实施例五相对应,本申请实施例还提供了一种人机交互场景中的目标跟踪装置,参见图15,该装置可以包括:
第二图像序列获得单元1501,用于获得人机交互过程中终端设备实时采集到的图像序列;
尺度变化趋势预测单元1502,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元1503,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
其中,所述人机交互包括通过采集并跟踪特定目标图像进行的交互,所述特定目标包括手势图像或人脸图像。
与实施例六相对应,本申请实施例还提供了一种人机交互场景中的目标跟踪装置,参见图16,该装置可以包括:
第二图像序列获得单元1601,用于获得人机交互过程中终端设备实时采集到的图像序列;
尺度变化趋势预测单元1602,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元1603,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元1604,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
另外,本申请实施例还提供了一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
以及另一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
其中,图17示例性的展示出了计算机系统的架构,具体可以包括处理器1710,视频显示适配器1711,磁盘驱动器1712,输入/输出接口1713,网络接口1714,以及存储器1720。上述处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714,与存储器1720之间可以通过通信总线1730进行通信连接。
其中,处理器1710可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器1720可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1720可以存储用于控制电子设备1700运行的操作系统1721,用于控制电子设备1700的低级别操作的基本输入输出系统(BIOS)。另外,还可以存储网页浏览器1723,数据存储管理系统1724,以及目标跟踪处理系统1725等等。上述目标跟踪处理系统1725就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器1720中,并由处理器1710来调用执行。
输入/输出接口1713用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1714用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1730包括一通路,在设备的各个组件(例如处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714,与存储器1720)之间传输信息。
另外,该电子设备1700还可以从虚拟资源对象领取条件信息数据库1741中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器1710、视频显示适配器1711、磁盘驱动器1712、输入/输出接口1713、网络接口1714,存储器1720,总线1730等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (29)

1.一种目标跟踪方法,其特征在于,包括:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
2.根据权利要求1所述的方法,其特征在于,
所述对目标在当前帧中相对于上一帧的尺度变化趋势进行预测,包括:
根据所述目标在已完成跟踪的多帧图像中的位置和/或大小的变化情况对所述尺度的变化趋势进行预测。
3.根据权利要求2所述的方法,其特征在于,
所述根据所述目标在已完成跟踪的多帧图像中的位置和/或大小的变化情况对所述尺度的变化趋势进行预测,包括:
在相机以鸟瞰的视角拍摄获得所述图像序列的情况下,如果所述目标向图像下方运动,则目标的尺度有变大的趋势,如果所述目标向图像上方运动,则目标的尺度有变小的趋势。
4.根据权利要求2所述的方法,其特征在于,
所述图像序列包括:交通场景中路侧设备安装的相机拍摄获得的图像序列;
所述根据所述目标在已完成跟踪的多帧图像中的位置变化情况对所述尺度的变化趋势进行预测,包括:
根据所述目标在已完成跟踪的多帧图像中的位置,确定所述目标在图像竖直方向上的运动方向;
根据所述竖直方向上的运动方向,确定所述目标是否进入或离开相机视野,并根据所述进入或离开相机视野的情况,确定所述目标的尺度变化趋势。
5.根据权利要求1所述的方法,其特征在于,
所述对目标在当前帧中相对于上一帧的尺度变化趋势进行预测,包括:
根据相机的配置文件信息,对所述尺度的变化趋势进行预测。
6.根据权利要求5所述的方法,其特征在于,
所述根据相机的配置文件信息,对所述尺度的变化趋势进行预测,包括:
在交通场景下,根据所述相机配置文件中仅对车辆来车方向或者去车方向进行拍摄的配置信息,对所述尺度的变化趋势进行预测。
7.根据权利要求1至6任一项所述的方法,其特征在于,
所述减少相反趋势对应的缩放搜索区域的数量,包括:
仅生成相同趋势对应的缩放搜索区域。
8.根据权利要求1至6任一项所述的方法,其特征在于,还包括:
如果对所述尺度变化趋势预测失败,则相同与相反趋势的缩放搜索区域的数量相等。
9.根据权利要求1至6任一项所述的方法,其特征在于,还包括:
根据目标跟踪所处的不同场景对安全性要求的不同,调整目标跟踪算法的精度。
10.一种目标跟踪方法,其特征在于,包括:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
11.根据权利要求10所述的方法,其特征在于,
所述较大的权重因子大于与变化趋势相反的缩放方向上的缩放搜索区域对应的样本组分配的权重因子。
12.根据权利要求11所述的方法,其特征在于,
为缩放搜索区域对应的样本组分配的权重因子,均小于为基础搜索区域对应的样本组分配的权重因子。
13.根据权利要求10所述的方法,其特征在于,还包括:
如果对所述尺度变化趋势预测失败,则相同与相反趋势的缩放搜索区域对应的样本组分配的权重因子相等。
14.一种交通场景中的目标跟踪方法,其特征在于,包括:
获得路侧设备配备的相机采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
15.根据权利要求14所述的方法,其特征在于,
如果所述在竖直方向上的运动方向为向下,则所述尺度变化趋势为变大;如果所述在竖直方向上的运动方向为向上,则所述尺度变化趋势为变小。
16.根据权利要求14所述的方法,其特征在于,还包括:
根据所述图像序列中需要跟踪的目标的数量多少,动态分配用于进行目标跟踪的计算资源。
17.根据权利要求14所述的方法,其特征在于,还包括:
根据所述图像序列的采集时间是否属于交通流量高峰期,动态分配用于进行目标跟踪的计算资源。
18.一种交通场景中的目标跟踪方法,其特征在于,包括:
获得路侧设备配备的相机采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
19.一种人机交互场景中的目标跟踪方法,其特征在于,包括:
获得人机交互过程中终端设备实时采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
20.根据权利要求19所述的方法,其特征在于,
所述人机交互包括通过采集并跟踪特定目标图像进行的交互,所述特定目标包括手势图像或人脸图像。
21.一种人机交互场景中的目标跟踪方法,其特征在于,包括:
获得人机交互过程中终端设备实时采集到的图像序列;
在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
22.一种目标跟踪装置,其特征在于,包括:
尺度变化趋势预测单元,用于在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
23.一种目标跟踪装置,其特征在于,包括:
尺度变化趋势预测单元,用于在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
24.一种交通场景中的目标跟踪装置,其特征在于,包括:
第一图像序列获得单元,用于获得路侧设备配备的相机采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
25.一种交通场景中的目标跟踪装置,其特征在于,包括:
第一图像序列获得单元,用于获得路侧设备配备的相机采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中在竖直方向上的运动方向信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
26.一种人机交互场景中的目标跟踪装置,其特征在于,包括:
第二图像序列获得单元,用于获得人机交互过程中终端设备实时采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
缩放搜索区域数量控制单元,用于在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
27.一种人机交互场景中的目标跟踪装置,其特征在于,包括:
第二图像序列获得单元,用于获得人机交互过程中终端设备实时采集到的图像序列;
尺度变化趋势预测单元,用于在对所述图像序列进行目标跟踪的过程中,根据所述目标在已完成跟踪的多帧图像中的大小变化信息,对所述目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
组内最大匹配度获得单元,用于分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
权重因子分配单元,用于根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
28.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
在针对当前帧生成缩放搜索区域时,根据预测结果,减少相反趋势对应的缩放搜索区域的数量。
29.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在对图像序列进行目标跟踪的过程中,对目标在当前帧中相对于上一帧的尺度变化趋势进行预测;
分别针对多个样本组获得最大匹配度信息,所述多个样本组包括根据多个缩放搜索区域分别进行循环移位获得的样本组,所述缩放搜索区域包括多个不同缩放方向的缩放搜索区域;
根据预测结果,为与变化趋势相同的缩放方向上的缩放搜索区域对应的样本组分配较大的权重因子,以用于确定最佳匹配度。
CN201910865797.4A 2019-09-12 2019-09-12 目标跟踪方法、装置及计算机系统 Pending CN112489077A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910865797.4A CN112489077A (zh) 2019-09-12 2019-09-12 目标跟踪方法、装置及计算机系统
PCT/CN2020/113895 WO2021047492A1 (zh) 2019-09-12 2020-09-08 目标跟踪方法、装置及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865797.4A CN112489077A (zh) 2019-09-12 2019-09-12 目标跟踪方法、装置及计算机系统

Publications (1)

Publication Number Publication Date
CN112489077A true CN112489077A (zh) 2021-03-12

Family

ID=74866853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865797.4A Pending CN112489077A (zh) 2019-09-12 2019-09-12 目标跟踪方法、装置及计算机系统

Country Status (2)

Country Link
CN (1) CN112489077A (zh)
WO (1) WO2021047492A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642413A (zh) * 2021-07-16 2021-11-12 新线科技有限公司 控制方法、装置、设备及介质
CN114663462A (zh) * 2022-04-07 2022-06-24 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN115690767A (zh) * 2022-10-26 2023-02-03 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117487A (zh) * 2011-02-25 2011-07-06 南京大学 一种针对视频运动目标的尺度方向自适应Mean-shift跟踪方法
CN103927508B (zh) * 2013-01-11 2017-03-22 浙江大华技术股份有限公司 一种目标车辆跟踪方法及装置
KR102275452B1 (ko) * 2017-03-16 2021-07-12 한국전자통신연구원 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
CN109087333B (zh) * 2018-06-14 2020-07-31 中国科学院福建物质结构研究所 基于相关性滤波跟踪算法的目标尺度估计方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642413A (zh) * 2021-07-16 2021-11-12 新线科技有限公司 控制方法、装置、设备及介质
CN114663462A (zh) * 2022-04-07 2022-06-24 北京远度互联科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN115690767A (zh) * 2022-10-26 2023-02-03 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质
CN115690767B (zh) * 2022-10-26 2023-08-22 北京远度互联科技有限公司 车牌识别方法、装置、无人机及存储介质

Also Published As

Publication number Publication date
WO2021047492A1 (zh) 2021-03-18

Similar Documents

Publication Publication Date Title
CN110473137A (zh) 图像处理方法和装置
WO2021047492A1 (zh) 目标跟踪方法、装置及计算机系统
CN111797983A (zh) 一种神经网络构建方法以及装置
WO2017119940A1 (en) Hand gesture recognition for cursor control
CN106529538A (zh) 一种飞行器的定位方法和装置
CN112836640B (zh) 一种单摄像头多目标行人跟踪方法
JP2023509953A (ja) ターゲット追跡方法、装置、電子機器及び記憶媒体
CN112149636A (zh) 用于检测目标物体的方法、装置、电子设备及存储介质
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN108875931A (zh) 神经网络训练及图像处理方法、装置、系统
CN113450579B (zh) 速度信息的获取方法、装置、设备及介质
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN112580558A (zh) 红外图像目标检测模型构建方法、检测方法、装置及系统
CN117581275A (zh) 眼睛注视分类
CN113177432A (zh) 基于多尺度轻量化网络的头部姿态估计方法、系统、设备及介质
EP3410396A1 (en) Moving object tracking apparatus, moving object tracking method, and computer-readable medium
CN111626212B (zh) 图片中对象的识别方法和装置、存储介质及电子装置
CN112734747A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN110309790B (zh) 一种用于道路目标检测的场景建模方法和装置
CN115019515B (zh) 成像控制方法及系统
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质
CN113808151A (zh) 直播图像的弱语义轮廓检测方法、装置、设备及存储介质
CN113112525A (zh) 目标跟踪方法、网络模型及其训练方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230718

Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Applicant before: ALIBABA GROUP HOLDING Ltd.