CN106296735A - 目标跟踪中的滤波器更新方法、装置和智能终端 - Google Patents

目标跟踪中的滤波器更新方法、装置和智能终端 Download PDF

Info

Publication number
CN106296735A
CN106296735A CN201610641027.8A CN201610641027A CN106296735A CN 106296735 A CN106296735 A CN 106296735A CN 201610641027 A CN201610641027 A CN 201610641027A CN 106296735 A CN106296735 A CN 106296735A
Authority
CN
China
Prior art keywords
video image
current frame
filter
frame video
maximum response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610641027.8A
Other languages
English (en)
Other versions
CN106296735B (zh
Inventor
高伟杰
陈雪
冷佳旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201610641027.8A priority Critical patent/CN106296735B/zh
Publication of CN106296735A publication Critical patent/CN106296735A/zh
Application granted granted Critical
Publication of CN106296735B publication Critical patent/CN106296735B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开揭示了一种目标跟踪中的滤波器更新方法和装置。所述方法包括:视频图像的目标跟踪中确定当前帧视频图像中图像特征对应的最大响应值;根据与滤波器更新系数之间的负相关关系,由最大响应值得到当前帧视频图像对应的滤波器更新系数;根据滤波器更新系数更新当前帧视频图像对应的滤波器。由于图像特征对应的最大响应值能够表征当前帧视频图像中跟踪目标当前所对应的状态,并且最大响应值与滤波器更新系数之间存在着负相关这一隐含关系,因此,能够由最大响应值按照响应值与滤波器更新系数之间的负相关关系来得到适应于当前帧视频图像中跟踪目标发生的变化的滤波器更新系数,极大提高跟踪准确度,滤波器更新系数能够自适应地适配跟踪目标发生的变化。

Description

目标跟踪中的滤波器更新方法、装置和智能终端
技术领域
本公开涉及计算机视觉技术领域,特别涉及一种目标跟踪中的滤波器更新方法、装置和智能终端。
背景技术
目标跟踪由于其应用广泛,而一直是计算机视频领域的研究热点。目前已经涌现出了许多目标跟踪方法,进而实现视频图像中目标的跟踪。但是,这些目标跟踪方法并未考虑时效性,也是就是说,应用这些目标跟踪方法处理每帧的速度过慢,无法满足实时性的需求,特别是在图像分辨率稍大的情况下。
针对此问题,Bolme等人首次将信号处理中的相关滤波思想应用到目标跟踪中,以获得较快的跟踪速度,进而具备较强的时效性。但是由于直接采用原始图像作为图像特征,跟踪准确度较差,并且无法应对非线性回归问题,其应用受到非常大的限制。
基于此,Henriques等人提出了一种核相关滤波算法,以便于很好的处理相关滤波思想应用到目标跟踪时存在的非线性回归问题。
然而,虽然目标跟踪方法中滤波思想的应用得到了不断的改进,但是,其在目标跟踪过程中滤波器更新系数仍然采用固定值,而在跟踪目标发生微小变化,甚至于剧烈变化时,采用同样的滤波器更新系数会存在着长时间的误判积累。
因此,现有的目标跟踪存在着滤波器更新系数无法自适应地适配跟踪目标发生变化的局限性,进而若目标跟踪过程中跟踪目标发生变化,跟踪准确度较差。
发明内容
为了解决相关技术中存在的滤波器更新系数无法自适应地适配跟踪目标发生变化的局限性,进而若目标跟踪过程中跟踪目标发生变化,跟踪准确度较差的技术问题,本公开提供了一种目标跟踪中的滤波器更新方法、装置和智能终端。
一方面,本发明提供一种目标跟踪中的滤波器更新方法,包括:
视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
根据最大响应值与滤波器更新系数之间的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
另一方面,本发明提供一种目标跟踪中的滤波器更新装置,所述装置包括:
第一确定模块,用于视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
第二确定模块,用于根据最大响应值与滤波器更新系数的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
更新模块,用于根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
再一方面,本发明提供一种智能终端,所述智能终端包括:处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行:
视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
根据最大响应值与滤波器更新系数之间的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
本公开的实施例提供的技术方案可以包括以下有益效果:
在视频图像所进行的目标跟踪中,对于当前帧视频图像所使用的滤波器,将首先确定当前帧视频图像中图像特征对应的最大响应值,根据最大响应值与滤波器更新系数之间的负相关关系,由最大响应值得到当前帧视频图像对应的滤波器更新系数,根据滤波器更新系数更新当前帧视频图像对应的滤波器,在此过程中,由于图像特征对应的最大响应值能够表征当前帧视频图像中跟踪目标当前所对应的状态,并且最大响应值与滤波器更新系数之间存在着负相关这一隐含关系,因此,能够由最大响应值按照最大响应值与滤波器更新系数之间的负相关关系来得到适应于当前帧视频图像中跟踪目标发生的变化的滤波器更新系数,进而为根据当前帧视频图像更新滤波器的过程提供适配于当前帧视频图像中跟踪目标的变化的滤波器更新系数,使得下一帧视频图像中进行的目标跟踪能够适应跟踪过程中跟踪目标发生的变化,极大提高跟踪准确度,滤波器更新系数能够自适应地适配跟踪目标发生的变化。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种装置的框图;
图2是根据一示例性实施例示出的一种目标跟踪中的滤波器更新方法的流程图;
图3是图2对应实施例的根据最大响应值与滤波器更新系数之间的负相关关系,由最大响应值得到当前帧视频图像对应的滤波器更新系数的流程图;
图4是根据一示例性实施例示出的一种目标跟踪中的滤波器更新方法的流程图;
图5是根据一示例性实施例对根据当前帧视频图像中跟踪目标的被遮挡面积确定预设的响应阈值步骤的细节进行描述的流程图;
图6是根据一示例性实施例示出的一种滤波器自适应更新的目标跟踪方法的示意简图;
图7是根据一示例性实施例示出的一种目标跟踪中的滤波器更新装置的框图;
图8是图7对应实施例的第二确定模块的框图;
图9是根据一示例性实施例示出的响应阈值确定模块的框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是本公开中根据一示例性实施例示出的一种装置100的框图,装置100可以作为本公开所涉及的实施环境。
例如,装置100可以是智能手机、台式电脑、智能电视、笔记本电脑和平板电脑等终端设备。
参照图1,装置100可以包括以下一个或多个组件:处理组件102,存储器104,电源组件106,多媒体组件108,音频组件110,传感器组件114以及通信组件116。
处理组件102通常控制装置100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件102可以包括一个或多个模块,便于处理组件102和其他组件之间的交互。例如,处理组件102可以包括多媒体模块,以方便多媒体组件108和处理组件102之间的交互。
存储器104被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储器104中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器118执行,以完成下述图2、图3、图4和图5任一所示方法中的全部或者部分步骤。
电源组件106为装置100的各种组件提供电力。电源组件106可以包括电源管理系统,一个或多个电源,及其他与为装置100生成、管理和分配电力相关联的组件。
多媒体组件108包括在所述装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(OLED)。
音频组件110被配置为输出和/或输入音频信号。例如,音频组件110包括一个麦克风(MIC),当装置100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中,音频组件110还包括一个扬声器,用于输出音频信号。
传感器组件114包括一个或多个传感器,用于为装置100提供各个方面的状态评估。例如,传感器组件114可以检测到装置100的打开/关闭状态,组件的相对定位,传感器组件114还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中,该传感器组件114还可以包括磁传感器,压力传感器或温度传感器。
通信组件116被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如WiFi。在一个示例性实施例中,通信组件116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件116还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
图2是根据一示例性实施例示出的一种目标跟踪中的滤波器更新方法的流程图。该目标跟踪中的滤波器更新方法适用于图1所示实施环境的装置100。如图2所示,该目标跟踪中的滤波器更新方法,可以包括以下步骤。
在步骤210中,视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值。
其中,视频图像是指视频中的一帧图像,多个视频图像便构成了视频的图像序列。所指的目标跟踪便是在视频中追踪每一帧视频图像所存在的目标。跟踪目标在视频图像中的存在对应了一定的图像区域,因此,将根据此图像区域的图像特征来进行响应值的运算,以确定图像特征对应的最大响应值。
在视频所进行的目标跟踪中,对于当前帧视频图像,将使用图像特征来反映跟踪目标所在图像区域的状况。在一个示例性的实施例中,图像特征可以是HOG((Histogram ofOriented Gradient,方向梯度直方图)图像特征。
响应值则用于评估图像特征与跟踪目标的匹配程度,响应值的大小决定了相应图像特征所在的点作为跟踪目标的可能性。由此可知,图像特征对应的最大响应值便可用于表征视频图像中的跟踪目标,能够真实反映视频图像中跟踪目标发生的变化,进而在跟踪目标发生变化时,其也会产生相应的变化。
基于此,在视频所进行的目标跟踪中,随着视频的播放,将逐帧进行着视频图像的变换,在此过程中,对于当前帧视频图像,将确定当前帧视频图像中图像特征对应的最大响应值。
在步骤230中,根据最大响应值与滤波器更新系数之间的负相关关系,由最大响应值得到当前帧视频图像对应的滤波器更新系数。
其中,在基于滤波思想所实现的目标跟踪中,每一帧视频图像进行目标跟踪时,都是通过上一帧视频图像所对应的滤波器实现下一帧视频图像的目标跟踪的,而滤波器更新系数即为根据当前帧视频图像更新当前帧视频图像对应的滤波器所采用的系数。
每一帧视频图像中跟踪目标的确定都是通过最大响应值实现的,并且在最大响应值和跟踪目标的变化之间存在着负相关关系,而跟踪目标的变化与滤波器更新系数的变化则存在着正相关关系。
也就是说,最大响应值越接近1,则目标变化越小,反之亦然;而对于滤波器更新系数,则是跟踪目标的变化越小,则滤波器更新系数也只是会发生微小更新,特别是当最大响应值接近于1时,对应的滤波器更新系数较小。
因此,将基于此关系由最大响应值得到当前帧视频图像对应的滤波器更新系数。
在一个示例性实施例的具体实现中,最大响应值和滤波器更新系数之间的负相关关系可以通过如下表达式描述,即:
θk=u(1-fk)
其中,θk表示第k帧视频图像对应的滤波器更新系数;fk为第k帧视频图像中图像特征对应的最大响应值,其取值范围在0~1;u为权衡因子,在一个示例性实施例中,其取值范围在0~1。
对于当前帧视频图像,通过上述表达式,以当前帧视频图像中图像特征对应的最大响应值作为输入即可运算得到当前帧视频图像对应的滤波器更新系数。
通过此过程,为视频图像的目标跟踪中每一帧视频图像所使用的滤波器提供了滤波器的更新策略,即能够适应于跟踪目标变化的更新策略,进而能够保证滤波器的动态更新和自适应性。
在步骤250中,根据滤波器更新系数更新当前帧视频图像对应的滤波器。
其中,将所得到的与最大响应值存在着负相关关系的滤波器更新系数更新到当前帧视频图像对应的滤波器,得到适应了跟踪目标变化的滤波器。
通过如上所述的过程,在视频图像的目标跟踪中得以不断进行滤波器中滤波器更新系数的自适应更新,由此便能够为视频图像的目标跟踪提供最为适用的滤波器,进而保证了视频图像中目标跟踪的准确性。
在一个示例性实施例中,步骤230之前,该目标跟踪中的滤波器更新方法,还可以包括以下步骤。
相对当前帧视频图像,获取分别对应于前若干帧视频图像的历史最大响应值。
其中,在视频图像中进行的目标跟踪过程,对于当前帧视频图像,进行了自身图像特征对应的最大响应值的运算。
类似的,对于前若干帧视频图像,也都有自身图像特征对应的最大响应值,相对于当前帧视频图像,前若干帧视频图像中图像特征对应的最大响应值则作为前若干帧视频图像的历史最大响应值。
也就是说,相对当前帧视频图像,确定前若干帧视频图像,获取前若干帧视频图像分别对应的最大响应值作为当前帧视频图像对应于前若干帧视频图像的历史最大响应值。
在一个示例性实施例中,所指的前若干帧视频图像,可以是在当前帧视频图像之前预设帧数的视频图像,例如,当前帧视频图像的前一帧视频图像,或者当前帧视频图像之前的多帧视频图像;也可以是当前帧视频图像之前的所有视频图像,例如,以初始播放的一帧视频图像为起始至当前帧视频图像的前一帧视频图像所形成的图像序列,在此不进行限定,将根据实际运营的需要进行灵活配置。
与之相对应的,图3是根据一示例性实施例对步骤230的细节进行的描述。该步骤230,如图3所示,可以包括以下步骤。
在步骤231中,对历史最大响应值和当前帧视频图像中图像特征对应的最大响应值进行平均运算得到平均值。
其中,在为当前帧视频图像所实现的滤波器更新系数的确定中,将引入前若干帧图像中图像特征对应的最大响应值作为参考,以通过充分利用之前信息的方式来保证滤波器更新的平滑性,进而在当前帧视频图像中跟踪目标发生剧烈变化时,避免滤波器更新的突变,避免滤波器失效的情况发生。
基于此,对获取的一个或者多个历史最大响应值和当前帧视频图像中图像特征对应的最大响应值进行平均,得到平均值。该平均值是考虑了当前帧视频图像和之前视频图像的最大响应值的。
在步骤233中,以平均值为输入,根据最大响应值与滤波器更新系数之间的负相关关系,确定当前帧视频图像对应的滤波器更新系数。
其中,将由平均值作为输入,通过最大响应值与滤波器更新系数之间的负相关关系进行当前帧视频图像对应的滤波器更新系数的确定。
在一个示例性实施例中,步骤231和步骤233所描述的实现过程可以如下述表达式所示,即:
θ k = u ( 1 - Σ i = 1 k f i k )
其中,θk为滤波器更新系数,u为权衡因子,k为第k帧视频图像,fi为第i帧视频图像的最大响应系数,f1、……、fk-1是对应于前k-1帧视频图像的历史最大响应值,而fk是当前帧视频图像对应的最大响应值。
在此示例性实施例中,所指的前若干帧视频图像是以初始播放的一帧视频图像为起始至当前帧视频图像的前一帧视频图像所形成的图像序列。
在另一个示例性实施例中,将前m帧视频图像的历史最大响应值引入滤波器更新系数的自适应更新,则步骤231和步骤233所描述的实现过程可以如下述表达式所示,即:
θ k = u ( 1 - Σ i = k - m + 1 k f i m )
其中,θk为滤波器更新系数,u为权衡因子,k是指当前帧视频图像是第k帧视频图像,m为预设的帧数,并且m是大于0的自然数,fk-m+1、……、fk-1是对应于前m帧视频图像的历史最大响应值,而fk是当前帧视频图像对应的最大响应值。
通过此过程,将使得当前帧视频图像中滤波器更新系数的运算并非是仅仅依赖于当前帧视频图像的最大响应值,而对滤波器更新系数的运算进行了全局考虑,因此,将极大地提高了当前帧视频图像对应的滤波器更新的准确性。
图4是根据一示例性实施例示出的一种目标跟踪中的滤波器更新方法。在步骤230之前,该目标跟踪中的滤波器更新方法,还可以包括以下步骤。
在步骤310中,判断当前帧视频图像中图像特征对应的最大响应值是否大于预设的响应阈值,若为是,则进入步骤230,若为否,则进入步骤330。
其中,预设的响应阈值用于评估当前帧视频图像中跟踪目标是否发生了突变或者完全遮挡等极端变化,进而控制极端变化下滤波器的更新。
通过预设的响应阈值,在当前帧视频图像中图像特征对应的最大响应值不大于预设的响应阈值时,表明当前帧视频图像中的跟踪目标发生了丢失或者突变等极端变化,因此停止更新滤波器,即如步骤330和步骤350所示的,滤波器保持与前一帧相同。
在当前帧视频图像中图像特征对应的最大响应值大于预设的响应阈值时,表明当前帧视频图像中的跟踪目标未发生异常的变化,因此,可以仍然按照最大响应值和滤波器更新系数之间的负相关关系来获得当前帧视频图像对应的滤波器更新系数。
在步骤330中,获取前一帧视频图像对应的滤波器更新系数。
其中,如前所述的,在所进行的视频图像的目标跟踪中,每一帧视频图像都通过最大响应值进行了滤波器更新系数的自适应更新,因此,对于当前帧视频图像所进行的滤波器更新系数的自适应更新中,能够获得前一帧视频图像对应的滤波器更新系数。
在步骤350中,将前一帧视频图像对应的滤波器更新系数置为当前帧视频图像对应的滤波器更新系数。
其中,在当前帧视频图像继续沿用前一帧视频图像的滤波器,即当前帧视频图像对应的滤波器更新系数与前一帧视频图像对应的滤波器更新系数相同,即θk=θk-1
通过如上所述的过程,对滤波器的更新进行了适应于跟踪目标变化的有效准确的控制,避免了一些没有必要,并且更新后会导致后续的目标跟踪不准确的更新,为滤波器更新系数的自适应更新过滤不必要的信息。
在一个示例性实施例中,在通过步骤310判断到当前帧视频图像中图像特征对应的最大响应值大于预设的响应阈值时,是根据图2对应实施例中步骤230所示的过程实现滤波器更新系数的自适应更新的。
进一步的,也可由图3对应实施例中滤波器更新系数的确定过程来实现更为精准的更新。
具体的,在一个示例性实施例中,所实现的滤波器更新系数的运算可以通过下述表达式描述,即:
θ k = u ( 1 - f k ) f k > 0.2 θ k - 1 e l s e
其中,0.2为预设的响应阈值,θk为滤波器更新系数,u为权衡因子,k为第k帧视频图像,θk为滤波器更新系数,θk-1为前一帧视频图像对应的滤波器更新系数,u为权衡因子,k为第k帧视频图像。
在另一个示例性实施例中,所实现的滤波器更新系数的运算可以通过下述表达式描述,即结合参阅图3对应实施例:
θ k = u ( 1 - Σ i = 1 k f i k ) f k > 0.2 θ k - 1 e l s e
其中,0.2为预设的响应阈值,θk为滤波器更新系数,θk-1为前一帧视频图像对应的滤波器更新系数,u为权衡因子,k为第k帧视频图像,fi为第i帧视频图像的最大响应系数,f1、……、fk-1是对应于前k-1帧视频图像的历史最大响应值,而fk是当前帧视频图像对应的最大响应值。
在另一个示例性实施例中,所实现的滤波器更新系数的运算可以通过下述表达式描述,即结合参阅图3对应实施例:
θ k = u ( 1 - Σ i = k - m + 1 k f i m ) f k > 0.2 θ k - 1 e l s e
其中,0.2为预设的响应阈值,θk为滤波器更新系数,θk-1为前一帧视频图像对应的滤波器更新系数,u为权衡因子,k是指当前帧视频图像是第k帧视频图像,m为预设的帧数,并且m是大于0的自然数,fk-m+1、……、fk-1是对应于前m帧视频图像的历史最大响应值,而fk是当前帧视频图像对应的最大响应值。
在一个示例性实施例中,步骤310之前,该目标跟踪中的滤波器更新方法,还可以包括以下步骤。
根据当前帧视频图像中跟踪目标的被遮挡面积确定预设的响应阈值。
其中,用于进行跟踪目标中极端变化评估的响应阈值将根据当前帧视频图像跟踪目标的被遮挡面积进行确定,以使得应用的响应阈值会随着跟踪目标中的极端变化情况来进行动态调整,进而适应于发生的极端变化,从而进一步提高了滤波器更新系数自适应更新和滤波器更新的准确性,能够进一步提高目标跟踪的准确性。
图5是根据一示例性实施例对根据当前帧视频图像中跟踪目标的被遮挡面积确定预设的响应阈值步骤细节进行的描述。该步骤如图5所示,可以包括以下步骤。
在步骤401中,获取当前帧视频图像中跟踪目标的被遮挡面积。
在步骤403中,判断跟踪目标的被遮挡面积是否大于预设的遮挡面积阈值,若为是,则进入步骤405,若为否,则进入步骤407。
在步骤405中,将第一响应阈值确定为预设的响应阈值。
在步骤407中,将第二响应阈值确定为预设的响应阈值。
其中,第一响应阈值小于第二响应阈值。
首先需要说明的是,视频图像中跟踪目标所发生的不同程度的遮挡将对应于不同的实际应用场景,因此,预设的响应阈值的选取是根据实际应用场景而定的。
对应于不同程度的遮挡,即不同的实际应用场景,分别设定了第一响应阈值和第二响应阈值。其中,第一响应阈值对应于跟踪目标的大面积遮挡,在一个示例性实施例中,第一响应阈值的取值可以是0.1~0.2;第二响应阈值对应于跟踪目标长时间持续的部分遮挡,在一个示例性实施例中,第二响应阈值的取值可以是0.2~0.3。
预设的遮挡面积阈值则用于区分不同程度的遮挡,进而实现预设的响应阈值的动态确定。
通过此过程,在所进行的目标跟踪中,不但在持续进行滤波器更新系数的自适应更新,也在所持续进行的滤波器更新数据的自适应更新中动态调整用于控制更新的响应阈值,从而能够动态适应于视频图像中跟踪目标的变化。
以一视频中进行的目标跟踪为例,结合具体应用场景,描述该目标跟踪中的滤波器更新方法。例如,图6是根据一个示例性实施例示出的一种滤波器自适应更新的目标跟踪方法的示意简图。
如图6所示的,在一视频中进行的目标跟踪,对于播放的视频,将在播放的第一帧视频图像中确定其跟踪目标,即如步骤502所示的。
提取跟踪目标的图像特征,进而进行滤波器的训练,即步骤503和步骤504所示的,在此过程中,训练滤波器的数学模型如下述表达式所示:
w ^ = x ^ ⊗ y ^ x ^ * ⊗ x ^ + λ
其中,是训练得到的滤波器,是高斯回归标签,λ是权衡参量,x为当前帧视频图像的特征向量,为x傅里叶变换后的共轭。
通过训练得到的滤波器可以对目标进行跟踪。在此过程中首先通过下述表达式进行响应值的运算,即:
f ^ ( x ) = w ^ ⊗ x ^
其中,是训练得到的滤波器,是响应值,具有最大响应值的即为跟踪目标。
此时,由步骤505,即跟踪目标的过程得到当前帧视频图像中图像特征对应的响应值,进而由此确定图像特征对应的最大响应值。
在跟踪目标发生变化时,将最大响应值,以最大响应值与滤波器更新系数之间的负相关关系,来实现滤波器自适应更新,进而方能够实现滤波器更新适应于跟踪目标的变化,如步骤506和步骤507所示的。
在完成了滤波器自适应更新时,才可实现对下一帧视频图像中跟踪目标的精准跟踪。
进一步的,对于滤波器自适应更新是指进行滤波器更新系数的自适应更新,由此所自适应更新的滤波器更新系数用于更新当前帧视频图像对应的滤波器,实现当前帧视频图像对应滤波器的自适应更新。
在滤波器更新系数的自适应更新中,将由最大响应值判断自身是否大于预设的响应阈值,若为是,则根据前述表达式进行滤波器更新系数的确定,若为否,则继续沿用前一帧视频图像的滤波器更新系数。
通过如上所述的过程,便完成了滤波器自适应更新的目标跟踪,进而视频中无论跟踪目标发生何种变化,都能够相应地进行滤波器的更新,以保证目标跟踪的准确性。
下述为本公开装置实施例,可以用于执行本公开上述目标跟踪中的滤波器更新方法实施例。对于本公开装置实施例中目标跟踪中的滤波器更新装置未披露的细节,请参照本公开目标跟踪中滤波器中的滤波器更新方法实施例。
图7是根据一示例性实施例示出的一种目标跟踪中的滤波器更新装置的框图。该目标跟踪中的滤波器更新装置用于图1所示的实施环境中,执行图2所示的目标跟踪中的滤波器更新方法的全部步骤。如图7所示,该目标跟踪中的滤波器更新装置,包括但不限于:第一确定模块710、第二确定模块730和更新模块750。
第一确定模块710,用于视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值。
第二确定模块730,用于根据最大响应值与滤波器更新系数的负相关关系,由最大响应值得到当前帧视频图像对应的滤波器更新系数。
更新模块750,用于根据滤波器更新系数更新当前帧视频图像对应的滤波器。
在一个示例性实施例中,该目标跟踪中的滤波器更新装置还包括获取模块。该获取模块用于相对当前帧视频图像,获取分别对应于前若干帧视频图像的历史最大响应值。
相应的,图8是根据一示例性实施例示出的第二确定模块的框图。该第二确定模块730如图8所示,包括但不限于:平均运算子模块731和第二确定子模块733。
平均运算子模块731,用于对历史最大响应值和当前帧视频图像中图像特征对应的最大响应值进行平均运算得到平均值。
第二确定子模块733,用于以平均值为输入,响应值与滤波器更新系数之间的负相关关系,确定当前帧视频图像对应的滤波器更新系数。
在一示例性实施例示出的一种目标跟踪中的滤波器更新装置中,第二确定模块730具体用于:
判断当前帧视频图像中图像特征对应的最大响应值是否大于预设的响应阈值;
若当前帧视频图像中图像特征对应的最大响应值大于预设的响应阈值,则根据最大响应值与滤波器更新系数之间的负相关关系,得到当前帧视频图像对应的滤波器更新系数;
若当前帧视频图像中图像特征对应的最大响应值不大于预设的响应阈值,获取前一帧视频图像对应的滤波器更新系数。
将前一帧视频图像对应的滤波器更新系数置为当前帧视频图像对应的滤波器更新系数。
在一个示例性实施例中,该目标跟踪中的滤波器更新装置还包括:响应阈值确定模块。
该响应阈值确定模块用于根据当前帧视频图像中跟踪目标的被遮挡面积确定预设的阈值阈值。
图9是根据一示例性实施例示出的对响应阈值确定模块的细节进行的描述。该响应阈值确定模块900,如图9所示,可以包括但不限于:面积获取子模块901和遮挡处理子模块903。
面积获取子模块901,用于获取当前帧视频图像中跟踪目标的被遮挡面积。
遮挡处理子模块903,用于判断跟踪目标的被遮挡面积是否大于预设的遮挡面积阈值,若跟踪目标的被遮挡面积大于预设的遮挡面积,则将第一响应阈值确定为预设的响应阈值,若跟踪目标的被遮挡面积不大于预设的遮挡面积,则将第二响应阈值确定为预设的响应阈值。
可选的,本公开还提供一种智能终端,该智能终端可以用于图1所示实施环境中,执行图2、图3、图4和图5任一所示的目标跟踪中的滤波器更新方法的全部或者部分步骤。示例的,该智能终端为智能电视、智能手机、电脑等。该智能终端包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行:
视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
根据最大响应值与滤波器更新系数之间的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
该实施例中的装置的处理器执行操作的具体方式已经在有关该目标跟踪中的滤波器更新方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介指例如包括指令的存储器104,上述指令可由装置100的处理器118执行以完成上述目标跟踪中的滤波器更新方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种目标跟踪中的滤波器更新方法,包括:
视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
根据最大响应值与滤波器更新系数之间的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
2.根据权利要求1所述的方法,其特征在于,所述根据所述最大响应值与滤波器更新系数之间的负相关关系,得到当前帧视频图像对应的滤波器更新系数之前,所述方法还包括:
相对所述当前帧视频图像,获取分别对应于前若干帧视频图像的历史最大响应值;
相应的,所述根据所述最大响应值与滤波器更新系数之间的负相关关系,得到当前帧视频图像对应的滤波器更新系数,包括:
对所述历史最大响应值和当前帧视频图像中图像特征对应的最大响应值进行平均运算得到平均值;
以所述平均值为输入,根据所述最大响应值与滤波器更新系数之间的负相关关系,确定当前帧视频图像对应的滤波器更新系数。
3.根据权利要求1所述的方法,其特征在于,所述根据所述最大响应值与滤波器更新系数之间的负相关关系,得到当前帧视频图像对应的滤波器更新系数,包括:
判断当前帧视频图像中图像特征对应的最大响应值是否大于预设的响应阈值;
若当前帧视频图像中图像特征对应的最大响应值大于预设的响应阈值,则根据所述最大响应值与滤波器更新系数之间的负相关关系,得到当前帧视频图像对应的滤波器更新系数。
4.根据权利要求3所述的方法,其特征在于,所述判断当前视频图像中图像特征对应的最大响应值是否大于预设的响应阈值的之后,所述方法还包括:
若当前视频图像中图像特征对应的最大响应值不大于预设的响应阈值,获取前一帧视频图像对应的滤波器更新系数;
将前一帧视频图像对应的滤波器更新系数置为当前帧视频图像对应的滤波器更新系数。
5.根据权利要求3所述的方法,其特征在于,所述判断当前帧视频图像中图像特征对应的最大响应值是否大于预设的响应阈值之前,所述方法还包括:
根据当前帧视频图像中跟踪目标的被遮挡面积确定所述预设的响应阈值。
6.根据权利要求5所述的方法,其特征在于,所述根据当前帧视频图像中跟踪目标的被遮挡面积确定所述预设的响应阈值,包括:
获取所述当前帧视频图像中跟踪目标的被遮挡面积;
判断所述跟踪目标的被遮挡面积是否大于预设的遮挡面积阈值;
若所述跟踪目标的被遮挡面积大于预设的遮挡面积阈值,则将第一响应阈值确定为所述预设的响应阈值;
若所述跟踪目标的被遮挡面积不大于预设的遮挡面积阈值,则将第二响应阈值确定为所述预设的响应阈值,其中,所述第一响应阈值小于所述第二响应阈值。
7.一种目标跟踪中的滤波器更新装置,其特征在于,所述装置包括:
第一确定模块,用于视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
第二确定模块,用于根据最大响应值与滤波器更新系数的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
更新模块,用于根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
获取模块,用于相对所述当前帧视频图像,获取分别对应于前若干帧视频图像的历史最大响应值;
相应的,所述第二确定模块包括:
平均运算子模块,用于对所述历史最大响应值和当前帧视频图像中图像特征对应的最大响应值进行平均运算得到平均值;
第二确定子模块,用于以所述平均值为输入,根据所述响应值与滤波器更新系数之间的负相关关系,确定当前帧视频图像对应的滤波器更新系数。
9.根据权利要求7所述的装置,其特征在于,所述第二确定模块具体用于:
判断当前帧视频图像中图像特征对应的最大响应值是否大于预设的响应阈值;
若当前帧视频图像中图像特征对应的最大响应值大于预设的响应阈值,则根据所述最大响应值与滤波器更新系数之间的负相关关系,得到当前帧视频图像对应的滤波器更新系数;
若当前帧视频图像中图像特征对应的最大响应值不大于预设的响应阈值,获取前一帧视频图像对应的滤波器更新系数;
将前一帧视频图像对应的滤波器更新系数置为当前帧视频图像对应的滤波器更新系数。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
响应阈值确定模块,用于根据当前帧视频图像中跟踪目标的被遮挡面积确定所述预设的响应阈值。
11.一种智能终端,其特征在于,所述智能终端包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行:
视频图像的目标跟踪中,确定当前帧视频图像中图像特征对应的最大响应值;
根据最大响应值与滤波器更新系数之间的负相关关系,由所述最大响应值得到当前帧视频图像对应的滤波器更新系数;
根据所述滤波器更新系数更新当前帧视频图像对应的滤波器。
CN201610641027.8A 2016-08-05 2016-08-05 目标跟踪中的滤波器更新方法、装置和智能终端 Expired - Fee Related CN106296735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610641027.8A CN106296735B (zh) 2016-08-05 2016-08-05 目标跟踪中的滤波器更新方法、装置和智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610641027.8A CN106296735B (zh) 2016-08-05 2016-08-05 目标跟踪中的滤波器更新方法、装置和智能终端

Publications (2)

Publication Number Publication Date
CN106296735A true CN106296735A (zh) 2017-01-04
CN106296735B CN106296735B (zh) 2019-12-31

Family

ID=57665834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610641027.8A Expired - Fee Related CN106296735B (zh) 2016-08-05 2016-08-05 目标跟踪中的滤波器更新方法、装置和智能终端

Country Status (1)

Country Link
CN (1) CN106296735B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122741A (zh) * 2017-04-27 2017-09-01 中国科学院长春光学精密机械与物理研究所 一种目标跟踪方法及系统
CN109697385A (zh) * 2017-10-20 2019-04-30 中移(苏州)软件技术有限公司 一种目标跟踪方法及装置
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN113421196A (zh) * 2021-06-08 2021-09-21 杭州逗酷软件科技有限公司 图像处理方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853511A (zh) * 2010-05-17 2010-10-06 哈尔滨工程大学 一种抗遮挡目标轨迹预测跟踪方法
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853511A (zh) * 2010-05-17 2010-10-06 哈尔滨工程大学 一种抗遮挡目标轨迹预测跟踪方法
US20160071318A1 (en) * 2014-09-10 2016-03-10 Vangogh Imaging, Inc. Real-Time Dynamic Three-Dimensional Adaptive Object Recognition and Model Reconstruction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨峰等: "基于概率假设密度滤波方法的多目标跟踪技术综述", 《自动化学报》 *
段伟伟等: "分块核化相关滤波目标跟踪", 《计算机辅助设计与图形学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122741A (zh) * 2017-04-27 2017-09-01 中国科学院长春光学精密机械与物理研究所 一种目标跟踪方法及系统
CN107122741B (zh) * 2017-04-27 2020-06-09 中国科学院长春光学精密机械与物理研究所 一种目标跟踪方法及系统
CN109697385A (zh) * 2017-10-20 2019-04-30 中移(苏州)软件技术有限公司 一种目标跟踪方法及装置
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN109712171B (zh) * 2018-12-28 2023-09-01 厦门瑞利特信息科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN113421196A (zh) * 2021-06-08 2021-09-21 杭州逗酷软件科技有限公司 图像处理方法及相关装置
CN113421196B (zh) * 2021-06-08 2023-08-11 杭州逗酷软件科技有限公司 图像处理方法及相关装置

Also Published As

Publication number Publication date
CN106296735B (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN106296735B (zh) 目标跟踪中的滤波器更新方法、装置和智能终端
CN106228556B (zh) 图像质量分析方法和装置
CN107464253B (zh) 眉毛定位方法及装置
CN107870712B (zh) 一种截图处理方法及装置
CN107463903B (zh) 人脸关键点定位方法及装置
CN106021092A (zh) 确定应用程序启动时长的方法及装置
CN108235121B (zh) 一种倍频显示的处理方法及装置、电子设备
US20210342632A1 (en) Image processing method and apparatus, electronic device, and storage medium
CN107330868A (zh) 图片处理方法及装置
US20210374979A1 (en) Method and apparatus for aligning image frames, electronic device and storage medium
CN104517271B (zh) 图像处理方法及装置
JP2023549651A (ja) 撮像処理方法、装置、電子機器及び可読記憶媒体
CN112130940A (zh) 终端的控制方法、装置、存储介质和电子设备
CN110781905A (zh) 一种图像检测方法及装置
CN110889489A (zh) 神经网络的训练方法、图像识别方法及其装置
US20220392253A1 (en) Method for processing images, electronic device, and storage medium
CN106372663B (zh) 构建分类模型的方法及装置
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN114694685A (zh) 语音质量评估方法、装置及存储介质
CN107292901B (zh) 边缘检测方法及装置
CN107480773B (zh) 训练卷积神经网络模型的方法、装置及存储介质
CN108848251A (zh) 智能调节sar的方法、装置及终端设备
CN113312967A (zh) 一种检测方法、装置和用于检测的装置
CN105094525A (zh) 应用程序图标调整方法及装置
CN112685269A (zh) 数据的获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191231

CF01 Termination of patent right due to non-payment of annual fee