CN106204658A - 运动图像跟踪方法及装置 - Google Patents
运动图像跟踪方法及装置 Download PDFInfo
- Publication number
- CN106204658A CN106204658A CN201610582781.9A CN201610582781A CN106204658A CN 106204658 A CN106204658 A CN 106204658A CN 201610582781 A CN201610582781 A CN 201610582781A CN 106204658 A CN106204658 A CN 106204658A
- Authority
- CN
- China
- Prior art keywords
- image
- moving
- moving image
- illumination
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 67
- 230000033001 locomotion Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007323 disproportionation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种运动图像跟踪方法及装置，涉及图像处理技术领域。运动图像跟踪方法包括对运动图像进行均衡照度处理；通过帧间差分法对运动图像中每帧图像进行运动目标的识别；对Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。本发明提供的运动图像跟踪方法及装置可以处理不同场景和运动尺度的图像，排除背景信息干扰，运动噪声等问题，提高运动目标识别与跟踪结果的准确性和实时性。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种运动图像跟踪方法及装置。
背景技术
运动图像跟踪主要是通过图像处理技术在图像中搜索运动目标的位置，通过对目标的检测定位而实现跟踪的技术，在实际中有着非常广泛的应用前景，包括安全监控、军事应用、医疗诊断、智能导航、人机交互等。
目前，现有技术在运动图像进行跟踪时，常会由于光照不够、亮度不均衡等导致运动图像明暗交替，目标与背景不清楚等问题，对运动目标的精准识别与跟踪造成重大影响。同时，在通过目标识别得到的运动目标图像信息对运动目标进行跟踪时，容易出现目标模型与候选模型不匹配，导致出现跟踪失败的问题。
发明内容
有鉴于此，本发明实施例的目的在于提供一种运动图像跟踪方法及装置以改善上述问题。
本发明实施例提供的一种运动图像跟踪方法包括：
对运动图像进行均衡照度处理；
通过帧间差分法对运动图像中每帧图像进行运动目标的识别；
通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。
优选地，对运动图像进行均衡照度处理的步骤包括：
根据光照照度和对比度对运动图像中的每帧图像进行归类，获得低照度低对比度图像和高照度低对比度图像；
对得到的低照度低对比度图像进行图像均衡处理，对高照度低对比度图像进行像素点灰度值范围拉伸处理；
根据运动图像中所有图像的平均灰度值，运动图像中的多帧图像进行照度均衡处理，以使运动图像中的相邻帧图像照度均衡。
优选地，通过帧间差分法对运动图像中每帧图像进行运动目标的识别的步骤包括：
通过背景图像与运动图像中每帧图像进行差分识别，得到每帧图像上的完整目标；
对所有相邻帧图像进行差分识别，得到所有相邻帧图像上的目标变化量；
取完整目标与目标变化量的公共部分，得到每帧图像上的目标变化部分图像；
对每帧图像上的目标变化部分图像进行形态学处理得到每帧图像上的运动目标。
优选地，通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹的步骤包括：
建立运动目标的特征概率函数表达运动目标模型；
建立候选区域的特征概率函数表达候选区域模型；
通过Bhattacharyya函数建立运动目标模型与候选区域模型的相似度函数，得到运动目标与候选区域的相似度；
设定度量参数，约束运动目标模型与候选区域模型相差的范围；
当运动目标模型与候选区域模型相差的范围小于设定的阈值时将前一帧图像上的目标坐标移动到目前图像所处的坐标。
优选地，在得到运动目标的运动轨迹后，所述方法还包括：
通过TLD跟踪算法对运动目标进行多尺度跟踪。
本发明实施例提供的一种运动图像跟踪装置包括：
照度处理模块，用于对运动图像进行均衡照度处理；
运动目标识别模块，用于通过帧间差分法对运动图像中每帧图像进行运动目标的识别
运动轨迹获取模块，用于通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。
优选地，所述照度处理模块还用于：
根据光照照度和对比度对运动图像中的每帧图像进行归类，获得低照度低对比度图像和高照度低对比度图像；
对得到的低照度低对比度图像进行图像均衡处理，对高照度低对比度图像进行像素点灰度值范围拉伸处理；
根据运动图像中所有图像的平均灰度值，运动图像中的多帧图像进行照度均衡处理，以使运动图像中的相邻帧图像照度均衡。
优选地，运动目标识别模块还用于：
通过背景图像与运动图像中每帧图像进行差分识别，得到每帧图像上的完整目标；
对所有相邻帧图像进行差分识别，得到所有相邻帧图像上的目标变化量；
取完整目标与目标变化量的公共部分，得到每帧图像上的目标变化部分图像；
对每帧图像上的目标变化部分图像进行形态学处理得到每帧图像上的运动目标。
优选地，所述运动轨迹获取模块还用于：
建立运动目标的特征概率函数表达运动目标模型；
建立候选区域的特征概率函数表达候选区域模型；
通过Bhattacharyya函数建立运动目标模型与候选区域模型的相似度函数，得到运动目标与候选区域的相似度；
设定度量参数，约束运动目标模型与候选区域模型相差的范围；
当运动目标模型与候选区域模型相差的范围小于设定的阈值时将前一帧图像上的目标坐标移动到目前图像所处的坐标。
优选地，运动图像跟踪装置还包括多尺度跟踪模块，所述多尺度跟踪模块用于通过TLD跟踪算法对运动目标进行多尺度跟踪。
对于现有技术，本发明提供的运动图像跟踪方法及装置具有如下的有益效果：
本发明提供的运动图像跟踪方法及装置通过将运动图像中对比度不高的图像照度进行归类，得到低照度低对比度图像和高照度低对比度图像，然后针对性地对图像进行增强或灰度值拉伸处理，矫正照度，最后考虑到相邻视频帧之间的关联性，进行一定照度弥补，最终达到运动图像序列照度均衡以确保运动目标的精准识别与跟踪。同时，通过帧间差分法识别出运动目标，并通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析能够准确的实现对运动目标的跟踪，避免跟踪目标丢失的情况发生。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的图像处理终端与图像获取设备进行交互的示意图。
图2为本发明较佳实施例提供的图像处理终端的方框示意图。
图3本发明较佳实施例提供的运动图像跟踪方法的流程图。
图4是本发明较佳实施例提供的运动图像跟踪装置的功能模块示意图。
主要元件符号说明
图像处理终端100，图像获取设备200，网络300，运动图像跟踪装置110，存储器120，存储控制器130，处理器140，外设接口150，输入输出单元160，音频单元170，显示单元180，照度处理模块111，运动目标识别模块113，运动轨迹获取模块115，多尺度跟踪模块117。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，是本发明较佳实施例提供的图像处理终端100与图像获取设备200进行交互的示意图。所述图像处理终端100通过网络300或直接与图像获取设备200进行通信连接，以进行数据交互。所述图像处理终端100可以是网络服务器、数据库服务器、个人电脑等。所述图像获取设备200可以是视觉传感器和摄像机等。
如图2所示，是所述图像处理终端100的方框示意图。所述图像处理终端100包括运动图像跟踪装置110、存储器120、存储控制器130、处理器140、外设接口150、输入输出单元160、音频单元170、显示单元180。
所述存储器120、存储控制器130、处理器140、外设接口150、输入输出单元160、音频单元170、显示单元180各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述运动图像跟踪装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述运动图像跟踪装置110的终端设备的操作系统(operating system，OS)中的软件功能模块。所述处理器140用于执行存储器120中存储的可执行模块，例如所述运动图像跟踪装置110包括的软件功能模块或计算机程序。
其中，存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储程序，所述处理器140在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的图像处理终端100所执行的方法可以应用于处理器140中，或者由处理器140实现。
处理器140可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口150将各种输入/输入装置耦合至处理器以及存储器120。在一些实施例中，外设接口150，处理器140以及存储控制器130可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
输入输出单元160用于提供给用户输入数据实现用户与所述服图像处理终端100的交互。所述输入输出单元160可以是，但不限于，鼠标和键盘等。
音频单元170向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元180在所述图像处理终端100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元180可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
请参阅图3，是本发明较佳实施例提供的应用于图2所示的运动图像跟踪装置的运动图像跟踪方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤S101，对运动图像进行均衡照度处理。
当图像处理终端获得图像获取设备上传的运动图像时，将图像按照光照照度进行归类，分为光照照度过高(即过度曝光)的图像与光照照度过低(即曝光不足)的图像，运用相应的照度调整方法对运动图像做出改进。考虑到视频中前后帧有一定的连贯性，最后运用帧差的方法将均衡之后的图像做出最后的调整。
具体的，求每帧图像上像素点的平均灰度值当平均灰度大于预先设定的界限值R时，则说明该帧图像属于光照度过高的图像即高照度图像，否则该帧图像为光照度过低的图像即低照度图像。
根据对比度高低，从高照度图像中选取出高照度低对比度图像，从低照度图像中国选取出低照度低对比度图像，其中，低对比度的标准可以预先设定。
对于低照度低对比度图像，根据灰度值可分为高频区和低频区，针对高频区和低频区赋予各自不同的权重，并分别相应处理以实现光照均衡。对于高照度低对比度图像，图像较为明亮，像素点的平均灰度值在一个较大值的区块，区分不大即不易被肉眼分清，此时通过像素点的灰度值范围拉伸变化处理，拉伸变化处理函数公式为β'＝high/max(f)n*f(x,y)，其中high是处理之后图片中最大的灰度值，为255；max(f)是图片中像素点的最大灰度值；n是幂函数次数；f(x,y)是图像灰度值。
运动图像经由此函数均衡处理以后，图像中平均照度较高(即平均灰度值较大)、对比度较小的区域像素分布范围被扩大，图片显示较为清晰。
针对运动目标图像而言，在考虑单帧图像内容之外仍得考虑相邻帧之间的关联性，因此对整体视频图像进行均衡照度。
具体的，视频连续的几帧图像相减作差运算，如果不存在运动目标则会得到灰度值为0的纯黑图像，否则会获得发生改变的运动目标部分。由于其计算复杂度比较低，常用于实时的目标识别。视频中前后图片的关联性比较大，相邻帧图像相似度公式为 是所有视频帧图片平均值灰度值，Ii与Ij是前后两张相异图片。R值一定程度上反映了两张图片的相似度，R值越小，则图片相差越明显。若前后相邻帧图片之间的相似度越大，则表明两张图片越接近，照度尚有一定关联性。鉴于此，本实施例提出了一种基于相邻帧间差法的照度弥补方法，照度弥补公式为：其中，Ii+1′＝Ii+1′+θ(diff)。
式中RM用来界定两张图片的相似度，取值范围是[0.85，1.0]。若相似度比较高那么在照度均衡之后继续针对局部区域做照度补偿运算。相邻帧差算法能够将运动改变的区块照度设为非零值，然而没有改变的区域照度变化值为零。从运算结果可以得知，若变化部分图片照度由高变低，则θ(diff)值小于零，由公式Ii+1′＝Ii+1′+θ(diff)可以调整；相反，若变化部分图片照度由低变高，则θ(diff)值大于零，同样由公式Ii+1′＝Ii+1′+θ(diff)可以得到调整。
步骤S102，通过帧间差分法对运动图像中每帧图像进行运动目标的识别。
在对运动图像进行均衡照度处理后，首先，选取选择背景图像Bk(x,y)，背景图像Bk(x,y)不包括前景目标，仅有背景区域的图像，背景图像Bk(x,y)为标准图像数据集中提供的。
为方便描述，本实施例中，以运动图像中的连续2帧图像进行说明，该连续2帧图像分别计为当前帧图像Pk(x,y)和前一帧图像Pk-1(x,y)。
将当前帧图像Pk(x,y)与背景图像Bk(x,y)作差(差分运算)得到当前帧图像Pk(x,y)上的完整目标FD(x,y)。将前帧图像Pk(x,y)与前一帧图像Pk-1(x,y)作差，得到当前帧图像Pk(x,y)与前一帧图像Pk-1(x,y)的目标变化量FG(x,y)。取完整目标FD(x,y)与目标变化量FG(x,y)的公共部分，即得到当前帧图像Pk(x,y)上的目标变化部分图像。
对每帧图像上的目标变化部分图像进行形态学处理得到每帧图像上的运动目标，从而提取出每帧图像上运动目标的边缘和轮廓特征。
步骤S103，通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。
提取出每帧图像上运动目标的边缘和轮廓特征后，通过运动目标的全部特征概率值来表达运动目标模型。具体的，建立运动目标的特征概率函数其中x0为运动目标的中心坐标，运动目标的特征值u为正整数，K(x)为核函数的轮廓函数，越接近运动目标中心的点数赋予越大的权值，δ(x)是Delta函数，δ[b(xi)-u]的功能是判定目标部分像素点xi的色彩值是否能对应第u个bin，若属于第u个bin，δ(x)值为1，否则为0，C为规范化常量，用于使
同时，建立候选区域(图像上采样一些图像片，这些区域可能包含运动目标。称为候选区域)的特征概率函数表达候选区域模型，该函数为其中y为候选区域的中心坐标，候选模型的特征值u为正整数。
然后，通过Bhattacharyya参数衡量相似度表达近似水平，参数公式为 表示运动目标与候选区域的相似度。
当满足小于预设的参数θ时，表示目标信息与候选区域的相似度相差较大，重新开始执行上述建立目标信息的特征概率函数的步骤，即调用差分法在当前帧中搜寻运动目标，直到找到当前帧中的运动目标。
使最大化，将当前帧图像上的运动目标的中心定义为前一帧图像上运动目标的中心坐标y0，搜寻匹配最佳的目标坐标为y1。将相似度函数在泰勒展开，得到函数其中令最大相似度函数的结果，能得到mean-shift矢量y1-y0，如果得到||y1-y0||<ε，则终止迭代，运动目标的中心坐标均由y0移动到新的坐标y1，移动函数为其中，g(x)＝-k′(x)。
基于上述方法，目标部分由开始坐标变换至现在目标所处坐标，从而达到了跟踪效果。
步骤S104，通过TLD跟踪算法对运动目标进行多尺度跟踪。
进一步的，本发明实施例还提出了一种基于单目标长时间跟踪算法(Tracking-Learning-Detection，TLD)的多尺度跟踪方法，所提方法包含3个部分：改进的mean-shift跟踪部分，P-N学习部分和改进的决策树识别部分。在拟定的方法框架内，mean-shift跟踪方法是作为一个短期的跟踪器，然后将搜集到的所有目标候选模型存入到目标特点数据库中以供P-N学习法参考。在必要时，决策树探测目标实时地纠正跟踪路径。
方法具体实现步骤包括：
手动方法框选初始运动目标。
改进MS跟踪器得到运动目标模型同时进行跟踪。
P-N学习部分将分析学习目标特征库中的目标特征。
P-N部分将特征数据传给跟踪器与识别器。
MS跟踪器更新运动目标模型。
改进的决策树检测模块分析模型特征并进行实时目标检测。
检测模块将运动目标模型与候选模型相匹配。
本发明提供的运动图像跟踪方法具有如下有益效果：
(1)提出一种基于改进空域变换与直方规定化相结合的图像光照均衡方法。将待处理的对比度不高的图像照度进行归类，划分为低照度图像与高照度图像，然后针对性地使用改进的图像增强或均衡等处理方法进行增强或均衡，矫正照度，最后考虑到相邻视频帧之间的关联性，进行一定照度弥补，最终达到运动图像序列照度均衡。
(2)提出一种能够更新背景的目标识别方法。包括两个过程：背景学习部分与目标识别部分。前者根据目标识别系统识别的结果按照背景、目标进行分类学习；后者把背景学习系统的输出结果作为本系统的输入一部分，另外的输入是当前帧图像，采用背景差分法和帧间差分法，根据背景像素点灰度值与坐标均能保持一致这一特点，将相邻若干帧作差从而获取目标，即对图像序列做时域高通滤波，最终实现对当前帧图像中目标的识别与分离。
(3)提出一种基于相邻帧间差分与mean-shift的自适应目标跟踪方法。用以颜色信息为特征识别的mean-shift跟踪方法作为主要跟踪框架，采用目标识别得到的运动目标图像信息作为跟踪方法的目标模板，当MS方法不收敛时，可以认为其目标模型与候选模型不匹配，导致跟踪出现失败。此时，运用帧间差分在上一帧中目标所在的区域按照一定的规则扩大的一定范围内快速搜索目标。
(4)提出一种基于TLD的多尺度跟踪方法。基于TLD框架，引入MS方法作为短期跟踪模块，并将之前所有候选目标模型存入目标库中供P-N学习法参考目标特征，同时，决策树实时识别当前帧运动目标，发生误跟现象时能及时矫正跟踪模块。
综上，本发明提出了的运动图像跟踪方法，理论系统完备，创新性突出。本发明应用在运动图像处理领域，可以处理不同场景和运动尺度的图像，排除背景信息干扰，运动噪声等问题，提高运动目标识别与跟踪结果的准确性和实时性。
请参阅图4，是本发明较佳实施例提供的图2所示的运动图像跟踪装置110的功能模块示意图。所述运动图像跟踪装置110包括照度处理模块111、运动目标识别模块113和运动轨迹获取模块115。
其中，照度处理模块111用于对运动图像进行均衡照度处理，运动目标识别模块113用于通过帧间差分法对运动图像中每帧图像进行运动目标的识别，运动轨迹获取模块115用于通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。
具体的，所述照度处理模块111用于：根据光照照度和对比度对运动图像中的每帧图像进行归类，获得低照度低对比度图像和高照度低对比度图像；对得到的低照度低对比度图像进行图像均衡处理，对高照度低对比度图像进行像素点灰度值范围拉伸处理；以及根据运动图像中所有图像的平均灰度值，对运动图像进行照度均衡处理，以使运动图像中的相邻帧图像照度均衡。
所述运动目标识别模块113用于通过背景图像与运动图像中每帧图像进行差分识别，得到每帧图像上的完整目标；对所有相邻帧图像进行差分识别，得到所有相邻帧图像上的目标变化量；取完整目标与目标变化量的公共部分，得到每帧图像上的目标变化部分图像；以及对每帧图像上的目标变化部分图像进行形态学处理得到每帧图像上的运动目标。
所述运动轨迹获取模块115用于建立运动目标的特征概率函数表达运动目标模型；建立候选区域的特征概率函数表达候选区域模型；通过Bhattacharyya函数建立运动目标模型与候选区域模型的相似度函数，得到运动目标与候选区域的相似度；设定度量参数，约束运动目标模型与候选区域模型相差的范围；以及当运动目标模型与候选区域模型相差的范围小于设定的阈值时将前一帧图像上的目标坐标移动到目前图像所处的坐标。
进一步的，运动图像跟踪装置110还包括有多尺度跟踪模块117，所述多尺度跟踪模块117用于通过TLD跟踪算法对运动目标进行多尺度跟踪。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种运动图像跟踪方法，其特征在于，包括：
对运动图像进行均衡照度处理；
通过帧间差分法对运动图像中每帧图像进行运动目标的识别；
通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。
2.根据权利要求1所述的运动图像跟踪方法，其特征在于，对运动图像进行均衡照度处理的步骤包括：
根据光照照度和对比度对运动图像中的每帧图像进行归类，获得低照度低对比度图像和高照度低对比度图像；
对得到的低照度低对比度图像进行图像均衡处理，对高照度低对比度图像进行像素点灰度值范围拉伸处理；
根据运动图像中所有图像的平均灰度值，对运动图像中的多帧图像进行照度均衡处理，以使运动图像中的相邻帧图像照度均衡。
3.根据权利要求1所述的运动图像跟踪方法，其特征在于，通过帧间差分法对运动图像中每帧图像进行运动目标的识别的步骤包括：
通过背景图像与运动图像中每帧图像进行差分识别，得到每帧图像上的完整目标；
对所有相邻帧图像进行差分识别，得到所有相邻帧图像上的目标变化量；
取完整目标与目标变化量的公共部分，得到每帧图像上的目标变化部分图像；
对每帧图像上的目标变化部分图像进行形态学处理得到每帧图像上的运动目标。
4.根据权利要求1所述的运动图像跟踪方法，其特征在于，通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹的步骤包括：
建立运动目标的特征概率函数表达运动目标模型；
建立候选区域的特征概率函数表达候选区域模型；
通过Bhattacharyya函数建立运动目标模型与候选区域模型的相似度函数，得到运动目标与候选区域的相似度；
设定度量参数，约束运动目标模型与候选区域模型相差的范围；
当运动目标模型与候选区域模型相差的范围小于设定的阈值时将前一帧图像上的目标坐标移动到目前图像所处的坐标。
5.根据权利要求1所述的方法，其特征在于，在得到运动目标的运动轨迹后，所述方法还包括：
通过TLD跟踪算法对运动目标进行多尺度跟踪。
6.一种运动图像跟踪装置，其特征在于，包括：
照度处理模块，用于对运动图像进行均衡照度处理；
运动目标识别模块，用于通过帧间差分法对运动图像中每帧图像进行运动目标的识别
运动轨迹获取模块，用于通过Bhattacharyya参数对相邻两帧图像上的运动目标进行相似度分析，得到运动目标的运动轨迹。
7.根据权利要求6所述的运动图像跟踪装置，其特征在于，所述照度处理模块还用于：
根据光照照度和对比度对运动图像中的每帧图像进行归类，获得低照度低对比度图像和高照度低对比度图像；
对得到的低照度低对比度图像进行图像均衡处理，对高照度低对比度图像进行像素点灰度值范围拉伸处理；
根据运动图像中所有图像的平均灰度值，运动图像中的多帧图像进行照度均衡处理，以使运动图像中的相邻帧图像照度均衡。
8.根据权利要求6所述的运动图像跟踪装置，其特征在于，运动目标识别模块还用于：
通过背景图像与运动图像中每帧图像进行差分识别，得到每帧图像上的完整目标；
对所有相邻帧图像进行差分识别，得到所有相邻帧图像上的目标变化量；
取完整目标与目标变化量的公共部分，得到每帧图像上的目标变化部分图像；
对每帧图像上的目标变化部分图像进行形态学处理得到每帧图像上的运动目标。
9.根据权利要求6所述的运动图像跟踪装置，其特征在于，所述运动轨迹获取模块还用于：
建立运动目标的特征概率函数表达运动目标模型；
建立候选区域的特征概率函数表达候选区域模型；
通过Bhattacharyya函数建立运动目标模型与候选区域模型的相似度函数，得到运动目标与候选区域的相似度；
设定度量参数，约束运动目标模型与候选区域模型相差的范围；
当运动目标模型与候选区域模型相差的范围小于设定的阈值时将前一帧图像上的目标坐标移动到目前图像所处的坐标。
10.根据权利要求6所述的运动图像跟踪装置，其特征在于，还包括多尺度跟踪模块，所述多尺度跟踪模块用于通过TLD跟踪算法对运动目标进行多尺度跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610582781.9A CN106204658A (zh) | 2016-07-21 | 2016-07-21 | 运动图像跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610582781.9A CN106204658A (zh) | 2016-07-21 | 2016-07-21 | 运动图像跟踪方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106204658A true CN106204658A (zh) | 2016-12-07 |
Family
ID=57491385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610582781.9A Pending CN106204658A (zh) | 2016-07-21 | 2016-07-21 | 运动图像跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106204658A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878611A (zh) * | 2016-12-29 | 2017-06-20 | 北京空间机电研究所 | 一种智能侦察监视光电系统 |
| CN107590486A (zh) * | 2017-10-11 | 2018-01-16 | 广州杰赛科技股份有限公司 | 运动目标识别方法和系统、自行车流量统计方法和设备 |
| CN107993254A (zh) * | 2017-12-14 | 2018-05-04 | 广西科技大学 | 基于关联帧差分法的运动目标检测方法 |
| WO2018141252A1 (zh) * | 2017-02-06 | 2018-08-09 | 腾讯科技（深圳）有限公司 | 人脸跟踪方法、装置、存储介质以及电子装置 |
| CN109248378A (zh) * | 2018-09-09 | 2019-01-22 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的视频处理装置、方法及视网膜刺激器 |
| CN109782019A (zh) * | 2019-03-15 | 2019-05-21 | 中国科学技术大学 | 大气污染物二维运动速度测量方法及装置 |
| CN110443116A (zh) * | 2019-06-19 | 2019-11-12 | 平安科技（深圳）有限公司 | 视频行人检测方法、装置、服务器及存储介质 |
| CN110909712A (zh) * | 2019-12-05 | 2020-03-24 | 重庆紫光华山智安科技有限公司 | 运动目标检测方法、装置、电子设备及存储介质 |
| CN111062415A (zh) * | 2019-11-12 | 2020-04-24 | 中南大学 | 基于对比差异的目标对象图像提取方法、系统及存储介质 |
| CN111815678A (zh) * | 2020-07-10 | 2020-10-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN117541627A (zh) * | 2024-01-10 | 2024-02-09 | 山东师范大学 | 一种基于vr技术的用户运动指导系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156987A (zh) * | 2014-09-10 | 2014-11-19 | 成都金盘电子科大多媒体技术有限公司 | 一种视频内容多目标跟踪方法 |
| US9129400B1 (en) * | 2011-09-23 | 2015-09-08 | Amazon Technologies, Inc. | Movement prediction for image capture |
-
2016
- 2016-07-21 CN CN201610582781.9A patent/CN106204658A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9129400B1 (en) * | 2011-09-23 | 2015-09-08 | Amazon Technologies, Inc. | Movement prediction for image capture |
| CN104156987A (zh) * | 2014-09-10 | 2014-11-19 | 成都金盘电子科大多媒体技术有限公司 | 一种视频内容多目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 贺鹏程: "空间运动图像序列目标识别与跟踪方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106878611A (zh) * | 2016-12-29 | 2017-06-20 | 北京空间机电研究所 | 一种智能侦察监视光电系统 |
| CN106878611B (zh) * | 2016-12-29 | 2020-02-11 | 北京空间机电研究所 | 一种智能侦察监视光电系统 |
| WO2018141252A1 (zh) * | 2017-02-06 | 2018-08-09 | 腾讯科技（深圳）有限公司 | 人脸跟踪方法、装置、存储介质以及电子装置 |
| US10909356B2 (en) | 2017-02-06 | 2021-02-02 | Tencent Technology (Shenzhen) Company Limited | Facial tracking method and apparatus, storage medium, and electronic device |
| CN107590486B (zh) * | 2017-10-11 | 2020-06-19 | 广州杰赛科技股份有限公司 | 运动目标识别方法和系统、自行车流量统计方法和设备 |
| CN107590486A (zh) * | 2017-10-11 | 2018-01-16 | 广州杰赛科技股份有限公司 | 运动目标识别方法和系统、自行车流量统计方法和设备 |
| CN107993254A (zh) * | 2017-12-14 | 2018-05-04 | 广西科技大学 | 基于关联帧差分法的运动目标检测方法 |
| CN109248378A (zh) * | 2018-09-09 | 2019-01-22 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的视频处理装置、方法及视网膜刺激器 |
| CN109248378B (zh) * | 2018-09-09 | 2020-10-16 | 深圳硅基仿生科技有限公司 | 视网膜刺激器的视频处理装置、方法及视网膜刺激器 |
| CN109782019A (zh) * | 2019-03-15 | 2019-05-21 | 中国科学技术大学 | 大气污染物二维运动速度测量方法及装置 |
| CN109782019B (zh) * | 2019-03-15 | 2020-04-24 | 中国科学技术大学 | 大气污染物二维运动速度测量方法及装置 |
| WO2020252924A1 (zh) * | 2019-06-19 | 2020-12-24 | 平安科技（深圳）有限公司 | 视频行人检测方法、装置、服务器及存储介质 |
| CN110443116A (zh) * | 2019-06-19 | 2019-11-12 | 平安科技（深圳）有限公司 | 视频行人检测方法、装置、服务器及存储介质 |
| CN110443116B (zh) * | 2019-06-19 | 2023-06-20 | 平安科技（深圳）有限公司 | 视频行人检测方法、装置、服务器及存储介质 |
| CN111062415A (zh) * | 2019-11-12 | 2020-04-24 | 中南大学 | 基于对比差异的目标对象图像提取方法、系统及存储介质 |
| CN110909712A (zh) * | 2019-12-05 | 2020-03-24 | 重庆紫光华山智安科技有限公司 | 运动目标检测方法、装置、电子设备及存储介质 |
| CN110909712B (zh) * | 2019-12-05 | 2021-04-16 | 重庆紫光华山智安科技有限公司 | 运动目标检测方法、装置、电子设备及存储介质 |
| CN111815678A (zh) * | 2020-07-10 | 2020-10-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN111815678B (zh) * | 2020-07-10 | 2024-01-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN117541627A (zh) * | 2024-01-10 | 2024-02-09 | 山东师范大学 | 一种基于vr技术的用户运动指导系统 |
| CN117541627B (zh) * | 2024-01-10 | 2024-04-16 | 山东师范大学 | 一种基于vr技术的用户运动指导系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106204658A (zh) | 运动图像跟踪方法及装置 | |
| Wang et al. | Robust visual tracking via least soft-threshold squares | |
| St-Charles et al. | A self-adjusting approach to change detection based on background word consensus | |
| CN104517104B (zh) | 一种基于监控场景下的人脸识别方法及系统 | |
| CN107403175A (zh) | 一种运动背景下的视觉跟踪方法及视觉跟踪系统 | |
| Ullah et al. | A hierarchical feature model for multi-target tracking | |
| Ramirez-Quintana et al. | Self-adaptive SOM-CNN neural system for dynamic object detection in normal and complex scenarios | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| CN104217192B (zh) | 基于深度图像的手定位方法和设备 | |
| CN108197534A (zh) | 一种人头部姿态检测方法、电子设备及存储介质 | |
| CN109215131B (zh) | 虚拟人脸的驱动方法及装置 | |
| CN103345644A (zh) | 在线训练的目标检测方法及装置 | |
| Yang et al. | MGC-VSLAM: A meshing-based and geometric constraint VSLAM for dynamic indoor environments | |
| Kang et al. | Robust visual tracking via nonlocal regularized multi-view sparse representation | |
| CN112085765A (zh) | 结合粒子滤波及度量学习的视频目标跟踪方法 | |
| CN113312973A (zh) | 一种手势识别关键点特征提取方法及系统 | |
| CN112364865A (zh) | 一种复杂场景中运动小目标的检测方法 | |
| Dou et al. | Background subtraction based on circulant matrix | |
| CN108921872B (zh) | 一种适用于长程跟踪的鲁棒性视觉目标跟踪方法 | |
| CN113361370A (zh) | 一种基于深度学习的异常行为检测方法 | |
| Han | Image object tracking based on temporal context and MOSSE | |
| Qi et al. | High-speed video salient object detection with temporal propagation using correlation filter | |
| CN107886060A (zh) | 基于视频的行人自动检测与跟踪方法 | |
| Yi et al. | Visual tracking based on hierarchical framework and sparse representation | |
| CN109858342B (zh) | 一种融合手工设计描述子和深度特征的人脸姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161207 |