CN111612819A - 基于图像金字塔绝对误差和的运动目标跟踪方法及系统 - Google Patents

基于图像金字塔绝对误差和的运动目标跟踪方法及系统 Download PDF

Info

Publication number
CN111612819A
CN111612819A CN202010412867.3A CN202010412867A CN111612819A CN 111612819 A CN111612819 A CN 111612819A CN 202010412867 A CN202010412867 A CN 202010412867A CN 111612819 A CN111612819 A CN 111612819A
Authority
CN
China
Prior art keywords
image
target
pyramid
layer
absolute error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010412867.3A
Other languages
English (en)
Other versions
CN111612819B (zh
Inventor
刘丙友
罗建
赵瑞
张峥峥
李兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Polytechnic University
Original Assignee
Anhui Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Polytechnic University filed Critical Anhui Polytechnic University
Priority to CN202010412867.3A priority Critical patent/CN111612819B/zh
Publication of CN111612819A publication Critical patent/CN111612819A/zh
Application granted granted Critical
Publication of CN111612819B publication Critical patent/CN111612819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图像金字塔绝对误差和的运动目标跟踪方法及系统,属于图像识别技术领域,包括以下步骤:S1:分解每帧高速图像;S2:确定顶层目标中心坐标;S3:跳跃式寻找并修正目标中心坐标;S4:逐帧搜索跟踪目标。在跟踪视频的每一帧时,首先对视频的每一帧高速图像序列进行图像金字塔分解,再利用绝对误差和匹配方法匹配运动目标;根据视频的运行方向,对下一帧图像进行有向性搜索优化,大大提高了识别运动目标的速度。本发明在对于运动目标的识别跟踪工作中,相比于现有的图像识别跟踪技术,识别效果能够达到预期满意度,识别准确度较高,识别速度也得到显著提升,值得被推广使用。

Description

基于图像金字塔绝对误差和的运动目标跟踪方法及系统
技术领域
本发明涉及图像识别技术领域,具体涉及基于图像金字塔绝对误差和的运动目标跟踪方 法及系统。
背景技术
图像识别技术是常用的技术手段,可用于多种场景下。图像识别是指利用计算机对图像进 行处理、分析和理解,以识别各种不同模式的目标和对象的技术,是应用深度学习算法的一 种实践应用。图像的传统识别流程分为四个步骤:图像采集→图像预处理→特征提取→图像 识别。图像识别可能是以图像的主要特征为基础的。每个图像都有它的特征,如字母A有个尖, P有个圈、而Y的中心有个锐角等。
目前图像识别技术发展得已经相对较为成熟,但是在对于运动目标的识别跟踪工作中, 现有的图像识别技术识别效果尚不能达到预期满意度,识别准确度不够高,识别速度也相对 较慢。为此,提出基于图像金字塔绝对误差和的运动目标跟踪方法。
发明内容
本发明所要解决的技术问题在于:如何解决现有的图像识别技术在识别运动目标过程中 存在的识别准确度不够高、识别速度相对较慢的问题,提供了基于图像金字塔绝对误差和的 运动目标跟踪方法。
本发明是通过以下技术方案解决上述技术问题的,本发明包括以下步骤:
S1:分解每帧高速图像
对视频的一帧高速图像进行图像金字塔分解;
S2:确定顶层目标中心坐标
利用SAD(绝对误差和)匹配方法找到图像金字塔的顶层低分辨率图像的目标中心坐标;
S3:跳跃式寻找并修正目标中心坐标
将步骤S2中确定的顶层图像的目标中心坐标跳跃式映射到下层的高分辨率图像上,得到 新目标中心坐标,在以新目标中心坐标为中心的映射区域内利用绝对误差和匹配方法重新搜 索该层的目标中心坐标,即修正后的目标中心坐标,依次进行跳跃搜索直至得到底层的修正 后目标中心坐标;
S4:逐帧搜索跟踪目标
根据视频的运行方向,对下一帧高速图像重复步骤S1~S3进行搜索识别,实现目标跟踪。
更进一步的,在所述步骤S1中,进行图像金字塔分解的具体过程如下:
S11:将高速图像序列的第K帧原始图像取出,将该原始图像作为第K帧图像金字塔底部 图层
Figure BDA0002493886170000021
第K帧图像的金字塔第d层记为
Figure BDA0002493886170000022
S12:构造由
Figure BDA0002493886170000023
Figure BDA0002493886170000024
的降分辨率图像金字塔,上层图像由下层图像经高斯滤波后做隔列 隔行降采样得到,采样公式如下:
Figure BDA0002493886170000025
其中,0<d<n,W(p,q)是一个5×5的具有低通特性的窗口函数,其定义如下:
Figure BDA0002493886170000026
更进一步的,在所述步骤S12中,降分辨率图像金字塔中自上而下每一层的尺寸大小为 下一层的四分之一。
更进一步的,在所述步骤S2中,顶层低分辨率图像的目标中心坐标为
Figure BDA0002493886170000027
更进一步的,在所述步骤S3中,经映射后下一层的高分辨率图像的新目标中心坐标为
Figure BDA0002493886170000028
映射区域为
Figure BDA0002493886170000029
修正后的目标中心坐标为
Figure BDA00024938861700000210
底层的修正后 目标中心坐标为
Figure BDA00024938861700000211
更进一步的,在所述步骤S2和S3中,SAD匹配方法的公式如下:
Figure BDA00024938861700000212
1≤x≤M-m+1,1≤y≤N-n+1
其中,i,j为子区域的左上角坐标,T是模板图像即待搜索目标的图像,尺寸为m*n;S 是待搜索图像即图像金字塔中各层图像,尺寸是M*N。
更进一步的,在所述步骤S2和S3中,利用SAD匹配方法进行搜索的过程如下:
S21:将模板图像在待搜索图像上进行遍历,形成SAD矩阵;
S22:逐次令模板图像与待搜索图像中的大小与模板图像相同的图像进行相似性度量计算, 待搜索图像中相似度最相近的位置,即目标图像的位置。
更进一步的,在进行搜索之前,将模板图像T也进行金字塔分解得到各个图层的不同分 辨率的新模板图像。
更进一步的,所述SAD矩阵的大小为(M-m+1)×(N-n+1),在SAD矩阵中,每一个数值分别代表模板图像与待搜索图像对应子图的绝对误差和。
更进一步的,在所述步骤S2中,使用绝对误差和匹配方法在最低分辨率的顶部图层搜索 目标的最低分辨率模板图像图层,确定顶层低分辨率图像的目标中心坐标为
Figure BDA0002493886170000031
在 所述步骤S3中,由目标与模板图像的相似度分值s和当前第K帧图像的金字塔图层位置确定 跳跃层数。
更进一步的,每一次的跳跃层数由式m=INT[k1(s-q)+k2C]决定,其中m为跳跃层数,q 为匹配跳跃阈值,C为当前第K帧图像的金字塔图层的位置,m=INT[k1(s-q)+k2C]表示对 计算结果取整数。
本发明还提供了一种基于图像金字塔绝对误差和的运动目标跟踪系统,包括:
图像分解模块,用于对视频的一帧高速图像进行图像金字塔分解;
顶层目标确定模块,用于利用SAD匹配方法找到图像金字塔的顶层低分辨率图像的目标 中心坐标;
下层目标确定模块,用于将确定的顶层图像的目标中心坐标跳跃式映射到下层的高分辨 率图像上,得到新目标中心坐标,在以新目标中心坐标为中心的映射区域内利用绝对误差和 匹配方法重新搜索该层的目标中心坐标,即修正后的目标中心坐标,依次进行跳跃搜索直至 得到底层的修正后目标中心坐标;
目标跟踪模块,用于根据视频的运行方向,对下一帧高速图像重复步骤S1~S3进行搜索 识别,实现目标跟踪;
控制处理模块,用于向其他模块发出指令,完成相关动作;
所述图像分解模块、所述顶层目标确定模块、所述下层目标确定模块、所述目标跟踪模 块均与控制处理模块电连接。
本发明相比现有技术具有以下优点:该基于图像金字塔绝对误差和的运动目标跟踪方法, 在对于运动目标的识别跟踪工作中,相比于现有的图像识别跟踪技术,识别效果能够达到预 期满意度,识别准确度较高,识别速度也得到显著提升,值得被推广使用。
附图说明
图1是本发明实施例一中运动目标跟踪方法的流程示意图;
图2是本发明实施例二中图像金字塔的示意图;
图3是本发明实施例二中绝对误差和图像金字塔快速匹配方法的实施流程示意图;
图4是本发明实施例三中拍摄得到的部分帧的灰度图像;
图5a是本发明实施例三中拍摄得到第10个点的第200帧的灰度图像;
图5b是本发明实施例三中拍摄得到第10个点的第400帧的灰度图像;
图5c是本发明实施例三中拍摄得到第10个点的第600帧的灰度图像;
图5d是本发明实施例三中拍摄得到第10个点的第900帧的灰度图像;
图6是本发明实施例三中的第10个点y轴振动位移图;
图7是本发明实施例三中的第10个点y轴振动数据做频谱分析的所得的一阶固有频率;
图8是本发明实施例三中的第10个点y轴振动数据做频谱分析的所得的二阶固有频率。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施, 给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例一
如图1所示,本实施例提供一种技术方案:基于图像金字塔绝对误差和的运动目标跟踪 方法,包括以下步骤:
S1:分解每帧高速图像
对视频中的一帧高速图像进行图像金字塔分解;
S2:确定顶层目标中心坐标
利用SAD(绝对误差和)匹配方法找到图像金字塔的顶层低分辨率图像的目标中心坐标;
S3:跳跃式寻找并修正目标中心坐标
将步骤S2中确定的顶层图像的目标中心坐标跳跃式映射到下层的高分辨率图像上,得到 新目标中心坐标,在以新目标中心坐标为中心的映射区域内利用绝对误差和匹配方法重新搜 索该层的目标中心坐标,即修正后的目标中心坐标,依次进行跳跃搜索直至得到底层的修正 后目标中心坐标;
S4:逐帧搜索跟踪目标
根据视频的运行方向,对下一帧高速图像重复步骤S1~S3进行搜索识别,实现目标跟踪。
在所述步骤S1中,进行图像金字塔分解的具体过程如下:
S11:将高速图像序列的第K帧原始图像取出,将该原始图像作为第K帧图像金字塔底部 图层
Figure BDA0002493886170000041
第K帧图像的金字塔第d层记为
Figure BDA0002493886170000042
S12:构造由
Figure BDA0002493886170000043
Figure BDA0002493886170000044
的降分辨率图像金字塔,上层图像由下层图像经高斯滤波后做隔列 隔行降采样得到,采样公式如下:
Figure BDA0002493886170000051
其中,0<d<n,W(p,q)是一个5×5的具有低通特性的窗口函数,其定义如下:
Figure BDA0002493886170000052
在所述步骤S12中,降分辨率图像金字塔中自上而下每一层的尺寸大小为下一层的四分 之一。
在所述步骤S2中,顶层低分辨率图像的目标中心坐标为
Figure BDA0002493886170000053
在所述步骤S3中,经映射后下一层的高分辨率图像的新目标中心坐标为
Figure BDA0002493886170000054
映射区域为
Figure BDA0002493886170000055
修正后的目标中心坐标为
Figure BDA0002493886170000056
底层的修正后目标中心坐标为
Figure BDA0002493886170000057
在所述步骤S2和S3中,SAD匹配方法的公式如下:
Figure BDA0002493886170000058
1≤x≤M-m+1,1≤y≤N-n+1
其中,i,j为子区域的左上角坐标,T是模板图像即待搜索目标的图像,尺寸为m*n;S 是待搜索图像即图像金字塔中各层图像,尺寸是M*N。
在所述步骤S2和S3中,利用SAD匹配方法进行搜索的过程如下:
S21:将模板图像在待搜索图像上进行遍历,形成SAD矩阵;
S22:逐次令模板图像与待搜索图像中的大小与模板图像相同的图像进行相似性度量计算, 待搜索图像中相似度最相近的位置,即目标图像的位置。
在进行搜索之前,将模板图像T也进行金字塔分解得到各个图层的不同分辨率的新模板 图像。
所述SAD矩阵的大小为(M-m+1)×(N-n+1),在SAD矩阵中,每一个数值分别代表模板图像与待搜索图像对应子图的绝对误差和。
在所述步骤S2中,使用绝对误差和匹配方法在最低分辨率的顶部图层搜索目标的最低分 辨率模板图像图层,确定顶层低分辨率图像的目标中心坐标为
Figure BDA0002493886170000061
在所述步骤S3中, 由目标与模板图像的相似度分值s和当前第K帧图像的金字塔图层位置确定跳跃层数。
每一次的跳跃层数由式m=INT[k1(s-q)+k2C]决定,其中m为跳跃层数,q为匹配跳跃 阈值,C为当前第K帧图像的金字塔图层的位置,m=INT[k1(s-q)+k2C]表示对计算结果取整数。
本实施例还提供了一种基于图像金字塔绝对误差和的运动目标跟踪系统,包括:
图像分解模块,用于对视频的一帧高速图像进行图像金字塔分解;
顶层目标确定模块,用于利用SAD匹配方法找到图像金字塔的顶层低分辨率图像的目标 中心坐标;
下层目标确定模块,用于将确定的顶层图像的目标中心坐标跳跃式映射到下层的高分辨 率图像上,得到新目标中心坐标,在以新目标中心坐标为中心的映射区域内利用绝对误差和 匹配方法重新搜索该层的目标中心坐标,即修正后的目标中心坐标,依次进行跳跃搜索直至 得到底层的修正后目标中心坐标;
目标跟踪模块,用于根据视频的运行方向,对下一帧高速图像重复步骤S1~S3进行搜索 识别,实现目标跟踪;
控制处理模块,用于向其他模块发出指令,完成相关动作;
所述图像分解模块、所述顶层目标确定模块、所述下层目标确定模块、所述目标跟踪模 块均与控制处理模块电连接。
实施例二
本实施例提供了一种基于图像金字塔绝对误差和的运动目标跟踪方法,其主要内容包括: 在跟踪视频的每一帧时,首先对视频的每一帧高速图像序列进行图像金字塔分解,再利用绝 对误差和匹配方法匹配运动目标;根据视频的运行方向,对下一帧图像进行搜索,提高该方 法识别运动目标的速度。
绝对误差和SAD(sum of Absolute Difference)是基于灰度的模板匹配方法。其原理是 通过模板图像与待搜索图像进行相似性度量作判断,获得目标图像的准确位置。
SAD匹配方法的公式为:
Figure BDA0002493886170000062
1≤x≤M-m+1,1≤y≤N-n+1
其中i,j为子图的左上角坐标。在模板图像遍历的过程中,SAD形成一个矩阵,大小为 (M-m+1)×(N-n+1)。其中,每一个数值分别代表模板图像与待搜索图像对应子图的绝对误差和。T是模板图像,尺寸为m*n;S是待搜索图像,尺寸是M*N;将模板图像在待搜索图 像上进行遍历。逐次令模板图像与待搜索图像中的大小与模板图像相同的图像进行相似性度量计算,待搜索图像中与模板图像相似度最相近的位置,即目标图像的位置。
由公式可知,SAD矩阵中的每个值对应的是模板图像与搜索子图对应位置的像素差的绝 对值求和,所以SAD矩阵中数值越小,表明两个图像越相似,当数值为0时,代表两个矩阵完 全重合,即两个图像相同。
将高速图像序列的第K帧原始图像取出,该原始图像即为第K帧图像金字塔底部图层
Figure BDA0002493886170000071
第K帧图像的金字塔第d层记为
Figure BDA0002493886170000072
构造由
Figure BDA0002493886170000073
Figure BDA0002493886170000074
的降分辨率图像金字塔,上层图像由下 层图像经高斯滤波后做隔列隔行降采样得到:
Figure BDA0002493886170000075
其中0<d<n,W(p,q)是一个5×5的具有低通特性的窗口函数,其定义如下:
Figure BDA0002493886170000076
图像金字塔的构造是为了降低图像分辨率,得到一系列分辨率减小的金字塔图层,每一 层的大小仅为下一层的四分之一。对模板图像T也进行金字塔分解得到各个图层的不同分辨 率新模板图像,模板图像金字塔的层数与原始图像G的金字塔的层数相同,再利用绝对误差 和匹配方法即可对原始图像G的各个图层进行对应式搜索。金字塔的图像如图2所示。
在对一帧图像进行运动目标识别时,运用绝对误差和图像金字塔快速匹配方法对第K帧 图像进行识别:首先对第K帧图像做金字塔分解,配合前述得到的降分辨率的模板图像的金 字塔图层,使用SAD匹配方法在最低分辨率的顶部图层搜索目标的最低分辨率模板图像图层, 寻找该层的中心目标
Figure BDA0002493886170000077
由目标与模板图像的相似度分值s和当前的金字塔图层位 置决定跳跃层数,每一次的跳跃层数由式m=INT[k1(s-q)+k2C]决定。其中m为跳跃层数,q 为匹配跳跃阈值,C为当前第K帧图像的金字塔图层的位置,m=INT[k1(s-q)+k2C]表示对 计算结果取整数。用
Figure BDA0002493886170000081
映射到跳跃后的n-m层金字塔图像
Figure BDA0002493886170000082
上,得到新目标中心 坐标
Figure BDA0002493886170000083
在以坐标
Figure BDA0002493886170000084
为中心的映射区域
Figure BDA0002493886170000085
内采取SAD算法重 新搜索该层目标,可快速找到
Figure BDA0002493886170000086
此即为修正后图像
Figure BDA0002493886170000087
的目标中心坐标。依 次进行跳跃搜索,直至搜索到底部图层
Figure BDA0002493886170000088
的目标中心坐标
Figure BDA0002493886170000089
此即为第k帧所求的 准确目标位置。这种金字塔跳跃式搜索法具有匹配速度快的特点。利用本发明的金字塔跳跃 搜索法确定每帧图像中目标的中心目标。该方法流程图如图3所示。
实施例三
本实施例以钢条悬臂梁振动实验为例,展示了本发明的技术方案在实际振动测量中的应 用流程与效果。钢条材料为实验悬臂梁为一根普通钢条。钢条材料为碳素工具钢,杨氏模量 为2.06×1011N·m-2,密度为7.85×103kg·m-3,长、宽、高分别为300mm、12mm、0.4mm, 其中一端固定于桌面上,另一端伸出桌面,伸出部分长200mm。当用手指敲击钢条的伸出端 时,钢条受到激励开始持续振动。下面利用前面(实施例一、二中)介绍的技术方案完成对 钢条振动的分析与计算,验证本发明的技术方案在振动测量中的有效性。
表1钢锯条材料及形状参数
参数 数值
1 杨氏模量 2.06×10<sup>5</sup>Mpa
2 密度 7.85×10<sup>-9</sup>T/mm<sup>3</sup>
3 伸出长度 200mm
4 宽度 12mm
5 厚度 0.4mm
根据钢条悬臂梁录制图像的实际特点,设计图像处理方法流程如下:图像受外界干扰较少, 图像清晰,故不使用图像滤波等方法滤除噪声;白点标记点在整个幅面相对突出,具有较强 对比度,故可以省去图像增强方法,以减少分析的步骤和计算时间。
利用本发明的图像金字塔绝对误差和匹配方法,跟踪高速摄像机所拍摄的视频,并且将 所得到的数据导入matlab软件中进行位移图的绘制及频谱分析,从频谱图上可以直接看到最 突出的点即为固有频率。
为了图像处理时方便捕获特征点,钢锯条上每隔5mm的位置都涂上了白色记号。拍摄得 到的部分帧的灰度图像如图4所示,图像中大片灰色为背景,黑色线条状为钢锯条,白色点 状为标记。钢锯条右端固定,左端受激励作用后做快速小幅振荡。从图4中可以明显看出, 多阶振动被激出,振动较为复杂。
在本实施例中,选取第10个白点作为匹配模板做频谱分析,如图5所示, 为拍摄得到第10个点的部分帧的灰度图像;然后取振动的y轴振动数据分别做 位移及频谱分析,如图6~8所示。
根据材料力学中梁弯曲理论,在不考虑阻尼的情况下,等截面悬臂梁的自由振动满足 Euler-Bernoulli方程:
Figure BDA0002493886170000091
其中
Figure BDA0002493886170000092
E为杨氏模量,J为悬臂梁对中性轴的惯性矩,ρ为悬臂梁的密度,A为 梁的横截面积。
在悬臂梁的边界条件下,可以计算得到悬臂梁的固有频率为:
Figure BDA0002493886170000093
振型函数满足方程:
Figure BDA0002493886170000094
其中βil由cos(βl)ch(βl)=-1,l为梁的长度。
其中:ωi表示第i阶固有频率,E表示弹性模量,I表示截面惯量矩,ρ表示梁的密度, A表示截面积。将实际钢锯条的材料与形状参数带入式(2),可计算得出此钢锯条悬臂梁的前 二节固有频率分别为8.27Hz、51.86Hz。
通过快速傅里叶变化可将时域位移轨迹转换到频域,如图6~8所示。分析 频谱图即可得到该特征点振动的频率,如表2所示。从表2中可以看出,基于图 像金字塔绝对误差和匹配方法得到的结果与理论分析结果非常接近,最大误差仅 为1.10%,证明了基于该方法通过位移提取的振动频率测量方法是可行的。
表2基于本发明的技术方案得到的结果与理论分析结果对比表
理论分析结果 本发明的技术方案得到的结果 误差
1 8.27Hz 8.361Hz 1.10%
2 51.86Hz 51.84Hz 0.03%
综上所述,上述三组实施例的基于图像金字塔绝对误差和的运动目标跟踪方法,在对于 运动目标的识别跟踪工作中,相比于现有的图像识别跟踪技术,识别效果能够达到预期满意 度,识别准确度较高,识别速度也得到显著提升,值得被推广使用。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示 或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两 个,三个等,除非另有明确具体的限定。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体 示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或 者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述 不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在 任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合 和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的, 不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进 行变化、修改、替换和变型。

Claims (10)

1.基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于,包括以下步骤:
S1:分解每帧高速图像
对视频中的一帧高速图像进行图像金字塔分解;
S2:确定顶层目标中心坐标
利用绝对误差和匹配方法确定图像金字塔的顶层低分辨率图像的目标中心坐标;
S3:跳跃式寻找并修正目标中心坐标
将步骤S2中确定的顶层图像的目标中心坐标跳跃式映射到下层的高分辨率图像上,得到新目标中心坐标,在以新目标中心坐标为中心的映射区域内利用绝对误差和匹配方法重新搜索该层的目标中心坐标,即修正后的目标中心坐标,依次进行跳跃搜索直至得到底层的修正后目标中心坐标;
S4:逐帧搜索跟踪目标
根据视频的运行方向,对下一帧高速图像重复步骤S1~S3进行搜索识别,实现目标跟踪。
2.根据权利要求1所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:在所述步骤S1中,进行图像金字塔分解的具体过程如下:
S11:将高速图像序列的第K帧原始图像取出,将该原始图像作为第K帧图像金字塔底部图层
Figure FDA0002493886160000011
第K帧图像的金字塔第d层记为
Figure FDA0002493886160000012
S12:构造由
Figure FDA0002493886160000013
Figure FDA0002493886160000014
的降分辨率图像金字塔,上层图像由下层图像经高斯滤波后做隔列隔行降采样得到,采样公式如下:
Figure FDA0002493886160000015
其中,0<d<n,W(p,q)是一个5×5的具有低通特性的窗口函数,其定义如下:
Figure FDA0002493886160000016
3.根据权利要求2所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:在所述步骤S12中,降分辨率图像金字塔中自上而下每一层的尺寸大小为下一层的四分之一。
4.根据权利要求3所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:在所述步骤S2和S3中,绝对误差和匹配方法的公式如下:
Figure FDA0002493886160000021
1≤x≤M-m+1,1≤y≤N-n+1
其中,i,j为子区域的左上角坐标,T是模板图像即待搜索目标的图像,尺寸为m*n;S是待搜索图像即图像金字塔中各层图像,尺寸是M*N。
5.根据权利要求4所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:在所述步骤S2和S3中,利用绝对误差和匹配方法进行搜索的过程如下:
S21:将模板图像在待搜索图像上进行遍历,形成绝对误差和矩阵;
S22:逐次令模板图像与待搜索图像中的大小与模板图像相同的图像进行相似性度量计算,确定目标图像的位置。
6.根据权利要求5所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:所述绝对误差和矩阵的大小为(M-m+1)×(N-n+1),绝对误差和矩阵中各数值分别表示模板图像与待搜索图像对应子图的绝对误差和。
7.根据权利要求6所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:在进行搜索之前,将模板图像T也进行金字塔分解得到各个图层的不同分辨率的新模板图像。
8.根据权利要求7所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:在所述步骤S2中,使用绝对误差和匹配方法在最低分辨率的顶部图层搜索目标的最低分辨率模板图像图层,确定顶层低分辨率图像的目标中心坐标为Mkn(xn,yn),在所述步骤S3中,由目标与模板图像的相似度分值s和当前第K帧图像的金字塔图层位置确定跳跃层数。
9.根据权利要求8所述的基于图像金字塔绝对误差和的运动目标跟踪方法,其特征在于:每一次的跳跃层数由式m=INT[k1(s-q)+k2C]决定,其中m为跳跃层数,q为匹配跳跃阈值,C为当前第K帧图像的金字塔图层的位置,m=INT[k1(s-q)+k2C]表示对计算结果取整数。
10.一种基于图像金字塔绝对误差和的运动目标跟踪系统,其特征在于,利用如权利要求1~9任一所述的运动目标跟踪方法对运动目标进行跟踪,包括:
图像分解模块,用于对视频中的一帧高速图像进行图像金字塔分解;
顶层目标确定模块,用于利用绝对误差和匹配方法找到图像金字塔的顶层低分辨率图像的目标中心坐标;
下层目标确定模块,用于将确定的顶层图像的目标中心坐标跳跃式映射到下层的高分辨率图像上,得到新目标中心坐标,在以新目标中心坐标为中心的映射区域内利用绝对误差和匹配方法重新搜索该层的目标中心坐标,即修正后的目标中心坐标,依次进行跳跃搜索直至得到底层的修正后目标中心坐标;
目标跟踪模块,用于根据视频的运行方向,对下一帧高速图像重复步骤S1~S3进行搜索识别,实现目标跟踪;
控制处理模块,用于向其他模块发出指令,完成相关动作;
所述图像分解模块、所述顶层目标确定模块、所述下层目标确定模块、所述目标跟踪模块均与控制处理模块电连接。
CN202010412867.3A 2020-05-15 2020-05-15 基于图像金字塔绝对误差和的运动目标跟踪方法及系统 Active CN111612819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010412867.3A CN111612819B (zh) 2020-05-15 2020-05-15 基于图像金字塔绝对误差和的运动目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010412867.3A CN111612819B (zh) 2020-05-15 2020-05-15 基于图像金字塔绝对误差和的运动目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN111612819A true CN111612819A (zh) 2020-09-01
CN111612819B CN111612819B (zh) 2023-03-31

Family

ID=72201470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412867.3A Active CN111612819B (zh) 2020-05-15 2020-05-15 基于图像金字塔绝对误差和的运动目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111612819B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和系统
US20160012312A1 (en) * 2014-07-08 2016-01-14 Canon Kabushiki Kaisha Image processing method, image processing apparatus, program, and recording medium
CN106530324A (zh) * 2016-10-21 2017-03-22 华中师范大学 一种模拟视觉皮质机制的视频目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和系统
US20160012312A1 (en) * 2014-07-08 2016-01-14 Canon Kabushiki Kaisha Image processing method, image processing apparatus, program, and recording medium
CN106530324A (zh) * 2016-10-21 2017-03-22 华中师范大学 一种模拟视觉皮质机制的视频目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
庞国瑞等: "基于PSO算法的运动目标跟踪研究", 《单片机与嵌入式系统应用》 *

Also Published As

Publication number Publication date
CN111612819B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN1161710C (zh) 图象识别及相关系统
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
CN109035276B (zh) 一种图像边缘提取方法、装置及自动驾驶系统
JP5409237B2 (ja) パターン検出装置、その処理方法及びプログラム
EP1678659B1 (en) Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
CN105182350B (zh) 一种应用特征跟踪的多波束声呐目标探测方法
US20070154072A1 (en) Image Normalization For Computed Image Construction
JP2010067246A5 (zh)
CN114022439B (zh) 一种基于形态学图像处理的柔性电路板缺陷检测方法
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
JP2018060389A (ja) プログラム、情報記憶媒体及び文字分割装置
CN115272726A (zh) 一种特征匹配方法、装置、电子设备及存储介质
CN111612819B (zh) 基于图像金字塔绝对误差和的运动目标跟踪方法及系统
CN107545259A (zh) 一种基于大津法的二维码重构方法
Sarfraz et al. A new approach to corner detection
US20040136611A1 (en) System and method for using normalized gray scale pattern find
JP3749726B1 (ja) 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法
CN109800702B (zh) 指静脉识别的快速比对方法及计算机可读取的存储介质
CN116164641A (zh) 一种基于机器视觉的探针台运动位置补偿方法
CN113658080B (zh) 一种基于特征点匹配的线扫圆柱体几何校正方法及装置
US20030156748A1 (en) Adaptive threshold determination for ball grid array component modeling
JP3066137B2 (ja) パターンマッチング方法
CN109492685B (zh) 一种用于对称特征的目标物体视觉检测方法
Li et al. Skew correction and line extraction in binarized printed text images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant