CN107705322A - 运动目标识别跟踪方法和系统 - Google Patents

运动目标识别跟踪方法和系统 Download PDF

Info

Publication number
CN107705322A
CN107705322A CN201710890298.1A CN201710890298A CN107705322A CN 107705322 A CN107705322 A CN 107705322A CN 201710890298 A CN201710890298 A CN 201710890298A CN 107705322 A CN107705322 A CN 107705322A
Authority
CN
China
Prior art keywords
image
moving target
target
module
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710890298.1A
Other languages
English (en)
Inventor
王红亮
王柳明
卢振国
曹京胜
吕云飞
童飞
童一飞
曲皎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201710890298.1A priority Critical patent/CN107705322A/zh
Publication of CN107705322A publication Critical patent/CN107705322A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于视频监控技术领域，提出了一种运动目标的识别跟踪方法和系统，包括以下步骤：采集一帧图像作为背景图像进行存储；实时采集实时图像；对背景图像和实时图像分别进行预处理，得到背景阈值图像和实时阈值图像；将实时阈值图像与背景阈值图像进行差分运算后再次进行均衡化、阈值化操作，然后对目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征；计算得到目标模型的Mean shift向量；不断迭代计算Mean Shift向量，最终得到运动目标的真实位置，对运动目标进行连续的实时跟踪定位。本发明在硬件上完成数字信号处理操作，极大地节省了计算机资源，可以广泛应用于视频监控领域。

Description

运动目标识别跟踪方法和系统
技术领域
本发明涉及视频监控技术领域，具体涉及一种运动目标识别跟踪方法和系统。
背景技术
随着世界工业化进程不断加快，制造业开始脱离人工进行生产，人们开始大力发展机器人行业，用机器人来代替人类进行各种生产作业和危险活动。科技的不断进步也使机器人业越来越智能，涉及的行业也越来越多，机器人在人类社会发展中扮演着重要的角色。和人类获取外部信息一样，智能机器人在获取外部信息时也需要一双“眼睛”，那就是人工视觉或者叫计算机视觉，它是智能机器人系统中不容缺少的一环。而运动目标识别与跟踪技术是计算机视觉技术中主要研究方向之一，运动目标识别与跟踪就是使用计算机或者嵌入式处理器对图像进行解析，自动将运动目标从待检测的图像序列中识别出来，然后进行定位跟踪，为完成更高一级任务做准备。同时，运动目标检测识别跟踪技术也广泛应用于人脸识别、安全监控、人机交互、现代医学、航空航天、无人机、军事等领域。
目前，运动目标识别跟踪技术已逐渐成熟，但全球计算机视觉产业主要在欧美日等发达国家。我过对计算机视觉的研究起步比较晚，近些年来，我国对于这方面的投入也逐渐加大，正逐步建立完善的科学体系。传统的运动目标识别跟踪技术主要采用集中处理的方式，开发专用的上位机软件完成图像处理过程。这种方式对计算机的要求非常高，如今随着系统功能的不断扩展，即便是高性能计算机也无法满足数据处理的需求。
发明内容
本发明克服现有技术存在的不足，所要解决的技术问题为：提供一种运动目标识别跟踪方法和系统，以实现运动目标的准确识别和持续跟踪。
为了解决上述技术问题，本发明采用的技术方案为：一种运动目标的识别跟踪方法，包括以下步骤：
S1、目标识别之前采集一帧图像作为背景图像进行存储；
S2、实时采集实时图像；
S3、对背景图像和实时图像分别进行灰度化、均衡化以及阈值化处理，得到处理后的背景阈值图像和实时阈值图像；
S4、将实时阈值图像与背景阈值图像进行差分运算，得到运动目标所在区域，并将差分运算结果再次进行均衡化、阈值化操作，然后对目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征；
S5、根据MeanShift目标跟踪算法，计算得到目标模型的Mean shift向量，所述Meanshift向量为目标由初始位置向下一位置移动的向量；
S6、重复步骤S2~S5，不断迭代计算Mean Shift向量，最终得到运动目标的真实位置，以对运动目标进行连续的实时跟踪定位。
所述步骤S4中，所述灰度化的具体方法为：通过IMAQ Cast Image VI算法对图像进行灰度化处理得到灰度图像；所述均衡化的具体方法为：首先统计出灰度图像中灰度值为f的像素点个数nf，然后计算f出现的概率p(f)，再根据公式计算出累计直方图，并根据该累计直方图分布求出原灰度图像中点（x，y）的灰度值f(x, y)到均衡化处理后点（x，y）的灰度值f1(x, y)的灰度映射关系，最后按照公式对原图像各像素点的灰度值进行替换，完成灰度映射，即可对原图像均衡化；g表示灰度值小于等于f的概率。L-1代表灰度等级最大值：255；n代表一帧画面中的像素点个数；所述阈值化的具体方法为：通过ostu算法完成阈值化操作，得到阈值图像。
所述步骤S4中，所述对目标进行边缘检测和定位的具体方法为：对运动目标所在区域内每一像素点的灰度值进行模板卷积运算，得到其灰度值的梯度，并根据其灰度值梯度找到图像目标的边沿处，从而得到运动的上下左右四个边的线性方程，并以此计算出运动目标所在区域的四个顶点；最后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，然后将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
所述步骤S5中，所述根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位的具体方法为：分别计算目标区域和候选区域内像素的特征值概率，得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean Shift向量，通过不断迭代计算Mean Shift向量，得到目标的真实位置，达到跟踪的目的。
本发明还提供了一种运动目标识别跟踪系统，包括图像采集模块、数据存储模块、数据处理模块、数据传输模块和上位机；所述图像采集模块的输出端与所述数据存储模块连接，所述数据处理模块的输入端与所述数据存储模块连接，所述数据处理模块通过所述数据传输模块与所述上位机双向连接；所述图像采集模块用于采集图像并存储到数据存储模块，以及发送到数据处理模块进行处理；所述数据传输模块用于将数据处理模块的处理结果发送到上位机；所述上位机用于向所述数据处理模块发送操作命令，以及显示系统状态信息和图像处理结果；所述数据处理模块为嵌入式芯片Xilinx Zynq-7010，所述数据处理模块用于执行以下程序：
从所述数据存储模块载入背景图像数据和实时图像数据；
对载入背景图像数据和实时图像数据分别进行灰度化、均衡化以及阈值化操作，分别得到处理后背景阈值图像和实时阈值图像；
将实时阈值图像与背景阈值图像进行差分运算，得到运动目标所在区域，并将运算结果再次进行均衡化、阈值化操作，然后对运动目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征；
得到运动目标的位置信息以及在实时图像中截取到运动目标的彩色图像特征后，根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位。
所述对载入的图像进行灰度化、均衡化以及阈值化操作具体是指：通过IMAQ CastImage VI算法对载入的图像进行灰度化处理得到灰度图像；统计出灰度图像中灰度值为f的像素点个数nf，然后计算f出现的概率p(f)，再根据公式计算出累计直方图，并根据该累计直方图分布求出原灰度图像中点（x，y）的灰度值f(x, y)到均衡化处理后点（x，y）的灰度值f1(x, y)的灰度映射关系，最后按照公式对原图像各像素点的灰度值进行替换，完成灰度映射，即可对原图像均衡化；g表示灰度值小于等于f的概率。L-1代表灰度等级最大值：255；n代表一帧画面中的像素点个数；通过ostu算法完成阈值化操作，得到阈值图像。
所述对运动目标进行边缘检测和定位是通过Sobel边缘检测算法实现的，具体过程为：对运动目标所在区域内每一像素点的灰度值进行模板卷积运算，得到其灰度值的梯度，并根据其灰度值梯度找到图像目标的边沿处，从而得到运动的上下左右四个边的线性方程，并以此计算出运动目标所在区域的四个顶点；最后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，然后将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
所述根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位具体是指：分别计算目标区域和候选区域内像素的特征值概率，得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean Shift向量，通过不断迭代计算Mean Shift向量，得到目标的真实位置，达到跟踪的目的。
本发明与现有技术相比具有以下有益效果：本发明的运动目标识别跟踪系统基于嵌入式芯片Xilinx Zynq-7010设计，采用了结构化设计思想，实现了在硬件上完成数字信号处理操作，极大地节省了计算机资源。同时，运动目标识别系统能准确识别运动目标并且持续跟踪。
附图说明
图1为本发明实施例提供了一种运动目标的识别跟踪方法的流程示意图；
图2为本发明实施例中均衡化流程图；
图3为本发明实施例提出的一种运动目标的识别跟踪系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种运动目标的识别跟踪方法，包括以下步骤：
S1、通过图像采集单元采集一帧图像作为背景图像，并进行存储。
S2、通过图像采集单元实时采集实时图像。
S3、对背景图像和实时图像分别进行灰度化、均衡化以及阈值化处理，得到处理后的背景阈值图像和实时阈值图像。
其中，所述灰度化的具体方法为：通过IMAQ Cast Image VI算法对图像进行灰度化处理得到灰度图像；如图2所示，所述均衡化的具体方法为：首先统计出灰度图像中灰度值为f的像素点个数nf，然后计算f出现的概率p(f)，再根据公式计算出累计直方图，并根据该累计直方图分布求出原灰度图像中点（x，y）的灰度值f(x, y)到均衡化处理后点（x，y）的灰度值f1(x, y)的灰度映射关系，最后按照公式对原图像各像素点的灰度值进行替换，完成灰度映射，即可对原图像均衡化；g表示灰度值小于等于f的概率。L-1代表灰度等级最大值：255；n代表一帧画面中的像素点个数；所述阈值化的具体方法为：通过ostu算法完成阈值化操作，得到阈值图像。
由于灰度数字图像的每一个像素点只有一种颜色值，所以灰度图像的数据量小，更容易完成设计和实现算法，本发明实施例应用IMAQ Cast Image VI算法进行灰度化处理。由于灰度图像中灰度值较为集中的像素点的灰度值差异比较小，导致图像质量差，因此，需要在不改变图像特征的情况下，放大原灰度图像中灰度值较为集中的像素点的灰度值差异，所以本发明实施例采用均衡化算法来增强动态变化偏小的灰度差，此方法通过把待处理灰度图像的灰度值变化均匀分布在整个灰度范围内来增强灰度值的动态范围。通过otsu算法完成阈值化操作，得到阈值图像，为图像的进一步处理减少了计算量。
S4、将实时阈值图像与背景阈值图像进行差分运算，得到运动目标所在区域，并将差分运算结果再次进行均衡化、阈值化操作，然后对目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征。
其中，所述均衡化和阈值化操作与上述S3中的方法相同，所述对目标进行边缘检测和定位的具体方法可以为：采用sobel边缘检测法，对运动目标所在区域内每一像素点的灰度值进行模板卷积运算，得到其灰度值的梯度，并根据其灰度值梯度找到图像目标的边沿处，从而得到运动的上下左右四个边的线性方程，并以此计算出运动目标所在区域的四个顶点；最后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，然后将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
其中，sobel边缘检测法计算时首先采取模板卷积的方式，将图像中的所有像素值进行模板卷积运算得到新的像素值。设A代表原始图像中一点的像素灰度值，其中代表经横向运算的梯度值，为经纵向模板运算的像素梯度值，其公式如（1）所示：
； (1)
图像中某一像素点的梯度大小由公式（2）计算得出：
； (2)
然后用公式（3）计算梯度方向：
； (3)
G值比较大的地方灰度值变化快，则为目标图像中的边沿处，Θ的绝对值接近0度且G值较大的像素点为纵向边缘，Θ的绝对值接近90度且G值较大的像素点为横向边缘。因此，通过上述模板卷积的方法对图像进行计算，得到的G值可以对目标边缘进行检测和定位。
本发明实施例运用Sobel算法对运动目标进行边缘检测，它是一种离散性差分算法，用来运算图像亮度函数的梯度矢量。计算时采取模板卷积的方式，使得运动目标的边缘得到增强，然后再计算其梯度，得到目标的上下左右四个边的线性方程，并以此计算出目标所在区域的四个顶点。为了能够定位到目标的绝大多数信息并且提高后续跟踪的精确度，在对目标进行定位时总寻找目标所在的极大矩形区域，所以在目标定位时还需要将边缘检测计算出的四个定点转化成极大矩形的四个顶点，这样就得到了运动目标的坐标信息，之后便可轻松将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
S5、根据MeanShift目标跟踪算法，计算得到目标模型的Mean shift向量，所述Mean shift向量为目标由初始位置向下一位置移动的向量。
其中，根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位的具体方法为：分别计算目标区域和候选区域内像素的特征值概率，得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean Shift向量，通过不断迭代计算Mean Shift向量，得到目标的真实位置，达到跟踪的目的。
其中，目标区域为上一帧画面目标所在区域。候选区域是这一帧画面目标可能在的区域，候选区域是通过目标区域的中心为基础得到区域，且不止一个，然后通过相似性函数度量哪个候选区域与目标区域相似度最大，相似度最大的区域则为当前帧目标所在区域。当前帧目标所在区域有了之后，就可以知道目标移动的方向的距离了。迭代计算过程就是不断通过相似性函数度量目标区域和候选区域相似度，找出与目标区域相似度最大的候选区域的过程，由于候选区域有很多，所以需要计算多次。快速收敛指的是这个算法能很快计算出相似性函数的最大值，即很快能找到与目标区域相似度最高的候选区域，则为当前帧中目标所在区域。在目标识别过程中，系统复制了含有运动目标的图像，成为目标跟踪的第一帧，同时，也确定了运动目标的初始位置。由于均值漂移算法的快速收敛性，通过不断迭代计算Mean Shift向量，算法最终将收敛到目标的真实位置，达到跟踪的目的。系统在执行运动目标跟踪操作时先载入运动目标图像及其初始位置，然后执行目标跟踪算法，对目标的连续运动进行跟踪并输出目标的位置，直到系统停机。
S6、重复步骤S2~S5，不断迭代计算Mean Shift向量，最终得到运动目标的真实位置，以对运动目标进行连续的实时跟踪定位。
此外，本发明实施例还提供了一种运动目标识别跟踪系统，如图3所示，包括图像采集模块、数据存储模块、数据处理模块、数据传输模块和上位机；所述图像采集模块的输出端与所述数据存储模块连接，所述数据处理模块的输入端与所述数据存储模块连接，所述数据处理模块通过所述数据传输模块与所述上位机双向连接；所述图像采集模块用于采集图像并存储到数据存储模块，以及发送到数据处理模块进行处理；所述数据传输模块用于将数据处理模块的处理结果发送到上位机；所述上位机用于向所述数据处理模块发送操作命令，以及显示系统状态信息和图像处理结果；所述数据处理模块为嵌入式芯片XilinxZynq-7010，所述数据处理模块用于执行以下程序：
从所述数据存储模块载入背景图像数据和实时图像数据；
对载入背景图像数据和实时图像数据分别进行灰度化、均衡化以及阈值化操作，分别得到处理后背景阈值图像和实时阈值图像；
将实时阈值图像与背景阈值图像进行差分运算，得到运动目标所在区域，并将运算结果再次进行均衡化、阈值化操作，然后对运动目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征；
得到运动目标的位置信息以及在实时图像中截取到运动目标的彩色图像特征后，根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位。
其中，本发明实施例的一种运动目标识别跟踪系统，设备一开机便进入初始化状态，完成设备各种初始化操作，然后进入图像数据载入状态，数据载入完成后进入预处理状态。在预处理状态中完成对采集图像的灰度化、均衡化以及阈值化操作，得到处理后的阈值图像。然后进入目标识别状态，此状态中首先进行背景阈值图像的获取，然后进行实时阈值图像的获取，再将实时阈值图像与背景阈值图像进行差分运算，并将结果再次进行均衡化、阈值化操作，然后对目标进行边缘检测和定位，得到目标的位置信息，然后根据位置信息在实时图像中截取出运动目标的彩色图像特征。最后进入目标跟踪状态，此状态中将目标识别状态获取的运动目标彩色图像特征和位置信息转入目标跟踪算法中，利用MeanShift算法对目标进行实时跟踪定位，最后再进入图像数据载入状态，如此重复。其中，数据传输模块用于执行数据处理模块与上位机之间的数据传输，一方面，它可以将上位机发送的系统命令传输给数据处理模块，另一方面，它可以将数据处理模块在各个步骤中的处理结果发送给上位机进行显示或存储。在上位机中，可以观察系统的运行状态，也可以发送相应的系统命令。同时，也可以实时的观测USB摄像头采集的当前环境图像以及经过目标识别与跟踪算法后的结果图像，还可以观察各个子状态的处理结果，如差分图像、阈值图像等。
进一步地，所述对载入的图像进行灰度化、均衡化以及阈值化操作具体是指：
通过IMAQ Cast Image VI算法对载入的图像进行灰度化处理得到灰度图像；
统计出灰度图像中灰度值为f的像素点个数nf，然后计算f出现的概率p(f)，再根据公式计算出累计直方图，并根据该累计直方图分布求出原灰度图像中点（x，y）的灰度值f(x, y)到均衡化处理后点（x，y）的灰度值f1(x, y)的灰度映射关系，最后按照公式对原图像各像素点的灰度值进行替换，完成灰度映射，即可对原图像均衡化；g表示灰度值小于等于f的概率。L-1代表灰度等级最大值：255；n代表一帧画面中的像素点个数；
阈值化处理：通过ostu算法完成阈值化操作，得到阈值图像。
进一步地，所述对运动目标进行边缘检测和定位是通过Sobel边缘检测算法实现的，具体过程为：对运动目标所在区域内每一像素点的灰度值进行模板卷积运算，得到其灰度值的梯度，并根据其灰度值梯度找到图像目标的边沿处，从而得到运动的上下左右四个边的线性方程，并以此计算出运动目标所在区域的四个顶点；最后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，然后将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
进一步地，所述根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位具体是指：分别计算目标区域和候选区域内像素的特征值概率，得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean Shift向量，通过不断迭代计算MeanShift向量，得到目标的真实位置，达到跟踪的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种运动目标识别跟踪方法，其特征在于，包括以下步骤：
S1、目标识别之前采集一帧图像作为背景图像进行存储；
S2、实时采集实时图像；
S3、对背景图像和实时图像分别进行灰度化、均衡化以及阈值化处理，得到处理后的背景阈值图像和实时阈值图像；
S4、将实时阈值图像与背景阈值图像进行差分运算，得到运动目标所在区域，并将差分运算结果再次进行均衡化、阈值化操作，然后对目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征；
S5、根据MeanShift目标跟踪算法，计算得到目标模型的Mean shift向量，所述Meanshift向量为目标由初始位置向下一位置移动的向量；
S6、重复步骤S2~S5，不断迭代计算Mean Shift向量，最终得到运动目标的真实位置，以对运动目标进行连续的实时跟踪定位。
2.根据权利要求1所述的一种运动目标识别跟踪方法，其特征在于，所述步骤S4中，
所述灰度化的具体方法为：通过IMAQ Cast Image VI算法对图像进行灰度化处理得到灰度图像；
所述均衡化的具体方法为：首先统计出灰度图像中灰度值为f的像素点个数nf，然后计算f出现的概率p(f)，再根据公式计算出累计直方图，并根据该累计直方图分布求出原灰度图像中点（x，y）的灰度值f(x, y)到均衡化处理后点（x，y）的灰度值f1(x, y)的灰度映射关系，最后按照公式对原图像各像素点的灰度值进行替换，完成灰度映射，即可对原图像均衡化；g表示灰度值小于等于f的概率；L-1代表灰度等级最大值：255；n代表一帧画面中的像素点个数；
所述阈值化的具体方法为：通过ostu算法完成阈值化操作，得到阈值图像。
3.根据权利要求1所述的一种运动目标识别跟踪方法，其特征在于，所述步骤S4中，所述对目标进行边缘检测和定位的具体方法为：对运动目标所在区域内每一像素点的灰度值进行模板卷积运算，得到其灰度值的梯度，并根据其灰度值梯度找到图像目标的边沿处，从而得到运动的上下左右四个边的线性方程，并以此计算出运动目标所在区域的四个顶点；最后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，然后将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
4.根据权利要求1所述的一种运动目标识别跟踪方法，其特征在于，所述步骤S5中，所述根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位的具体方法为：分别计算目标区域和候选区域内像素的特征值概率，得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean Shift向量，通过不断迭代计算Mean Shift向量，得到目标的真实位置，达到跟踪的目的。
5.一种运动目标识别跟踪系统，其特征在于，包括图像采集模块、数据存储模块、数据处理模块、数据传输模块和上位机；所述图像采集模块的输出端与所述数据存储模块连接，所述数据处理模块的输入端与所述数据存储模块连接，所述数据处理模块通过所述数据传输模块与所述上位机双向连接；所述图像采集模块用于采集图像并存储到数据存储模块，以及发送到数据处理模块进行处理；所述数据传输模块用于将数据处理模块的处理结果发送到上位机；所述上位机用于向所述数据处理模块发送操作命令，以及显示系统状态信息和图像处理结果；
所述数据处理模块为嵌入式芯片Xilinx Zynq-7010，所述数据处理模块用于执行以下程序：
从所述数据存储模块载入背景图像数据和实时图像数据；
对载入背景图像数据和实时图像数据分别进行灰度化、均衡化以及阈值化操作，分别得到处理后背景阈值图像和实时阈值图像；
将实时阈值图像与背景阈值图像进行差分运算，得到运动目标所在区域，并将运算结果再次进行均衡化、阈值化操作，然后对运动目标进行边缘检测和定位，得到运动目标的位置信息，并根据运动目标的位置信息在实时图像中截取出运动目标的彩色图像特征；
得到运动目标的位置信息以及在实时图像中截取到运动目标的彩色图像特征后，根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位。
6.根据权利要求5所述的一种运动目标识别跟踪系统，其特征在于，所述对载入的图像进行灰度化、均衡化以及阈值化操作具体是指：
通过IMAQ Cast Image VI算法对载入的图像进行灰度化处理得到灰度图像；
统计出灰度图像中灰度值为f的像素点个数nf，然后计算f出现的概率p(f)，再根据公式计算出累计直方图，并根据该累计直方图分布求出原灰度图像中点（x，y）的灰度值f(x, y)到均衡化处理后点（x，y）的灰度值f1(x, y)的灰度映射关系，最后按照公式对原图像各像素点的灰度值进行替换，完成灰度映射，即可对原图像均衡化；g表示灰度值小于等于f的概率，L-1代表灰度等级最大值：255；n代表一帧画面中的像素点个数；
通过ostu算法完成阈值化操作，得到阈值图像。
7.根据权利要求5所述的一种运动目标识别跟踪系统，其特征在于，所述对运动目标进行边缘检测和定位是通过Sobel边缘检测算法实现的，具体过程为：
对运动目标所在区域内每一像素点的灰度值进行模板卷积运算，得到其灰度值的梯度，并根据其灰度值梯度找到图像目标的边沿处，从而得到运动的上下左右四个边的线性方程，并以此计算出运动目标所在区域的四个顶点；最后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，然后将目标像素子集从图像像素集合中提取出来，获取运动目标像素集合。
8.根据权利要求5所述的一种运动目标识别跟踪系统，其特征在于，所述根据MeanShift目标跟踪算法对运动目标进行实时跟踪定位具体是指：分别计算目标区域和候选区域内像素的特征值概率，得到关于目标模型和候选模型的描述，然后利用相似函数度量初始帧目标模型和当前帧的候选模型的相似性，选择使相似函数最大的候选模型并得到关于目标模型的Mean Shift向量，通过不断迭代计算Mean Shift向量，得到目标的真实位置，达到跟踪的目的。
CN201710890298.1A 2017-09-27 2017-09-27 运动目标识别跟踪方法和系统 Pending CN107705322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710890298.1A CN107705322A (zh) 2017-09-27 2017-09-27 运动目标识别跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710890298.1A CN107705322A (zh) 2017-09-27 2017-09-27 运动目标识别跟踪方法和系统

Publications (1)

Publication Number Publication Date
CN107705322A true CN107705322A (zh) 2018-02-16

Family

ID=61175117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710890298.1A Pending CN107705322A (zh) 2017-09-27 2017-09-27 运动目标识别跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN107705322A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389617A (zh) * 2018-08-27 2019-02-26 深圳大学 一种基于片上异构系统的运动目标识别与追踪方法及系统
CN109543650A (zh) * 2018-12-04 2019-03-29 钟祥博谦信息科技有限公司 仓库智能监控方法和系统
CN110781713A (zh) * 2019-06-21 2020-02-11 中云智慧（北京）科技有限公司 一种获取目标图像的方法及装置
WO2020029518A1 (zh) * 2018-08-10 2020-02-13 平安科技（深圳）有限公司 一种监控视频处理方法、装置及计算机可读介质
CN111225181A (zh) * 2018-11-26 2020-06-02 北京华航无线电测量研究所 一种基于无人机挂飞的搜索跟踪系统
CN111833308A (zh) * 2020-06-17 2020-10-27 南京航空航天大学 一种基于Kinect的呼吸运动监测方法及监测系统
CN111881853A (zh) * 2020-07-31 2020-11-03 中北大学 一种超大桥隧中异常行为识别方法和装置
CN111951297A (zh) * 2020-08-31 2020-11-17 郑州轻工业大学 一种基于结构化逐像素目标注意机制的目标跟踪方法
CN112216640A (zh) * 2020-10-19 2021-01-12 惠州高视科技有限公司 一种半导体芯片定位方法和装置
CN112418147A (zh) * 2020-12-02 2021-02-26 中国人民解放军军事科学院国防科技创新研究院 基于航拍图像的轨条砦识别方法及装置
CN112561911A (zh) * 2020-12-29 2021-03-26 深圳市中科联合通信技术有限公司 一种基于ARM-Cortex M4 NB-iot芯片架构实现的边缘图像算法
CN112634247A (zh) * 2020-12-29 2021-04-09 浙江德源智能科技股份有限公司 基于图像分离的搬运对象识别方法及装置
CN112991382A (zh) * 2019-12-02 2021-06-18 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN113192136A (zh) * 2021-04-22 2021-07-30 杭州晟冠科技有限公司 一种基于图像识别的轮船定位跟踪方法
CN113255706A (zh) * 2021-07-16 2021-08-13 南京奕荣芯科技有限公司 一种基于卷积神经网络算法的目标识别方法及系统
CN113545216A (zh) * 2021-07-17 2021-10-26 普达迪泰（天津）智能装备科技有限公司 一种基于图像视觉的无人割草车导航方法
CN114699702A (zh) * 2022-04-15 2022-07-05 长沙海信智能系统研究院有限公司 消防设备检测方法及相关装置
CN114782479A (zh) * 2022-06-17 2022-07-22 江苏乐尔环境科技股份有限公司 一种工业设备状态监控管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631237A (zh) * 2009-08-05 2010-01-20 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
CN102663366A (zh) * 2012-04-13 2012-09-12 中国科学院深圳先进技术研究院 行人目标识别方法及系统
CN106571039A (zh) * 2016-08-22 2017-04-19 中海网络科技股份有限公司 一种高速公路违章行为自动抓拍系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631237A (zh) * 2009-08-05 2010-01-20 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
CN102663366A (zh) * 2012-04-13 2012-09-12 中国科学院深圳先进技术研究院 行人目标识别方法及系统
CN106571039A (zh) * 2016-08-22 2017-04-19 中海网络科技股份有限公司 一种高速公路违章行为自动抓拍系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李平等: "利用单映射法改善图像直方图均衡化的精度", 《北京联合大学学报（自然科学版）》 *
秦小文: "基于视频序列的运动目标检测与跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029518A1 (zh) * 2018-08-10 2020-02-13 平安科技（深圳）有限公司 一种监控视频处理方法、装置及计算机可读介质
CN109389617A (zh) * 2018-08-27 2019-02-26 深圳大学 一种基于片上异构系统的运动目标识别与追踪方法及系统
CN111225181A (zh) * 2018-11-26 2020-06-02 北京华航无线电测量研究所 一种基于无人机挂飞的搜索跟踪系统
CN109543650A (zh) * 2018-12-04 2019-03-29 钟祥博谦信息科技有限公司 仓库智能监控方法和系统
CN110781713A (zh) * 2019-06-21 2020-02-11 中云智慧（北京）科技有限公司 一种获取目标图像的方法及装置
CN112991382A (zh) * 2019-12-02 2021-06-18 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN112991382B (zh) * 2019-12-02 2024-04-09 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN111833308A (zh) * 2020-06-17 2020-10-27 南京航空航天大学 一种基于Kinect的呼吸运动监测方法及监测系统
CN111833308B (zh) * 2020-06-17 2024-03-15 南京航空航天大学 一种基于Kinect的呼吸运动监测方法及监测系统
CN111881853A (zh) * 2020-07-31 2020-11-03 中北大学 一种超大桥隧中异常行为识别方法和装置
CN111881853B (zh) * 2020-07-31 2022-09-16 中北大学 一种超大桥隧中异常行为识别方法和装置
CN111951297B (zh) * 2020-08-31 2022-04-19 郑州轻工业大学 一种基于结构化逐像素目标注意机制的目标跟踪方法
CN111951297A (zh) * 2020-08-31 2020-11-17 郑州轻工业大学 一种基于结构化逐像素目标注意机制的目标跟踪方法
CN112216640A (zh) * 2020-10-19 2021-01-12 惠州高视科技有限公司 一种半导体芯片定位方法和装置
CN112418147A (zh) * 2020-12-02 2021-02-26 中国人民解放军军事科学院国防科技创新研究院 基于航拍图像的轨条砦识别方法及装置
CN112634247A (zh) * 2020-12-29 2021-04-09 浙江德源智能科技股份有限公司 基于图像分离的搬运对象识别方法及装置
CN112561911A (zh) * 2020-12-29 2021-03-26 深圳市中科联合通信技术有限公司 一种基于ARM-Cortex M4 NB-iot芯片架构实现的边缘图像算法
CN112634247B (zh) * 2020-12-29 2022-04-12 浙江德源智能科技股份有限公司 基于图像分离的搬运对象识别方法及装置
CN113192136A (zh) * 2021-04-22 2021-07-30 杭州晟冠科技有限公司 一种基于图像识别的轮船定位跟踪方法
CN113255706A (zh) * 2021-07-16 2021-08-13 南京奕荣芯科技有限公司 一种基于卷积神经网络算法的目标识别方法及系统
CN113255706B (zh) * 2021-07-16 2021-09-24 南京奕荣芯科技有限公司 一种基于卷积神经网络算法的目标识别方法及系统
CN113545216A (zh) * 2021-07-17 2021-10-26 普达迪泰（天津）智能装备科技有限公司 一种基于图像视觉的无人割草车导航方法
CN114699702A (zh) * 2022-04-15 2022-07-05 长沙海信智能系统研究院有限公司 消防设备检测方法及相关装置
CN114782479A (zh) * 2022-06-17 2022-07-22 江苏乐尔环境科技股份有限公司 一种工业设备状态监控管理方法

Similar Documents

Publication Publication Date Title
CN107705322A (zh) 运动目标识别跟踪方法和系统
CN109816725B (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
CN108108764B (zh) 一种基于随机森林的视觉slam回环检测方法
WO2020177432A1 (zh) 基于目标检测网络的多标签物体检测方法、系统、装置
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN112270249A (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN110032925B (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN108229416B (zh) 基于语义分割技术的机器人slam方法
CN111931764B (zh) 一种目标检测方法、目标检测框架及相关设备
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
Chen et al. One-stage CNN detector-based benthonic organisms detection with limited training dataset
CN104063711B (zh) 一种基于K‑means方法的走廊消失点快速检测算法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN115816460B (zh) 一种基于深度学习目标检测与图像分割的机械手抓取方法
US20220262093A1 (en) Object detection method and system, and non-transitory computer-readable medium
CN111445523A (zh) 果实位姿计算方法、装置、计算机设备及存储介质
CN110197255A (zh) 一种基于深度学习的可变形卷积网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180216