CN109389617A - 一种基于片上异构系统的运动目标识别与追踪方法及系统 - Google Patents

一种基于片上异构系统的运动目标识别与追踪方法及系统 Download PDF

Info

Publication number
CN109389617A
CN109389617A CN201810980774.3A CN201810980774A CN109389617A CN 109389617 A CN109389617 A CN 109389617A CN 201810980774 A CN201810980774 A CN 201810980774A CN 109389617 A CN109389617 A CN 109389617A
Authority
CN
China
Prior art keywords
realtime graphic
image
motion
pretreated
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810980774.3A
Other languages
English (en)
Inventor
但果
田川
陈子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Moving Information Technology Co Ltd
Shenzhen University
Original Assignee
Shenzhen Moving Information Technology Co Ltd
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Moving Information Technology Co Ltd, Shenzhen University filed Critical Shenzhen Moving Information Technology Co Ltd
Priority to CN201810980774.3A priority Critical patent/CN109389617A/zh
Publication of CN109389617A publication Critical patent/CN109389617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于片上异构系统的运动目标识别与追踪方法及系统，方法包括：采集实时图像；对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。本发明采用背景差分法和帧间差分法相结合的方法得到运动目标区域，并采用CAMSHIFT算法取代Meanshift算法来对运动目标区域进行跟踪，不易受光线变化等因素的影响，鲁棒性好。本发明可广泛应用于计算机视觉领域。

Description

一种基于片上异构系统的运动目标识别与追踪方法及系统
技术领域
本发明涉及计算机视觉领域，尤其是一种基于片上异构系统的运动目标识别与追踪方法及系统。
背景技术
基于视频的运动目标识别与追踪是计算机视觉领域的重要内容，它融合了图像处理，数理分析，概率密度分析等多个领域的知识。所谓的视频的运动目标识别(检测)与跟踪是指对视频中的单个或者多个运动目标进行检测和跟踪，得到目标的具体参数(如位置、面积、速度等)，再在进行进一步的处理与分析的基础上，达到对运动目标的行为智能理解的目的，以便进行更高一级的处理，其实现了用计算机代替人眼，进行智能的对外界物体运动的认识，为人类的生活工作提供了很大的便利。如今，运动目标的识别与追踪技术也广泛应用于人脸识别、安全监控、人机交互、航空航天、医疗器械、无人机等领域。
目前，国内外研究人员针对运动目标的识别与追踪技术的研究已逐渐成熟，但随着科学体系的逐渐完善，此类技术仍存在着提高与深入的空间。
专利申请号为201710890298.1，名为“运动目标识别跟踪方法和系统”的中国发明专利，通过图像采集模块采集实时图像，将实时图像和背景图像分别进行灰度化、均衡化以及阈值化处理，将得到的图像进行差分运算，得到运动目标的位置信息，然后根据MeanShift目标跟踪算法，计算得到目标模型的Meanshift向量。最后，不断迭代计算Meanshift向量，最终得到运动目标的真实位置，以实现对运动目标进行连续的实时跟踪定位。该方案通过背景差分提取运动目标，但此方法容易受到光线变化的影响，鲁棒性较差。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种鲁棒性好的基于片上异构系统的运动目标识别与追踪方法及系统。
本发明所采取的技术方案的一方面是：一种基于片上异构系统的运动目标识别与追踪方法，包括以下步骤：采集实时图像；对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
进一步，所述对实时图像进行预处理，得到预处理后的实时图像这一步骤，具体包括：
对实时图像进行灰度化，得到灰度化后的实时图像；
采用基于并行机制的sobel边缘检测法对灰度化后的实时图像进行边缘特征提取，得到预处理后的实时图像。
进一步，所述对实时图像进行灰度化，得到灰度化后的实时图像这一步骤，具体为：
将实时图像由RGB空间转换到YCbCr空间，得到灰度化后的实时图像，所述将实时图像由RGB空间转换到YCbCr空间时采用的转换公式为：
Y＝((77*R+150*G+29*B)>>8)
Cb＝((-43*R-85*G+128*B)>>8)+128
Cr＝((128*R-107*G-21*B)>>8)+128
其中，R、G和B分别为实时图像在RGB空间的红色、绿色和蓝色分量，Y、Cb和Cr分别为实时图像在YCbCr空间的Y分量、蓝色浓度分量和红色浓度分量，Y分量表示颜色的明亮度和浓度，>>为右移符号。
进一步，所述采用基于并行机制的sobel边缘检测法对灰度化后的实时图像进行边缘特征提取，得到预处理后的实时图像这一步骤，具体包括：
将灰度化后的实时图像与sobel算子的模板每一行相乘，得到第一乘积；
将第一乘积与sobel算子的模板的每一列对应相乘，得到第二乘积；
将第二乘积的各相乘结果相加，得到实时图像像素点的横向灰度偏导分量和纵向灰度偏导分量；
计算得到的横向灰度偏导分量和纵向灰度偏导分量的平方和；
对计算的平方和进行平方根运算，得到实时图像像素点的梯度；
根据像素点的梯度提取出实时图像目标的边缘特征。
进一步，所述根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域这一步骤，具体包括：
根据预处理后的实时图像得到背景图像、当前帧图像和当前帧图像的前一帧图像；
将当前帧图像与背景图像进行差分运算，得到第一差分图像；
将当前帧图像与当前帧图像的前一帧图像进行差分运算，得到第二差分图像；
根据第一差分图像与第二差分图像，得到运动目标区域。
进一步，所述采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标这一步骤，具体包括：
根据运动目标区域确定初始搜索窗口；
通过反向投影建立运动目标区域的颜色概率分布图；
根据初始搜索窗口在运动目标区域的颜色概率分布图中采用Meanshift算法进行迭代搜索，更新搜索窗口的中心和位置，得到迭代搜索后的搜索窗的中心；
根据迭代搜索后的搜索窗的中心进行CAMSHIFT搜索，最终跟踪得到运动目标。
本发明所采取的技术方案的另一方面是：一种基于片上异构系统的运动目标识别与追踪系统，包括：图像采集模块，用于采集实时图像；预处理模块，用于对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；运动目标区域获取模块，用于根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；运动目标跟踪模块，用于采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
本发明所采取的技术方案的另一方面是：一种基于片上异构系统的运动目标识别与追踪系统，包括图像采集模块、数据处理器、存储器和显示器，所述图像采集模块的输出端与数据处理器的输入端连接，所述数据处理器的输出端与显示器的输入端连接，所述数据处理器还与存储器连接；所述图像采集模块用于采集图像，所述存储器用于存储数据处理器的处理结果，所述显示器用于显示数据处理器的处理结果；所述数据处理器采用嵌入式芯片Xilinx Zynq-7020，所述数据处理器用于执行以下程序：
从图像采集模块获取实时图像；
对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；
根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；
采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
进一步，所述数据处理器包括可编程部分、AXI接口和数据处理部分，所述可编程部分通过AXI接口与数据处理部分连接，所述可编程部分包括：
算法硬件加速IP核，用于对实时图像进行灰度化和边缘特征提取，并进行硬件加速，得到预处理后的实时图像；
视频图像传输模块，用于通过AXI接口与数据处理部分交换数据；
高清显示模块，用于将数据处理部分的处理结果输出至显示器；
所述数据处理部分包括：
运动目标识别追踪模块，用于根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域，进而采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标；
驱动程序模块，用于提供驱动程序，以驱动视频图像传输模块和算法硬件加速IP核。
进一步，所述存储器包括DDR存储器和SD卡，所述DDR存储器和SD卡均与数据处理部分连接。
本发明的有益效果是：本发明一种基于片上异构系统的运动目标识别与追踪方法及系统，采用背景差分法和帧间差分法相结合的方法得到运动目标区域，并采用CAMSHIFT算法取代Meanshift算法来对运动目标区域进行跟踪，不易受光线变化等因素的影响，鲁棒性好。
附图说明
图1为本发明一种基于片上异构系统的运动目标识别与追踪方法的主要流程图；
图2为本发明一种基于片上异构系统的运动目标识别与追踪系统的模块框图；
图3为本发明优选实施例的运动目标识别追踪系统总体结构框图；
图4为本发明优选实施例的运动目标识别追踪算法流程图。
具体实施方式
参照图1，本发明一种基于片上异构系统的运动目标识别与追踪方法，包括以下步骤：采集实时图像；对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
进一步作为优选的实施方式，所述对实时图像进行预处理，得到预处理后的实时图像这一步骤，具体包括：
对实时图像进行灰度化，得到灰度化后的实时图像；
采用基于并行机制的sobel边缘检测法对灰度化后的实时图像进行边缘特征提取，得到预处理后的实时图像。
进一步作为优选的实施方式，所述对实时图像进行灰度化，得到灰度化后的实时图像这一步骤，具体为：
将实时图像由RGB空间转换到YCbCr空间，得到灰度化后的实时图像，所述将实时图像由RGB空间转换到YCbCr空间时采用的转换公式为：
Y＝((77*R+150*G+29*B)>>8)
Cb＝((-43*R-85*G+128*B)>>8)+128
Cr＝((128*R-107*G-21*B)>>8)+128
其中，R、G和B分别为实时图像在RGB空间的红色、绿色和蓝色分量，Y、Cb和Cr分别为实时图像在YCbCr空间的Y分量、蓝色浓度分量和红色浓度分量，Y分量表示颜色的明亮度和浓度，>>为右移符号。
进一步作为优选的实施方式，所述采用基于并行机制的sobel边缘检测法对灰度化后的实时图像进行边缘特征提取，得到预处理后的实时图像这一步骤，具体包括：
将灰度化后的实时图像与sobel算子的模板每一行相乘，得到第一乘积；
将第一乘积与sobel算子的模板的每一列对应相乘，得到第二乘积；
将第二乘积的各相乘结果相加，得到实时图像像素点的横向灰度偏导分量和纵向灰度偏导分量；
计算得到的横向灰度偏导分量和纵向灰度偏导分量的平方和；
对计算的平方和进行平方根运算，得到实时图像像素点的梯度；
根据像素点的梯度提取出实时图像目标的边缘特征。
由于灰度化后的实时图像包含了多个像素点，所以其与sobel算子的模板每一行相乘的结果也有多个，即第一乘积包含多个相乘结果。同理，第二乘积也包含多个相乘结果
本发明利用了并行流水线的设计思想将sobel边缘检测法的实现划分为5个步骤，提升了计算速度。
进一步作为优选的实施方式，所述根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域这一步骤，具体包括：
根据预处理后的实时图像得到背景图像、当前帧图像和当前帧图像的前一帧图像；
将当前帧图像与背景图像进行差分运算，得到第一差分图像；
将当前帧图像与当前帧图像的前一帧图像进行差分运算，得到第二差分图像；
根据第一差分图像与第二差分图像，得到运动目标区域。
其中，取第一差分图像与第二差分图像的交集，即可得到运动目标区域。
进一步作为优选的实施方式，所述采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标这一步骤，具体包括：
根据运动目标区域确定初始搜索窗口；
通过反向投影建立运动目标区域的颜色概率分布图；
根据初始搜索窗口在运动目标区域的颜色概率分布图中采用Meanshift算法进行迭代搜索，更新搜索窗口的中心和位置，得到迭代搜索后的搜索窗的中心；
根据迭代搜索后的搜索窗的中心进行CAMSHIFT搜索，最终跟踪得到运动目标。
与图1的方法相对应，本发明一种基于片上异构系统的运动目标识别与追踪系统，包括：图像采集模块，用于采集实时图像；预处理模块，用于对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；运动目标区域获取模块，用于根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；运动目标跟踪模块，用于采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
参照图2，本发明一种基于片上异构系统的运动目标识别与追踪系统，包括图像采集模块、数据处理器、存储器和显示器，所述图像采集模块的输出端与数据处理器的输入端连接，所述数据处理器的输出端与显示器的输入端连接，所述数据处理器还与存储器连接；所述图像采集模块用于采集图像，所述存储器用于存储数据处理器的处理结果，所述显示器用于显示数据处理器的处理结果；所述数据处理器采用嵌入式芯片Xilinx Zynq-7020，所述数据处理器用于执行以下程序：
从图像采集模块获取实时图像；
对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；
根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；
采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
参照图2，进一步作为优选的实施方式，所述数据处理器包括可编程部分、AXI接口和数据处理部分，所述可编程部分通过AXI接口与数据处理部分连接，所述可编程部分包括：
算法硬件加速IP核，用于对实时图像进行灰度化和边缘特征提取，并进行硬件加速，得到预处理后的实时图像；
视频图像传输模块，用于通过AXI接口与数据处理部分交换数据；
高清显示模块，用于将数据处理部分的处理结果输出至显示器；
所述数据处理部分包括：
运动目标识别追踪模块，用于根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域，进而采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标；
驱动程序模块，用于提供驱动程序，以驱动视频图像传输模块和算法硬件加速IP核。
参照图2，进一步作为优选的实施方式，所述存储器包括DDR存储器和SD卡，所述DDR存储器和SD卡均与数据处理部分连接。
背景技术中提到的运动目标识别跟踪方法和系统方案是基于Zynq-7010芯片的，其存在以下问题或缺陷：
(1)在Zynq-7010芯片的PS端(即数据处理部分，ARM)进行数据处理，未能充分利用Zynq-7010芯片的PL端(即可编程部分，FPGA)，实时性很难得到保障。
(2)只声明使用了zynq-7010芯片，但未给出具体的使用说明。
(3)通过背景差分法提取运动目标，但此方法容易受到光线变化的影响；而且其背景模型的更新是关键，不太适用于摄像头运动的情况。
为此，本实施例以软硬件协同设计的方法在Xilinx公司zynq-7020芯片上实现了实时的运动目标识别追踪系统。该系统既充分利用了FPGA强大的并行运算能力与丰富的逻辑资源，同时又结合了ARM在搭建操作系统与实现复杂算法方面的优势。
如图3所示，该系统主要分为以下几个模块：视频图像传输模块(VDMA)、算法硬件加速IP核、运动目标识别追踪模块、高清显示模块和驱动程序模块。
如图3所示，视频图像传输模块VDMA，算法硬件加速IP核(灰度化、边缘特征提取)以及高清显示模块HDMI是在FPGA(即PL部分)中实现的；而运动目标识别追踪模块以及驱动程序模块是在ARM(即PS部分)的Linux操作系统中完成的。
图3的系统主要模块的具体功能如下：
(1)视频图像传输模块VDMA的主要作用是作为PS部分和PL部分之间的数据传输通道，将图像数据传输到PL部分的算法硬件加速IP核里。
(2)算法硬件加速IP核主要由图像灰度化及边缘特征提取两部分内容组成，可进行硬件加速以提升计算性能。
(3)运动目标识别追踪模块主要采用背景差分法和帧间差分法相结合的方法得到运动目标区域，并通过不断迭代计算MeanShift向量，得到目标的真实位置，达到跟踪的目的。
(4)高清显示模块HDMI是将数据处理部分的处理结果(如己经被矩阵框标示出的行人)通过高清显示接口HDMI输出到显示器上。
(5)驱动程序模块主要负责完成Linux操作系统内核与算法硬件加速IP核的映射工作。本实施例在Linux操作系统中编写了视频图像传输模块VDMA和硬件加速IP核的驱动程序，使得ARM处理器中的软件程序可控制FPGA部分中的硬件IP核。
本实施例采用了Zynq-7020芯片，充分利用了FPGA高速的并行处理能力，对采集的视频图像进行处理，实时性可以得到保障。此外，本实施例还基于Zynq-7020芯片，将图像预处理、运动目标识别与追踪、视频显示、存储等功能集成到一个开发板上，可以很大程度上减小体积和降低功耗。
以运动目标为人体为例，基于图3的系统，本实施例提供了一种基于片上异构系统的实时人体运动追踪方法。该方法具体包括以下步骤：
S1、在Zynq-7020芯片的PL端通过摄像头实时采集实时图像。
S2、在Zynq-7020芯片的PL端对实时图像进行预处理。
在本实施例中，预处理会在Zynq-7020芯片的PL端搭建灰度化模块以及边缘特征提取模块，并对其进行硬件加速；具体实现过程如下：
(1)对实时图像进行灰度化的具体方法是将图像格式转化为YCbCr格式，将Y分量提取出来。YCbCr格式中的Y分量表示的是图像的亮度和浓度，所以只输出Y分量，得到的图像就是灰度图像了。
YCBCr是通过有序的三元组来表示的，三元由Y(Luminance)、Cb(Chrominance-Blue)和Cr(Chrominance-Red)组成，其中Y表示颜色的明亮度和浓度，而Cb和Cr则分别表示颜色的蓝色浓度偏移量和红色浓度偏移量。人的肉眼对由YCbCr色彩空间编码的视频中的Y分量更敏感，而Cb和Cr的微小变化不会引起视觉上的不同，根据该原理，通过对Cb和Cr进行子采样来减小图像的数据量，使得图像对存储需求和传输带宽的要求大大降低，从而达到在完成图像压缩的同时也保证了视觉上几乎没有损失的效果，进而使得图像的传输速度更快，存储更加方便。本实施例要得到灰度图像，首先要将采集到的彩色图像转化为YCbCr格式图像。
公式(1)是标准的RGB888转换为YCbCr的算法公式，本发明可以直接把该算法公式移植到FPGA上，但是FPGA无法进行浮点运算，所以本实施例将公式(1)中整个式子等号的右端都先扩大256倍，然后再右移8位，这样就得到了FPGA擅长的乘法运算和加法运算了，即将公式(1)转化为如下的公式(2)：
(2)对运动目标进行边缘检测和定位的具体方法可以为：采用sobel边缘检测法，对运动目标所在区域(即运动目标区域)内每一像素点的灰度值进行卷积运算，得到其灰度值的梯度，并根据其灰度值的梯度找到图像目标的边缘处，从而得到运动目标的上下左右四个边缘的线性方程，并以此计算出运动目标所在区域的四个顶点；然后，将运动目标所在区域的四个顶点转化成极大矩形的四个顶点，得到运动目标的坐标信息，最后根据运动目标的坐标信息将目标像素子集从灰度化后的图像像素集合中提取出来，获得运动目标像素集合。
其中，Sobel算子可使用两个3×3大小的矩阵来对原图进行卷积运算以计算出两个方向的灰度差分(偏导)的估计值(一个水平方向、一个竖直方向)。假定A是原始灰度图像，Gx和Gy分别是其在横向及纵向的灰度偏导的近似值(即两个方向上对原图的模板卷积结果)，则其公式如(3)所示：
而图像中某一像素点的梯度大小G则由公式(4)计算得出：
然后，可用公式(5)计算出对应的梯度方向θ：
根据本领域的公知常识，G值大的地方，其灰度值变化快。可预先设定G值大于一特定数值的点就是图像的边缘点。θ的取值范围为0°到90°。其中，θ的值接近0°且G值大的点为图像的水平边缘；θ的值接近90°且G值大的点为图像的垂直边缘。故使用这个方法时可以很好的检测出图像的轮廓。
为了充分发挥FPGA并行处理的性能优势，本实施例使用并行流水线的设计思想将Sobel算子的实现(即计算G的过程)划分为五个步骤，加流水线后的计算可以将整个模块的计算提高5倍，具体过程如下：
1)计算原图像分别与sobel算子的模板(两个，横向和纵向)每行的乘积；
2)将1)的乘积分别与sobel算子的模板的每列对应相乘；
3)将2)相乘的结果相加，求得3*3模板运算后的Gx和Gy；
4)求Gx和Gy的平方和(需要消耗两个时钟，求平方一个，求和一个)；
5)求4)的平方和的平方根。
在这里可使用Xilinx shift_RAM来实现上述的配置。
S3、在Zynq-7020芯片的PS端搭建Linux操作系统，安装好驱动，将OPENCV库及QT库移植到Zynq-7020芯片的PS端。
S4、在Zynq-7020芯片PS端搭建的Linux系统中，通过PL端的VDMA模块将预处理后的视频传输到PS端，从预处理后的视频中选取视频初始帧(只包含背景像素的图像)，并对其建立背景模型，得到初始背景图像。本实施例设初始背景图像为Bn(x,y)。
S5、从预处理后的视频中选取当前帧帧图像Ik(x,y)，将其与建立的背景模型之间作差分运算D(x,y)＝|Ik(x,y)-Bn(x,y)|。从差分运算后的图像D(x,y)中能得到完整的运动目标。
S6、从预处理后的视频中选取与Ik(x,y)相邻的前一帧图像Ik-1(x,y)，并通过计算当前帧与前一帧图像之间的差值Dx(x,y)＝|Ik(x,y)-Ik-1(x,y)|，得到目标的变化部分，然后将非目标部分更新到背景图像Bn(x,y)模型中。
S7、根据背景差分法得到的差值D(x,y)和帧间差分法得到的帧间差Dx(x,y)的交集，得到一个前景目标所运动的区域的基本轮廓。
S8、对于背景图像的实时变化的情况，可用均值法求取变化后的背景，再重复步骤S5～S7，直到检测到变化后的目标。均值法通过用运动目标运行一段时间的序列图像进行平均而得到背景图像，其中，imagei(x,y)为第i帧的序列图像在像素点(x,y)的亮度值，i＝1,2……N；N为帧数。
S9、由于确定了运动目标所在的区域，所以在用CAMSHIFT算法进行跟踪是无需手动选取目标的，只需将检测的目标所在区域(即目标区域)作为初始搜索窗口，然后通过反向投影建立颜色概率分布图(即反向投影图)。反向投影需要先将视频(即目标区域图像)中的所有帧图像从RGB色彩空间转换到HSV色彩空间。HSV色彩空间有3个颜色系数，色调H：用角度衡量，取值范围为0°～360°，从红色为起始点按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°；饱和度为S：取值范围为0.0～1.0；亮度V：取值范围为0(黑色)～1.0(白色)。转换后再对H分量作直方图统计，由此得到不同H分量出现的概率，通过直方图可查找大小为h(给定的H分量值)的概率，最后可得到一个颜色概率的查找表，再将图中的每个像素的值替换成其对应的颜色概率，最终会得到颜色概率分布图，它是一个灰度图像。
S10、在反向投影图中利用Meanshift算法进行迭代搜索，通过选取相似系数来在相邻两帧图像中找到最大的匹配区域，将搜索窗的中心移动到搜索结果的质心位置，并自适应调整搜索窗口的大小，其算法步骤如下所示：
1)在已经得到的颜色的颜色概率分布图中选取初始搜索窗S。
2)计算搜索窗的零阶矩M00,一阶矩M10，M01。
3)计算搜索窗的质心位置：Xc＝M10/M00，Yc＝M01/M00。
4)调整搜索窗的大小：宽度调整为
5)将搜索窗的中心移动到3)求得的质心点的位置，选定固定的阈值T，如果搜索窗移动的距离大于T，则重新返回步骤3)计算调整后的窗口质心位置，直至搜索窗的中心和质心的距离小于T或到达预设的迭代次数时结束。
S11、Zynq-7020芯片的PS端将得到的当前帧搜索窗的中心和大小作为下一帧CAMSHIFT搜索窗的起点，经过反复迭代，最终跟踪到运动目标。本实施例的运动目标跟踪算法流程图如图4所示。
S12、Zynq-7020芯片的PS端将最终跟踪的结果通过VDMA模块连接的HDMI接口传输到Zynq-7020芯片的PL端，通过PL端连接的显示器显示最终跟踪的结果。同时Zynq-7020芯片的PS端还可以将最终跟踪的结果输出至DDR存储器或SD卡进行存储。

Claims (10)

1.一种基于片上异构系统的运动目标识别与追踪方法，其特征在于：包括以下步骤：
采集实时图像；
对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；
根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；
采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
2.根据权利要求1所述的一种基于片上异构系统的运动目标识别与追踪方法，其特征在于：所述对实时图像进行预处理，得到预处理后的实时图像这一步骤，具体包括：
对实时图像进行灰度化，得到灰度化后的实时图像；
采用基于并行机制的sobel边缘检测法对灰度化后的实时图像进行边缘特征提取，得到预处理后的实时图像。
3.根据权利要求2所述的一种基于片上异构系统的运动目标识别与追踪方法，其特征在于：所述对实时图像进行灰度化，得到灰度化后的实时图像这一步骤，具体为：
将实时图像由RGB空间转换到YCbCr空间，得到灰度化后的实时图像，所述将实时图像由RGB空间转换到YCbCr空间时采用的转换公式为：
Y＝((77*R+150*G+29*B)>>8)
Cb＝((-43*R-85*G+128*B)>>8)+128
Cr＝((128*R-107*G-21*B)>>8)+128
其中，R、G和B分别为实时图像在RGB空间的红色、绿色和蓝色分量，Y、Cb和Cr分别为实时图像在YCbCr空间的Y分量、蓝色浓度分量和红色浓度分量，Y分量表示颜色的明亮度和浓度，>>为右移符号。
4.根据权利要求2所述的一种基于片上异构系统的运动目标识别与追踪方法，其特征在于：所述采用基于并行机制的sobel边缘检测法对灰度化后的实时图像进行边缘特征提取，得到预处理后的实时图像这一步骤，具体包括：
将灰度化后的实时图像与sobel算子的模板每一行相乘，得到第一乘积；
将第一乘积与sobel算子的模板的每一列对应相乘，得到第二乘积；
将第二乘积的各相乘结果相加，得到实时图像像素点的横向灰度偏导分量和纵向灰度偏导分量；
计算得到的横向灰度偏导分量和纵向灰度偏导分量的平方和；
对计算的平方和进行平方根运算，得到实时图像像素点的梯度；
根据像素点的梯度提取出实时图像目标的边缘特征。
5.根据权利要求1所述的一种基于片上异构系统的运动目标识别与追踪方法，其特征在于：所述根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域这一步骤，具体包括：
根据预处理后的实时图像得到背景图像、当前帧图像和当前帧图像的前一帧图像；
将当前帧图像与背景图像进行差分运算，得到第一差分图像；
将当前帧图像与当前帧图像的前一帧图像进行差分运算，得到第二差分图像；
根据第一差分图像与第二差分图像，得到运动目标区域。
6.根据权利要求1所述的一种基于片上异构系统的运动目标识别与追踪方法，其特征在于：所述采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标这一步骤，具体包括：
根据运动目标区域确定初始搜索窗口；
通过反向投影建立运动目标区域的颜色概率分布图；
根据初始搜索窗口在运动目标区域的颜色概率分布图中采用Meanshift算法进行迭代搜索，更新搜索窗口的中心和位置，得到迭代搜索后的搜索窗的中心；
根据迭代搜索后的搜索窗的中心进行CAMSHIFT搜索，最终跟踪得到运动目标。
7.一种基于片上异构系统的运动目标识别与追踪系统，其特征在于：包括：
图像采集模块，用于采集实时图像；
预处理模块，用于对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；
运动目标区域获取模块，用于根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；
运动目标跟踪模块，用于采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
8.一种基于片上异构系统的运动目标识别与追踪系统，其特征在于：包括图像采集模块、数据处理器、存储器和显示器，所述图像采集模块的输出端与数据处理器的输入端连接，所述数据处理器的输出端与显示器的输入端连接，所述数据处理器还与存储器连接；所述图像采集模块用于采集图像，所述存储器用于存储数据处理器的处理结果，所述显示器用于显示数据处理器的处理结果；所述数据处理器采用嵌入式芯片Xilinx Zynq-7020，所述数据处理器用于执行以下程序：
从图像采集模块获取实时图像；
对实时图像进行预处理，得到预处理后的实时图像，其中，预处理包括灰度化和边缘特征提取；
根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域；
采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标。
9.根据权利要求8所述的一种基于片上异构系统的运动目标识别与追踪系统，其特征在于：所述数据处理器包括可编程部分、AXI接口和数据处理部分，所述可编程部分通过AXI接口与数据处理部分连接，所述可编程部分包括：
算法硬件加速IP核，用于对实时图像进行灰度化和边缘特征提取，并进行硬件加速，得到预处理后的实时图像；
视频图像传输模块，用于通过AXI接口与数据处理部分交换数据；
高清显示模块，用于将数据处理部分的处理结果输出至显示器；
所述数据处理部分包括：
运动目标识别追踪模块，用于根据预处理后的实时图像，采用背景差分法和帧间差分法相结合的方法得到运动目标区域，进而采用CAMSHIFT算法对运动目标区域进行跟踪，最终跟踪得到运动目标；
驱动程序模块，用于提供驱动程序，以驱动视频图像传输模块和算法硬件加速IP核。
10.根据权利要求9所述的一种基于片上异构系统的运动目标识别与追踪系统，其特征在于：所述存储器包括DDR存储器和SD卡，所述DDR存储器和SD卡均与数据处理部分连接。
CN201810980774.3A 2018-08-27 2018-08-27 一种基于片上异构系统的运动目标识别与追踪方法及系统 Pending CN109389617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810980774.3A CN109389617A (zh) 2018-08-27 2018-08-27 一种基于片上异构系统的运动目标识别与追踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810980774.3A CN109389617A (zh) 2018-08-27 2018-08-27 一种基于片上异构系统的运动目标识别与追踪方法及系统

Publications (1)

Publication Number Publication Date
CN109389617A true CN109389617A (zh) 2019-02-26

Family

ID=65418372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810980774.3A Pending CN109389617A (zh) 2018-08-27 2018-08-27 一种基于片上异构系统的运动目标识别与追踪方法及系统

Country Status (1)

Country Link
CN (1) CN109389617A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738689A (zh) * 2019-10-22 2020-01-31 武汉工程大学 一种小车自动跟随和躲避目标的方法、系统及装置
CN110995960A (zh) * 2019-10-18 2020-04-10 凯迈（洛阳）测控有限公司 一种基于fpga的机载吊舱实时图像场景锁定装置及方法
CN111179316A (zh) * 2020-02-24 2020-05-19 岭南师范学院 一种工业生产线动态目标跟踪系统
CN112700467A (zh) * 2019-10-22 2021-04-23 株洲中车时代电气股份有限公司 一种基于运动轨迹的人物跟踪方法及系统
CN112991382A (zh) * 2019-12-02 2021-06-18 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN113470055A (zh) * 2021-07-16 2021-10-01 南京信息工程大学 一种基于fpga加速的图像融合处理方法
CN113925509A (zh) * 2021-09-09 2022-01-14 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184378A (zh) * 2011-04-27 2011-09-14 茂名职业技术学院 一种pdf417标准二维条码图像切割的办法
CN103927526A (zh) * 2014-04-30 2014-07-16 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
CN104331910A (zh) * 2014-11-24 2015-02-04 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
US20160371820A1 (en) * 2015-06-17 2016-12-22 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
US20170347030A1 (en) * 2015-02-16 2017-11-30 Applications Solutions (Electronic and Vision) Ltd Method and device for stabilization of a surround view image
CN107705322A (zh) * 2017-09-27 2018-02-16 中北大学 运动目标识别跟踪方法和系统
CN108198205A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 一种基于Vibe和Camshift算法的目标跟踪方法
CN108334824A (zh) * 2018-01-19 2018-07-27 国网电力科学研究院武汉南瑞有限责任公司 基于背景差分和迭代搜索的高压隔离开关状态识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184378A (zh) * 2011-04-27 2011-09-14 茂名职业技术学院 一种pdf417标准二维条码图像切割的办法
CN103927526A (zh) * 2014-04-30 2014-07-16 长安大学 一种基于高斯差分多尺度边缘融合的车辆检测方法
CN104331910A (zh) * 2014-11-24 2015-02-04 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
US20170347030A1 (en) * 2015-02-16 2017-11-30 Applications Solutions (Electronic and Vision) Ltd Method and device for stabilization of a surround view image
US20160371820A1 (en) * 2015-06-17 2016-12-22 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for estimating blur
CN107705322A (zh) * 2017-09-27 2018-02-16 中北大学 运动目标识别跟踪方法和系统
CN108198205A (zh) * 2017-12-22 2018-06-22 湖南源信光电科技股份有限公司 一种基于Vibe和Camshift算法的目标跟踪方法
CN108334824A (zh) * 2018-01-19 2018-07-27 国网电力科学研究院武汉南瑞有限责任公司 基于背景差分和迭代搜索的高压隔离开关状态识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴厚航: "《深入浅出玩转FPGA（第2版）》", 1 July 2013 *
张春林;李小坚: "基于帧间差分和背景差分结合的Camshift目标跟踪算法", 《工业控制计算机》 *
毕盛 等: "《嵌入式系统原理及设计》", 1 January 2018 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995960A (zh) * 2019-10-18 2020-04-10 凯迈（洛阳）测控有限公司 一种基于fpga的机载吊舱实时图像场景锁定装置及方法
CN110738689A (zh) * 2019-10-22 2020-01-31 武汉工程大学 一种小车自动跟随和躲避目标的方法、系统及装置
CN112700467A (zh) * 2019-10-22 2021-04-23 株洲中车时代电气股份有限公司 一种基于运动轨迹的人物跟踪方法及系统
CN110738689B (zh) * 2019-10-22 2024-01-26 武汉工程大学 一种小车自动跟随和躲避目标的方法、系统及装置
CN112991382A (zh) * 2019-12-02 2021-06-18 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN112991382B (zh) * 2019-12-02 2024-04-09 中国科学院国家空间科学中心 一种基于pynq框架的异构视觉目标跟踪系统及方法
CN111179316A (zh) * 2020-02-24 2020-05-19 岭南师范学院 一种工业生产线动态目标跟踪系统
CN113470055A (zh) * 2021-07-16 2021-10-01 南京信息工程大学 一种基于fpga加速的图像融合处理方法
CN113925509A (zh) * 2021-09-09 2022-01-14 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置
CN113925509B (zh) * 2021-09-09 2024-01-23 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置

Similar Documents

Publication Publication Date Title
CN109389617A (zh) 一种基于片上异构系统的运动目标识别与追踪方法及系统
US8620026B2 (en) Video-based detection of multiple object types under varying poses
Yang et al. A multi-task Faster R-CNN method for 3D vehicle detection based on a single image
CN111539273A (zh) 一种交通视频背景建模方法及系统
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
JP2016500975A (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
CN111681177B (zh) 视频处理方法及装置、计算机可读存储介质、电子设备
CN107657629A (zh) 一种目标的跟踪方法和跟踪系统
WO2023082784A1 (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN108830869A (zh) 基于超像素的遥感图像并行分割方法
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN112288628A (zh) 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统
CN116740261B (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
CN111899278A (zh) 基于移动端的无人机图像快速目标跟踪方法
CN111738964A (zh) 一种基于建模的图像数据增强的方法
CN106980371B (zh) 一种基于临近异构分布式结构的移动增强现实交互方法
Wu et al. Parallelism optimized architecture on FPGA for real-time traffic light detection
CN104239854B (zh) 一种基于区域稀疏积分通道的行人特征提取和表示方法
CN110322479B (zh) 一种基于时空显著性的双核kcf目标跟踪方法
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
Zhu et al. Multi-feature fusion algorithm in VR panoramic image detail enhancement processing
Li et al. Small Target Detection Model in Aerial Images Based on YOLOv7X+
CN114998390A (zh) 一种面向嵌入式智能摄像机的视觉分析系统与方法
Liu et al. Real-Time Shadow Detection from Live Outdoor Videos for Augmented Reality
Fukui et al. GPU based extraction of moving objects without shadows under intensity changes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226