CN110555377B - 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 - Google Patents

一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 Download PDF

Info

Publication number
CN110555377B
CN110555377B CN201910685541.5A CN201910685541A CN110555377B CN 110555377 B CN110555377 B CN 110555377B CN 201910685541 A CN201910685541 A CN 201910685541A CN 110555377 B CN110555377 B CN 110555377B
Authority
CN
China
Prior art keywords
pedestrian
detection
head
frame
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910685541.5A
Other languages
English (en)
Other versions
CN110555377A (zh
Inventor
谢龙汉
杨烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910685541.5A priority Critical patent/CN110555377B/zh
Publication of CN110555377A publication Critical patent/CN110555377A/zh
Application granted granted Critical
Publication of CN110555377B publication Critical patent/CN110555377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/047—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提出了一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法。用基于鱼眼相机俯视拍摄的行人头部检测数据集训练深度卷积神经网络；对视频图像中的行人头部进行检测，为首次检测到的行人头部创建卡尔曼滤波跟踪器。计算行人头部边框中心点即检测点的坐标；用跟踪器预测该帧图像中的检测点，生成预测点。根据各个检测点和预测点得出距离矩阵；然后根据距离矩阵使用匈牙利算法将行人头部边框和跟踪器进行匹配。如果行人头部边框匹配到跟踪器，则修正对应的跟踪点并更新该跟踪器；否则，为该行人头部边框创建新的跟踪器。重复上述过程实现行人检测和跟踪。本发明能实现单个相机对整个室内空间的无死角监控，实现行人头部检测和稳定地进行行人跟踪。

Description

一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
技术领域
本发明主要涉及视频图像中的行人检测领域，具体而言，是一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法。
背景技术
近年来，随着信息产业的飞速发展和计算机性能的不断提高，利用计算机来检测视频图像中的行人信息已经是智能视频监控系统发展的主要任务。随着监控范围的不断扩大，普通摄像机已经不能满足使用需求，由于鱼眼相机的视角范围比较大，可以达到180°甚至超过180°，其监控范围远大于普通相机，因此使用鱼眼相机进行对象检测可以减少相机的数目，节约监控成本。然而鱼眼相机所拍摄图片中的对象存在较大的畸变，使得行人检测比较困难；另外为了实现大范围的监控，将鱼眼相机安装在监控区域的中心的顶部，俯视拍摄也增加了行人检测的难度。现有的行人检测方法大致可以分为三类：(1)基于背景建模的方法，(2)基于统计学的方法，(3)基于深度学习的方法。背景建模的方法容易受天气、光照等因素的影响，鲁棒性不好，抗干扰能力较差。基于机器学习的方法在行人检测任务中取得了比较好的效果，然而这类方法的鲁棒性不好，很容易受到光照强度和背景等因素的干扰。基于深度学的方法在普通相机行人检测中取得了比较好的效果，是研究的热点，然而鱼眼相机俯视拍摄的状态下行人的在不同位置的姿态差别很大，因此这些基于普通相机行人检测的方法不能直接适用于鱼眼相机俯视拍摄的情况。
目前关于行人检测和对象识别的研究比较多，但是大部分的研究都是基于普通相机水平拍摄或者倾斜拍摄的行人检测，基于鱼眼相机俯视拍摄的行人检测研究非常少。哈尔滨工程大学汪冲的硕士论文《运动目标检测与跟踪在鱼眼相机图像中的应用》中虽然涉及到基于鱼眼相机的对象检测与跟踪，但是所采用的是背景差分与高斯模型相结合的运动目标检测方法来进行目标检测，这种单纯靠运动检测的方法对象检测方法鲁棒性不高，抗干扰能力较差；另外他采用的是基于对象面积和质心等几何特性来进行对象的跟踪，当出现遮挡时，很容易出现跟踪失败的情况。到目前为止，还没出现效果良好的基于鱼眼相机俯视拍摄的行人检测与跟踪方法。
发明内容
为了解决以上技术问题，本发明针对鱼眼相机俯视拍摄场景，提出了一种识别准确度高，抗干扰能力强的行人检测与跟踪方法。该方法将深度神经网络和卡尔曼滤波相结合，实现了鱼眼视频中行人的实时检测与跟踪。
本发明的目的至少通过如下技术方案之一实现。
一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，包括以下步骤：
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测，然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器；
S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波跟踪器预测的跟踪点计算距离矩阵；
S3、根据距离矩阵，使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波跟踪器进行匹配；
S4、如果检测到的行人头部边框匹配到了卡尔曼滤波跟踪器，则根据该边框中心点对该卡尔曼滤波跟踪器预测的跟踪点进行修正，如果没有匹配到卡尔曼滤波跟踪器，则直接为其创建一个新的卡尔曼滤波跟踪器；
S5、逐帧读取视频图像，不断重复S2至S4的过程，从而实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。
进一步地，步骤S1具体包括以下步骤：
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频，然后从视频中截取样本图像，并用方框手动标注出每张图像中出现的行人的头部，同时将标注框的左上角和右下角坐标写入到标注文件中，完成数据集的制作。此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失，从而根据损失值优化网络参数，实现对行人头部边框的回归；
S1.2、基于单次检测器(Single Shot Detector,SSD)构建一个用于行人头部检测的深度神经网络即头部检测器，其特征提取部分使用VGG-16，该头部检测器的网络结构和损失函数与SSD框架相同，然后使用Pascal VOC数据集对头部检测器进行预训练；
S1.3、使用S1.1中制作的鱼眼相机俯视场景下行人头部检测数据集来对预训练后的头部检测器进行微调训练。在微调训练过程中，头部检测器的网络结构和损失函数与预训练过程相同，首先加载预训练得到的网络参数，然后采用批量梯度下降的方式进行训练，获得训练好的头部检测器；
S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像，用训练好的头部检测器其进行行人头部检测，获得图像中的行人头部边框，并为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器。
进一步地，步骤S2具体包括以下步骤：
S2.1、计算每个检测到的行人头部边框的中心点坐标，该中心点为检测点；
S2.2、根据已创建的卡尔曼滤波跟踪器，通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标，该跟踪点为预测点；
S2.3、分别计算当前帧各个检测点和各个预测点的距离，并根据这些距离构造检测点和预测点的距离矩阵D,矩阵D的每一列表示一个检测点和每个预测点的距离，矩阵D的每一行表示一个预测点和每个检测点的距离。
进一步地，步骤S4具体包括以下步骤：
S4.1如果检测点与某个卡尔曼滤波跟踪器匹配成功，则根据该检测点，通过卡尔曼滤波算法的修正过程对该卡尔曼滤波跟踪器预测的当前帧跟踪点进行修正；
S4.2完成修正过程之后，对误差协方差矩阵进行更新；
S4.3如果检测到的行人头部边框没有匹配到卡尔曼滤波跟踪器，则认为该边框对应的行人头部是首次检测到的，并为该行人头部创建一个新的卡尔曼滤波跟踪器。
进一步地，卡尔曼滤波跟踪算法的预测过程如下：
Figure BDA0002146186060000031
P′k＝APk-1AT+Q (2)
其中，k为当前帧的编号k＝1，...，J，J为最后一帧的编号，xk-1和Pk-1分别为前一帧的跟踪点坐标和误差协方差矩阵，
Figure BDA0002146186060000032
和P′k分别为预测的当前帧的跟踪点坐标和误差协方差矩阵，A为状态转移矩阵，Q为过程噪声的协方差矩阵，由于卡尔曼滤波算法中假设过程噪声为白噪声，因此过程噪声的协方差矩阵/>
Figure BDA0002146186060000033
状态转移矩阵以及跟踪点坐标和误差协方差矩阵的初始值需要根据实验过程的实际跟踪效果来确定；AT中的T表示矩阵转置。
进一步地，卡尔曼滤波算法的修正过程如下：
Kk＝P′kHT(HP′kHT+R)-1 (3)
Figure BDA0002146186060000034
其中，
Figure BDA0002146186060000035
为修正后的当前跟踪点的坐标；Kk为当前帧的卡尔曼增益；H为观测矩阵；R为测量噪声的协方差矩阵；Zk为当前帧的检测点坐标，由于卡尔曼滤波算法中假设测量噪声为白噪声，因此测量噪声的协方差矩阵/>
Figure BDA0002146186060000036
在行人跟踪过程中的状态xk和观测值Zk都表示的是同一个量，即当前帧中行人的跟踪点的像素坐标，因此观测矩阵取值为
Figure BDA0002146186060000037
进一步地，根据Pk＝(I-HKk)P′k对误差协方差矩阵进行更新。
与现有技术相比，本发明的优点和效果在于：
由于多相机之间的对象匹配非常复杂，本发明使用单个视角为180°的鱼眼相机实现了整个空间内的无死角监控，避免了使用多个相机时的跨相机对象匹配问题。本发明专门针对鱼眼相机俯视拍摄制作了行人头部检测数据集，并通过迁移学习的方式实现了使用深度神经网络来进行鱼眼相机俯视拍摄场景下的行人检测，与传统的鱼眼相机对象检测方法相比，本发明的行人检测方法能克服光照强度变化和复杂背景的干扰，具有良好的稳定性和鲁棒性。而且本文采用头部检测来代替全身检测，能克服遮挡问题对对象检测的影响。另外本文将卡尔曼滤波算法和深度卷积神经网络相结合，提高行人跟踪方法的稳定性。
附图说明
图1为一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法的流程图。
图2为鱼眼相机俯视拍摄场景下行人头部检测的效果示意图。
具体实施方式
下面将结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此。
实施例：
一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，如图1所示，包括以下步骤：
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测，然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器，具体包括以下步骤：
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频，然后从视频中截取样本图像，并用方框手动标注出每张图像中出现的行人的头部，同时将标注框的左上角和右下角坐标写入到标注文件中，完成数据集的制作。此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失，从而根据损失值优化网络参数，实现对行人头部边框的回归；
S1.2、从第三方库GluonCV的Model Zoo中加载基于VGG-16的SSD模型ssd_512_vgg16_atrous_voc作为检测器，并加载在PascalVOC数据集上训练好的网络参数作为预训练参数；
S1.3、使用S1.1中制作的基于鱼眼相机俯视拍摄的行人头部检测数据集来对加载了预训练参数的检测器进行微调训练，获得训练好的头部检测器。此处微调训练采用批量梯度下降的方式训练头部检测器，批量大小设置为16，学习率设置为0.0005，训练次数设置为500epochs；
S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像，用训练好的头部检测器其进行行人头部检测，从而获得图像中的行人头部边框，如图2所示，并为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器。
S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波跟踪器预测的跟踪点计算距离矩阵，具体包括以下步骤：
S2.1、计算每个检测到的行人头部边框的中心点坐标，该中心点为检测点；
S2.2、根据已创建的卡尔曼滤波跟踪器，通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标，该跟踪点为预测点，卡尔曼滤波跟踪算法的预测过程，如下：
Figure BDA0002146186060000041
P′k＝APk-1AT+Q (2)
其中，k为当前帧的编号k＝1，...，J，J为最后一帧的编号，xk-1和Pk-1分别为前一帧的跟踪点坐标和误差协方差矩阵，
Figure BDA0002146186060000042
和P′k分别为预测的当前帧的跟踪点坐标和误差协方差矩阵，A为状态转移矩阵，Q为过程噪声的协方差矩阵，由于卡尔曼滤波算法中假设过程噪声为白噪声，因此过程噪声的协方差矩阵/>
Figure BDA0002146186060000043
状态转移矩阵以及跟踪点坐标和误差协方差矩阵的初始值需要根据实验过程的实际跟踪效果来确定，本实施例中，跟踪点坐标和误差协方差矩阵的初始值设为/>
Figure BDA0002146186060000044
状态转移矩阵设置为
Figure BDA0002146186060000045
S2.3、分别计算当前帧各个检测点和各个预测点的距离，并根据这些距离构造检测点和预测点的距离矩阵D，矩阵D的每一列表示一个检测点和每个预测点的距离，矩阵D的每一行表示一个预测点和每个检测点的距离。
S3、根据距离矩阵，使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波跟踪器进行匹配；
S3.1、以求得的距离矩阵D为输入参数，调用开源库Scipy中的linear_sum_assignment函数来实现检测器得到的检测点与跟踪器得到的预测点进行匹配；
S3.2、然后根据检测点和预测点之间的匹配关系，将检测点对应的行人头部边框和预测点对应的卡尔曼滤波跟踪器进行匹配。
S4、如果检测到的行人头部边框匹配到了卡尔曼滤波跟踪器，则根据该边框中心点对该卡尔曼滤波跟踪器预测的跟踪点进行修正，如果没有匹配到卡尔曼滤波跟踪器，则直接为其创建一个新的卡尔曼滤波跟踪器，具体包括以下步骤：
S4.1、如果检测点与某个卡尔曼滤波跟踪器匹配成功，则根据该检测点，通过卡尔曼滤波算法的修正过程对该卡尔曼滤波跟踪器预测的当前帧跟踪点进行修正；卡尔曼滤波算法的修正过程如下：
Kk＝P′kHT(HP′kHT+R)-1 (3)
Figure BDA0002146186060000051
其中，
Figure BDA0002146186060000052
为修正后的当前跟踪点的坐标；Kk为当前帧的卡尔曼增益；H为观测矩阵，R为测量噪声的协方差矩阵，Zk为当前帧的检测点坐标；由于卡尔曼滤波算法中假设测量噪声为白噪声，因此测量噪声的协方差矩阵/>
Figure BDA0002146186060000053
在行人跟踪过程中的状态xk和观测值Zk都表示的是同一个量，即当前帧中行人的跟踪点的像素坐标，因此观测矩阵取值为
Figure BDA0002146186060000054
S4.2、完成修正过程之后，根据Pk＝(I-HKk)P′k对误差协方差矩阵进行更新；
S4.3、如果检测到的行人头部边框没有匹配到卡尔曼滤波跟踪器，则认为该边框对应的行人头部是首次检测到的，并为该行人头部创建一个新的卡尔曼滤波跟踪器。
S5、逐帧读取鱼眼相机俯视拍摄的视频图像，不断重复S2至S4的过程，实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。

Claims (6)

1.一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，包括以下步骤：
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，使用训练好的行人头部检测深度神经网络对视频中的行人头部进行检测，然后分别为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器；具体包括以下步骤：
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频，然后从视频中截取样本图像，并用方框手动标注出每张图像中出现的行人的头部，同时将标注框的左上角和右下角坐标写入到标注文件中，完成数据集的制作，此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失，从而根据损失值优化网络参数，实现对行人头部边框的回归；
S1.2、基于单次检测器构建一个用于行人头部检测的深度神经网络即头部检测器，其特征提取部分使用VGG-16，该头部检测器的网络结构和损失函数与单次检测器的框架相同，然后使用PascalVOC数据集对头部检测器进行预训练；
S1.3、使用S1.1中制作的鱼眼相机俯视场景下行人头部检测数据集来对预训练后的头部检测器进行微调训练；在微调训练过程中，头部检测器的网络结构和损失函数与预训练过程相同，首先加载预训练得到的网络参数，然后采用批量梯度下降的方式进行训练，获得训练好的头部检测器；
S1.4、对于任意一帧读入的鱼眼相机采集到的视频图像，用训练好的头部检测器其进行行人头部检测，从而获得各个行人头部的边框，并为每个首次检测到的行人头部创建一个卡尔曼滤波跟踪器；
S2、根据训练好的行人头部检测深度神经网络检测到的行人头部边框的中心点和卡尔曼滤波跟踪器预测的跟踪点计算距离矩阵；
S3、根据距离矩阵，使用匈牙利算法将检测到的行人头部边框和各个卡尔曼滤波跟踪器进行匹配；
S4、如果检测到的行人头部边框匹配到了卡尔曼滤波跟踪器，则根据该边框中心点对该卡尔曼滤波跟踪器预测的跟踪点进行修正，如果没有匹配到卡尔曼滤波跟踪器，则直接为其创建一个新的卡尔曼滤波跟踪器；
S5、逐帧读取视频图像，不断重复S2至S4的过程，从而实现鱼眼相机俯视拍摄场景下行人的实时检测与跟踪。
2.根据权利要求1所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，所述步骤S2具体包括：
S2.1、计算每个检测到的行人头部边框的中心点坐标，该中心点为检测点；
S2.2、根据已创建的卡尔曼滤波跟踪器，通过卡尔曼滤波跟踪算法的预测过程来预测当前帧的跟踪点坐标，该跟踪点为预测点；
S2.3、分别计算当前帧各个检测点和各个预测点的距离，并根据这些距离构造检测点和预测点的距离矩阵D,矩阵D的每一列表示一个检测点和每个预测点的距离，矩阵D的每一行表示一个预测点和每个检测点的距离。
3.根据权利要求1所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，所述步骤S4具体包括：
S4.1、如果检测点与某个卡尔曼滤波跟踪器匹配成功，则根据该检测点，通过卡尔曼滤波算法的修正过程对该卡尔曼滤波跟踪器预测的当前帧跟踪点进行修正；
S4.2、完成修正过程之后，对误差协方差矩阵进行更新；
S4.3、如果检测到的行人头部边框没有匹配到卡尔曼滤波跟踪器，则认为该边框对应的行人头部是首次检测到的对象，并为该行人头部创建一个新的卡尔曼滤波跟踪器。
4.根据权利要求2所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，卡尔曼滤波跟踪算法的预测过程如下：
Figure FDA0004153825730000021
P′k＝APk-1AT+Q (2)
其中，k为当前帧的编号k＝1,…,J，J为最后一帧的编号，xk-1和Pk-1分别为前一帧的跟踪点坐标和误差协方差矩阵，
Figure FDA0004153825730000022
和P′k分别为预测的当前帧的跟踪点坐标和误差协方差矩阵，A为状态转移矩阵，Q为过程噪声的协方差矩阵，由于卡尔曼滤波算法中假设过程噪声为白噪声，因此过程噪声的协方差矩阵/>
Figure FDA0004153825730000023
状态转移矩阵以及跟踪点坐标和误差协方差矩阵的初始值需要根据实验过程的实际跟踪效果来确定；AT中的T表示矩阵转置。
5.根据权利要求3所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，卡尔曼滤波算法的修正过程如下：
Kk＝P′kHT(HP′kHT+R)-1 (3)
Figure FDA0004153825730000024
其中，
Figure FDA0004153825730000025
为修正后的当前跟踪点的坐标；Kk为当前帧的卡尔曼增益；H为观测矩阵；R为测量噪声的协方差矩阵；Zk为当前帧的检测点坐标；由于卡尔曼滤波算法中假设测量噪声为白噪声，因此测量噪声的协方差矩阵/>
Figure FDA0004153825730000026
在行人跟踪过程中的状态xk和观测值Zk都表示的是同一个量，即当前帧中行人的跟踪点的像素坐标，因此观测矩阵取值为
Figure FDA0004153825730000027
6.根据权利要求3所述的一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法，其特征在于，根据Pk＝(I-HKk)P′k对误差协方差矩阵进行更新。
CN201910685541.5A 2019-07-27 2019-07-27 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法 Active CN110555377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910685541.5A CN110555377B (zh) 2019-07-27 2019-07-27 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910685541.5A CN110555377B (zh) 2019-07-27 2019-07-27 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN110555377A CN110555377A (zh) 2019-12-10
CN110555377B true CN110555377B (zh) 2023-06-23

Family

ID=68736547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910685541.5A Active CN110555377B (zh) 2019-07-27 2019-07-27 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN110555377B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166435A (zh) * 2019-12-23 2021-01-01 商汤国际私人有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111986231A (zh) * 2020-08-10 2020-11-24 深思考人工智能科技(上海)有限公司 一种多目标跟踪方法及系统
CN112215873A (zh) * 2020-08-27 2021-01-12 国网浙江省电力有限公司电力科学研究院 用于对变电站内多目标跟踪定位的方法
CN113158731A (zh) * 2020-12-31 2021-07-23 杭州拓深科技有限公司 一种俯卧撑计数方法、装置、电子装置和存储介质
CN112733677B (zh) * 2020-12-31 2021-11-30 桂林海威科技股份有限公司 一种人流量统计系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780542A (zh) * 2016-12-29 2017-05-31 北京理工大学 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法
CN107274439A (zh) * 2017-07-04 2017-10-20 西北工业大学 基于地基鱼眼相机阵列的无人机光学跟踪定位方法
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN108682023A (zh) * 2018-03-21 2018-10-19 南京理工大学 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法
CN108694386A (zh) * 2018-05-15 2018-10-23 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780542A (zh) * 2016-12-29 2017-05-31 北京理工大学 一种基于嵌入卡尔曼滤波器的Camshift的机器鱼跟踪方法
CN107274439A (zh) * 2017-07-04 2017-10-20 西北工业大学 基于地基鱼眼相机阵列的无人机光学跟踪定位方法
CN108682023A (zh) * 2018-03-21 2018-10-19 南京理工大学 基于Elman神经网络的紧耦合无迹卡尔曼跟踪滤波算法
CN108694386A (zh) * 2018-05-15 2018-10-23 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108638999A (zh) * 2018-05-16 2018-10-12 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN109919981A (zh) * 2019-03-11 2019-06-21 南京邮电大学 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于深度神经网络的实时多物体检测》;杨强;《中国优秀硕士论文全文库》;20190115;全文 *
一种邻帧匹配与卡尔曼滤波相结合的多目标跟踪算法;梅立雪等;《科学技术与工程》;20190528(第15期);全文 *

Also Published As

Publication number Publication date
CN110555377A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN110555377B (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US20150154450A1 (en) Optical Flow Tracking Method and Apparatus
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
CN106886748B (zh) 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN108647587B (zh) 人数统计方法、装置、终端及存储介质
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN110147708B (zh) 一种图像数据处理方法和相关装置
CN110991287A (zh) 一种实时视频流人脸检测跟踪方法及检测跟踪系统
CN111860352A (zh) 一种多镜头车辆轨迹全跟踪系统及方法
US20110304730A1 (en) Pan, tilt, and zoom camera and method for aiming ptz camera
EP3432575A1 (en) Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus
CN109978908B (zh) 一种适应大尺度形变的单目标快速跟踪定位方法
TWI496115B (zh) 移動攝影機之畫面穩定方法
CN115022549B (zh) 拍摄构图方法、装置、计算机设备和存储介质
CN110547803A (zh) 一种适用于鱼眼相机俯视拍摄的行人身高估计方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN114004891A (zh) 一种基于目标追踪的配网线路巡检方法及相关装置
US11790483B2 (en) Method, apparatus, and device for identifying human body and computer readable storage medium
CN112233020A (zh) 无人机图像拼接方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant