CN114782985A - 基于单目相机的行人跟踪与重识别方法 - Google Patents

基于单目相机的行人跟踪与重识别方法 Download PDF

Info

Publication number
CN114782985A
CN114782985A CN202210311785.9A CN202210311785A CN114782985A CN 114782985 A CN114782985 A CN 114782985A CN 202210311785 A CN202210311785 A CN 202210311785A CN 114782985 A CN114782985 A CN 114782985A
Authority
CN
China
Prior art keywords
pedestrian
sample set
tracking
information
monocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210311785.9A
Other languages
English (en)
Inventor
管贻生
叶汉京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210311785.9A priority Critical patent/CN114782985A/zh
Publication of CN114782985A publication Critical patent/CN114782985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了基于单目相机的行人跟踪与重识别方法，包括：S1：获取行人图像；对行人图像进行预处理；S2：行人图像输入预先训练好的目标检测模型中，得到行人检测信息Bk；S3：对重叠行人的包络框进行过滤，保存小于给定阈值的行人检测信息；S4：得到行人在相机坐标系下的z方向坐标值；S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息；S6：得到行人图像特征值；S7：利用行人图像特征值，构建样本集X；S8：设置分类器，利用样本集X在线训练分类器；分类器预测行人的得分，对行人进行重识别判定。本发明提出了基于单目相机的行人跟踪与重识别方法，实现给定距离的行人跟踪和行人重识别，使用分类器提高了行人重识别能力。

Description

基于单目相机的行人跟踪与重识别方法
技术领域
本发明涉及移动机器识别技术领域，特别是涉及一种基于单目相机的行人跟踪与重识别方法。
背景技术
近年来，机器人发展十分迅猛，移动机器人是其中发展较为成熟的一类，且已经在工业界有广泛的部署与应用，如安防、紧急救援、娱乐交互、公共场所引导、人机协作等等，行人跟踪是支撑上述应用的一项基础功能。使用单目视觉传感器完成行人跟踪，是一个低成本的、具有巨大应用前景的可行方案。
现有基于单目视觉的行人跟踪系统多为如下方案：1.图像空间实现目标检测与跟踪；2.需要标定单目相机与平面的相对位姿；3.利用视觉伺服完成行人跟踪。此类方案具有如下缺陷：1.无法基于给定距离实现行人跟踪；2.需要精确的测量单目相机与平面的相对位姿；3.若目标物丢失，则无法找回。
现有技术中心公开了一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法，本发明从高速公路隧道实际情况出发，针对高速公路隧道环境下行人目标相对较小且容易受到遮挡问题，采用目标检测跟踪的方法，利用K-means对Faster R-CNN网络的Anchor进行重新设计，使其候选框更适合隧道环境下的行人目标检测，其次将FasterR-CNN网络特征提取层的conv3层中的特征信息添到conv5层中，提高网络的特征提取能力；针对隧道环境下行人目标容易受到遮挡，采用卡尔曼滤波容易导致行人目标跟踪不能连续跟踪，将行人重识别网络引入，利用卡尔曼滤波和行人重识别网络进行行人目标的跟踪；但该发明目标重识别能力较为不足。
发明内容
本发明为克服以上至少一种技术问题，提供基于单目相机的行人跟踪与重识别方法，用于解决单目视觉的行人跟踪方案中无法实现给定距离的跟踪和难以重识别行人的问题。
为解决上述技术问题，本发明的技术方案如下：
基于单目相机的行人跟踪方法，包括以下步骤：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息Bk，行人检测信息Bk由若干个包络框构成；
其中，
Figure BDA0003568647960000021
N为k时刻下的检测到的行人数量，tl为包络框左上角位置的点，br为包络框右下角位置的点；
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δiou的行人检测信息；
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
上述方案中，所述目标检测模型为现有技术中YOLOX目标检测模型。
上述方案中，当行人之间重叠区域过大，检测得到的包络框尺寸具有较大误差，故此处采用了基于IoU(Intersection over Union)的筛选过滤机制。
上述方案中，所述卷积神经网络为现有技术中行人重识别卷积神经网络，利用离线训练好的行人重识别卷积神经网络(convolutional neural network,，CNN)进行全局特征提取，此处使用CNN的最后一层特征输出作为行人图像特征值，该行人图像特征值具有高级语义信息，具有尺度不变形和一定的外观不变形，具有良好的鲁棒性。
进一步的，步骤S1中，所述预处理包括归一化、尺寸缩放处理。
进一步的，步骤S3具体步骤为，对重叠行人的包络框使用IoU过滤机制进行过滤，保存IoU小于给定阈值δiou的行人检测信息Bk；
Figure BDA0003568647960000022
Figure BDA0003568647960000023
其中，c和qi为包络框，Q为包络框组成的集合。
进一步的，步骤S4中，宽度假设的行人距离估计算法：
假设包络框为(utl,vtl),(ubr,vbr)，对应相机坐标系下的坐标为
Figure BDA0003568647960000024
假设行人目标为一个圆柱体，位于单目相机的正前方，且已知行人目标真实宽度为r，得到
Figure BDA0003568647960000025
Figure BDA0003568647960000031
Figure BDA0003568647960000032
由公式(3)减去公式(4)，得到公式(5)；
Figure BDA0003568647960000033
其中，zc为行人在相机坐标系下的z方向坐标值，fx为单目相机x方向的内参。
上述方案中，假设行人位于单目相机的正前方。
进一步的，步骤S5中，所述观测信息为：
Figure BDA0003568647960000034
其中，包络框信息可推断出行人位于世界坐标系中的位置观测信息；
Figure BDA0003568647960000035
和
Figure BDA0003568647960000036
为机器人坐标系到相机坐标系的变换，
Figure BDA0003568647960000037
为世界坐标系到机器人坐标系的变换。
上述方案中，本发明使用观测信息，只有包络框的信息是需要测量的，可以在近距离观测下成功地获取行人的测量，而不需要行人全身的观测。
根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，具体为：根据卡尔曼滤波的运动与观测方程，得到k-1时刻的行人位置于k时刻的估计信息；基于欧氏距离的全局最近邻匹配GNN，将k时刻的观测信息与k时刻的估计信息相匹配，利用欧氏距离指标计算k时刻的观测信息与k时刻的估计信息的距离，距离最小则匹配成功，得到k时刻状态匹配的观测信息；结合k时刻状态匹配的观测信息和卡尔曼滤波器的更新，得到当前k时刻行人的位置信息。
所述卡尔曼滤波的运动表达式：
Figure BDA0003568647960000038
其中，状态转移矩阵A＝[10Δt0；010Δt；0010；0001]，噪声项ω为标准正态分布。
所述欧式距离指标，表达式如下：
Figure BDA0003568647960000041
其中，oi表示观测信息，yj表示卡尔曼滤波处理后的测量信息。
进一步的，在基于单目相机的行人跟踪方法的基础上提出了基于单目相机的行人重识别方法，其特征在于，包括：
S6：将步骤S1中预处理后的行人图像输入训练好的卷积神经网络进行全局特征提取，得到行人图像特征值；
S7：利用行人图像特征值，构建样本集X；
S8：设置Ridge Regression分类器，利用样本集X在线训练Ridge Regression分类器；分类器预测行人的得分，对行人进行重识别判定。
上述方案中，Ridge Regression分类器为一种基于正则化的分类器，该分类器的训练过程本质上是解决带有正则化项的最小二乘问题：
Figure BDA0003568647960000042
其中，X为训练集；w为分类器的参数；t为标签，由稳定的行人跟踪与识别得到；λ为正则化参数，带有正则化项的分类器可缓解由于重识别卷积神经网络训练集数量有限而造成的过度拟合问题。
进一步的，还包括S9：若机器人未进入重识别状态，则输出行人位置；否则，机器人继续对行人进行重识别判定。
进一步的，步骤S8中，训练分类器过程为：
构建样本集X和超长期样本集L，样本集X最大容量为Ns，包括最大容量为
Figure BDA0003568647960000043
的短期样本集Xst和最大容量为
Figure BDA0003568647960000044
的超长期样本集Xlt，Xst采用先进先出的方式进行更新；超长期样本集L，最大容量为4Ns，超长期样本集Xlt中的样本均来源于L；
Xlt的采样策略为，若
Figure BDA0003568647960000045
则从L中随机抽取
Figure BDA0003568647960000046
Figure BDA0003568647960000047
个样本至Xlt，其中num(·)为集合的数量；
给定最新样本集pk，超长期样本集L通过差异度判断最新样本集pk是否插入到L中，若pk差异度大于给定阈值δdiff，则插入最新样本集pk至超长期样本集L；
所述差异度判断为：
计算最新样本集pk与滑窗样本集的差异度sdiff,k，其中，滑窗样本集大小为Nw，属于超长期样本集L，
sdiff,k＝λheight·sheight,k+λaspectRatio·saspectRatio,k+λdist·sdist,k+λcosDist·scosDist,k
其中，λheight、λaspectRatio、λdist、λcosDist为加权参数；sheight,k为最新样本集包络框的高度与滑窗样本集平均包络框高度的差异度；saspectRatio,k为最新样本集包络框的宽高比与滑窗样本集平均宽高比的差异度；sdist,k为世界坐标系下的距离差异度；scosDist,k为全局特征的余弦距离平均值。
上述方案中，短期样本集Xst用以记录最新的样本，超长期样本集Xlt用以记录历史样本；通过上述构建和采样方式可提升超长期样本集的多样性，进而提高分类器的泛化能力；针对行人跟踪任务设计样本集构建策略，以行人的包络框、距离估计以及全局特征信息作为差异度衡量指标，将渐进式的长期样本采样作为抽样策略，并且融合了最新样本集。
上述方案中，最新样本集pk来自于机器人获取到的行人包络框信息、位置信息、特征值信息。
进一步的，步骤S8中，对行人进行重识别判定包括：若行人的得分小于给定阈值δswitch，或行人的id丢失，则判定行人丢失，进入重识别状态；当进入重识别状态时，所有的行人将作为候选者进行判别，若候选者的得分连续Nid帧大于给定阈值δid，则判定候选者为原行人，完成行人重识别的判定；其中，行人包含id信息。
进一步的，基于单目相机的行人跟踪与重识别系统，用于实现基于单目相机的行人跟踪与重识别方法，包括：图像预处理模块、行人跟踪模块、行人重识别模块、输出模块、运动控制模块，其中，
所述图像预处理模块用于对获取到的行人图像预处理，包括归一化、尺寸缩放处理；
所述行人跟踪模块用于根据观测信息，结合卡尔曼滤波器，对行人进行给定距离跟踪；
所述行人重识别模块用于判定行人状态，即判定行人丢失还是原行人；
所述输出模块用于输出行人位置信息，完成行人跟踪与重识别；
所述运动控制模块用于输出运动速度；即，给定跟踪距离与目标行人的位置，采用基于PID的速度控制方式使移动机器人输出合适的运动速度。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出了基于单目相机的行人跟踪与重识别方法，利用宽度假设的行人距离估计算法，实现给定距离的行人跟踪和行人重识别，实现移动机器人鲁棒的行人跟随。本发明使用分类器，即便在行人目标与人群高度相似的情况下也能够取得较好的行人目标重识别效果，提高了行人重识别能力。本发明构建样本集提高分类器的泛化能力，使得分类器能够在复杂变化的情况下依然正确识别行人目标。
附图说明
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
图1为本发明实施例提供的基于单目相机的行人跟踪方法的流程示意图；
图2为本发明实施例提供的基于单目相机的行人重识别方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都是本发明保护的范围。
实施例1
为了便于理解，请参阅图1，本申请提供的基于单目相机的行人跟踪与重识别方法的一个实施例，包括：
基于单目相机的行人跟踪方法，包括以下步骤：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息Bk，行人检测信息Bk由若干个包络框构成；
其中，
Figure BDA0003568647960000061
N为k时刻下的检测到的行人数量，tl为包络框左上角位置的点，br为包络框右下角位置的点；
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δiou的行人检测信息；
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
具体的，步骤S1中，所述预处理包括归一化、尺寸缩放处理。
具体的，步骤S3具体步骤为，对重叠行人的包络框使用IoU过滤机制进行过滤，保存IoU小于给定阈值δiou的行人检测信息Bk；
Figure BDA0003568647960000071
Figure BDA0003568647960000072
其中，c和qi为包络框，Q为包络框组成的集合。
具体的，步骤S4中，宽度假设的行人距离估计算法：
假设包络框为(utl,vtl),(ubr,vbr)，对应相机坐标系下的坐标为
Figure BDA0003568647960000073
假设行人目标为一个圆柱体，位于单目相机的正前方，且已知行人目标真实宽度为r，得到
Figure BDA0003568647960000074
Figure BDA0003568647960000075
Figure BDA0003568647960000076
由公式(3)减去公式(4)，得到公式(5)；
Figure BDA0003568647960000077
其中，zc为行人在相机坐标系下的z方向坐标值，fx为单目相机x方向的内参。
具体的，步骤S5中，所述观测信息为：
Figure BDA0003568647960000078
其中，包络框信息可推断出行人位于世界坐标系中的位置观测信息；
Figure BDA0003568647960000079
和
Figure BDA00035686479600000710
为机器人坐标系到相机坐标系的变换，
Figure BDA00035686479600000711
为世界坐标系到机器人坐标系的变换。
根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，具体为：根据卡尔曼滤波的运动与观测方程，得到k-1时刻的行人位置于k时刻的估计信息；基于欧氏距离的全局最近邻匹配GNN，将k时刻的观测信息与k时刻的估计信息相匹配，利用欧氏距离指标计算k时刻的观测信息与k时刻的估计信息的距离，距离最小则匹配成功，得到k时刻状态匹配的观测信息；结合k时刻状态匹配的观测信息和卡尔曼滤波器的更新，得到当前k时刻行人的位置信息。
所述卡尔曼滤波器的更新为基于观测信息去更新行人位置信息；
所述卡尔曼滤波的运动表达式：
Figure BDA0003568647960000081
其中，状态转移矩阵A＝[10Δt0；010Δt；0010；0001]，噪声项ω为标准正态分布。
所述欧式距离指标，表达式如下：
Figure BDA0003568647960000082
其中，oi表示观测信息，yj表示卡尔曼滤波处理后的测量信息。
上述方案中，观测方程关系推导如下：
假设行人于世界坐标系下的坐标为
Figure BDA0003568647960000083
结合公式(5)，根据现有技术已知的单目相机观测方程与刚体变换，有以下方程：
Figure BDA0003568647960000084
Figure BDA0003568647960000085
将公式(8)带入至公式(7)，得到：
Figure BDA0003568647960000086
Figure BDA0003568647960000087
假设
Figure BDA0003568647960000088
中z＝0,因为假设行人为x-y平面上的一点，并假设
Figure BDA0003568647960000091
则有如下等式：
Figure BDA0003568647960000092
将[x y]T替换为
Figure BDA0003568647960000093
并向系数矩阵补充元素0，得到如下的卡尔曼滤波观测方程：
Figure BDA0003568647960000094
本发明提出了基于单目相机的行人跟踪方法，根据宽度假设的行人距离估计算法，结合观测信息，实现给定距离的行人跟踪。
实施例2
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
基于单目相机的行人重识别方法，包括以下步骤：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息Bk，行人检测信息Bk由若干个包络框构成；
其中，
Figure BDA0003568647960000095
N为k时刻下的检测到的行人数量，tl为包络框左上角位置的点，br为包络框右下角位置的点；
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δiou的行人检测信息；
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
S6：将步骤S1中预处理后的行人图像输入训练好的卷积神经网络进行全局特征提取，得到行人图像特征值；
S7：利用行人图像特征值，构建样本集X；
S8：设置Ridge Regression分类器，利用样本集X在线训练Ridge Regression分类器；分类器预测行人的得分，对行人进行重识别判定。
S9：若机器人未进入重识别状态，则输出行人位置；否则，机器人继续对行人进行重识别判定。
上述方案中，Ridge Regression分类器为一种基于正则化的分类器，该分类器的训练过程本质上是解决带有正则化项的最小二乘问题：
Figure BDA0003568647960000101
其中，X为训练集；w为分类器的参数；t为标签，由稳定的行人跟踪与识别得到；λ为正则化参数，带有正则化项的分类器可缓解由于重识别卷积神经网络训练集数量有限而造成的过度拟合问题。
具体的，步骤S8中，训练分类器过程为：
构建样本集X和超长期样本集L，样本集X最大容量为Ns，包括最大容量为
Figure BDA0003568647960000102
的短期样本集Xst和最大容量为
Figure BDA0003568647960000103
的超长期样本集Xlt，Xst采用先进先出的方式进行更新；超长期样本集L，最大容量为4Ns，超长期样本集Xlt中的样本均来源于L；
Xlt的采样策略为，若
Figure BDA0003568647960000104
则从L中随机抽取
Figure BDA0003568647960000105
Figure BDA0003568647960000106
个样本至Xlt，其中num(·)为集合的数量；
给定最新样本集pk，超长期样本集L通过差异度判断最新样本集pk是否插入到L中，若pk差异度大于给定阈值δdiff，则插入最新样本集pk至超长期样本集L；
所述差异度判断为：
计算最新样本集pk与滑窗样本集的差异度sdiff,k，其中，滑窗样本集大小为Nw，属于超长期样本集L，
sdiff,k＝λheight·sheight,k+λaspectRatio·saspectRatio,k+λdist·sdist,k+λcosDist·scosDist,k(13)
其中，λheight、λaspectRatio、λdist、λcosDist为加权参数；sheight,k为最新样本集包络框的高度与滑窗样本集平均包络框高度的差异度；saspectRatio,k为最新样本集包络框的宽高比与滑窗样本集平均宽高比的差异度；sdist,k为世界坐标系下的距离差异度；scosDist,k为全局特征的余弦距离平均值。
具体的，步骤S8中，对行人进行重识别判定包括：若行人的得分小于给定阈值δswitch，或行人的id丢失，则判定行人丢失，进入重识别状态；当进入重识别状态时，所有的行人将作为候选者进行判别，若候选者的得分连续Nid帧大于给定阈值δid，则判定候选者为原行人，完成行人重识别的判定；其中，行人包含id信息。
本发明提出了基于单目相机的行人重识别方法，利用宽度假设的行人距离估计算法，实现给定距离的行人跟踪和行人重识别，实现移动机器人鲁棒的行人跟随。本发明使用分类器，即便在行人目标与人群高度相似的情况下也能够取得较好的行人目标重识别效果，提高了行人重识别能力。本发明构建样本集提高分类器的泛化能力，使得分类器能够在复杂变化的情况下依然正确识别行人目标。
实施例3
具体地，在实施例1的基础上，结合具体的实施例子对方案进行说明，进一步体现本方案的技术效果。具体为：
基于单目相机的行人跟踪与重识别系统，用于实现基于单目相机的行人跟踪与重识别方法，包括：图像预处理模块、行人跟踪模块、行人重识别模块、输出模块、运动控制模块，其中，
所述图像预处理模块用于对获取到的行人图像预处理，包括归一化、尺寸缩放处理；
所述行人跟踪模块用于根据观测信息，结合卡尔曼滤波器，对行人进行给定距离跟踪；
所述行人重识别模块用于判定行人状态，即判定行人丢失还是原行人；
所述输出模块用于输出行人位置信息，完成行人跟踪与重识别；
所述运动控制模块用于输出运动速度；即，给定跟踪距离与目标行人的位置，采用基于PID的速度控制方式使移动机器人输出合适的运动速度。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于单目相机的行人跟踪方法，其特征在于，包括：
S1：获取行人视频帧中的行人图像；对行人图像进行预处理；
S2：将预处理后的行人图像输入预先训练好的目标检测模型中，得到行人检测信息Bk，行人检测信息Bk由若干个包络框构成；
其中，
Figure FDA0003568647950000011
N为k时刻下的检测到的行人数量，tl为包络框左上角位置的点，br为包络框右下角位置的点；
S3：对重叠行人的包络框进行过滤，保存小于给定阈值δiou的行人检测信息；
S4：根据宽度假设的行人距离估计算法，得到行人在相机坐标系下的z方向坐标值；
S5：根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，基于行人的位置信息，对行人进行跟踪。
2.根据权利要求1所述基于单目相机的行人跟踪方法，其特征在于，步骤S1中，所述预处理包括归一化、尺寸缩放处理。
3.根据权利要求1所述基于单目相机的行人跟踪方法，其特征在于，步骤S3具体步骤为，对重叠行人的包络框使用IoU过滤机制进行过滤，保存IoU小于给定阈值δiou的行人检测信息Bk；
Figure FDA0003568647950000012
Figure FDA0003568647950000013
其中，c和qi为包络框，Q为包络框组成的集合。
4.根据权利要求1所述基于单目相机的行人跟踪方法，其特征在于，步骤S4中，宽度假设的行人距离估计算法：
假设包络框为(utl，vtl)，(ubr，vbr)，对应相机坐标系下的坐标为
Figure FDA0003568647950000014
假设行人目标为一个圆柱体，位于单目相机的正前方，且已知行人目标真实宽度为r，得到
Figure FDA0003568647950000015
Figure FDA0003568647950000016
Figure FDA0003568647950000021
由公式(3)减去公式(4)，得到公式(5)；
Figure FDA0003568647950000022
其中，zc为行人在相机坐标系下的z方向坐标值，fx为单目相机x方向的内参。
5.根据权利要求1所述基于单目相机的行人跟踪方法，其特征在于，步骤S5中，所述观测信息为：
Figure FDA0003568647950000023
其中，
Figure FDA0003568647950000024
和
Figure FDA0003568647950000025
为机器人坐标系到相机坐标系的变换，
Figure FDA0003568647950000026
为世界坐标系到机器人坐标系的变换；
根据观测信息，结合卡尔曼滤波器，得到当前k时刻行人的位置信息，具体为：根据卡尔曼滤波的运动与观测方程，得到k-1时刻的行人位置于k时刻的估计信息；基于欧氏距离的全局最近邻匹配GNN，将k时刻的观测信息与k时刻的估计信息相匹配，利用欧氏距离指标计算k时刻的观测信息与k时刻的估计信息的距离，距离最小则匹配成功，得到k时刻状态匹配的观测信息；结合k时刻状态匹配的观测信息和卡尔曼滤波器的更新，得到当前k时刻行人的位置信息。
6.基于单目相机的行人重识别方法，所述方法基于权利要求1所述的基于单目相机的行人跟踪方法，其特征在于，包括以下步骤：
S6：将步骤S1中预处理后的行人图像输入训练好的卷积神经网络进行全局特征提取，得到行人图像特征值；
S7：利用行人图像特征值，构建样本集X；
S8：设置Ridge Regression分类器，利用样本集X在线训练Ridge Regression分类器；分类器预测行人的得分，对行人进行重识别判定。
7.根据权利要求6所述基于单目相机的行人重识别方法，其特征在于，还包括S9：若机器人未进入重识别状态，则输出行人位置；否则，机器人继续对行人进行重识别判定。
8.根据权利要求6所述基于单目相机的行人重识别方法，其特征在于，步骤S8中，训练分类器过程为：
构建样本集X和超长期样本集L，样本集X最大容量为Ns，包括最大容量为
Figure FDA0003568647950000031
的短期样本集Xst和最大容量为
Figure FDA0003568647950000032
的超长期样本集Xlt，Xst采用先进先出的方式进行更新；超长期样本集L，最大容量为4Ns，超长期样本集Xlt中的样本均来源于L；
Xlt的采样策略为，若
Figure FDA0003568647950000033
则从L中随机抽取
Figure FDA0003568647950000034
Figure FDA0003568647950000035
个样本至Xlt，其中num(·)为集合的数量；
给定最新样本集pk，超长期样本集L通过差异度判断最新样本集pk是否插入到L中，若pk差异度大于给定阈值δdiif，则插入最新样本集pk至超长期样本集L；
所述差异度判断为：
计算最新样本集pk与滑窗样本集的差异度sdiff，k，其中，滑窗样本集大小为Nw，属于超长期样本集L，
sdiff，k＝λheight·sheight，k+λaspectRatio·saspectRatio，k+λdist·sdist，k+λcosDist·scosDist，k (7)
其中，λheight、λaspectRatio、λdist、λcosDist为加权参数；sheight，k为最新样本集包络框的高度与滑窗样本集平均包络框高度的差异度；saspectRatio，k为最新样本集包络框的宽高比与滑窗样本集平均宽高比的差异度；sdist，k为世界坐标系下的距离差异度；scosDist，k为全局特征的余弦距离平均值。
9.根据权利要求6所述基于单目相机的行人重识别方法，其特征在于，步骤S8中，对行人进行重识别判定包括：若行人的得分小于给定阈值δswitch，或行人的id丢失，则判定行人丢失，进入重识别状态；当进入重识别状态时，所有的行人将作为候选者进行判别，若候选者的得分连续Nid帧大于给定阈值δid，则判定候选者为原行人，完成行人重识别的判定；其中，行人包含id信息。
10.基于单目相机的行人跟踪与重识别系统，其特征在于，包括：图像预处理模块、行人跟踪模块、行人重识别模块、输出模块、运动控制模块，其中，
所述图像预处理模块用于对获取到的行人图像预处理，包括归一化、尺寸缩放处理；
所述行人跟踪模块用于根据观测信息，结合卡尔曼滤波器，对行人进行给定距离跟踪；
所述行人重识别模块用于判定行人状态，即判定行人丢失还是原行人；
所述输出模块用于输出行人位置信息，完成行人跟踪与重识别；
所述运动控制模块用于输出运动速度；即，给定跟踪距离与目标行人的位置，采用基于PID的速度控制方式使移动机器人输出合适的运动速度。
CN202210311785.9A 2022-03-28 2022-03-28 基于单目相机的行人跟踪与重识别方法 Pending CN114782985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210311785.9A CN114782985A (zh) 2022-03-28 2022-03-28 基于单目相机的行人跟踪与重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210311785.9A CN114782985A (zh) 2022-03-28 2022-03-28 基于单目相机的行人跟踪与重识别方法

Publications (1)

Publication Number Publication Date
CN114782985A true CN114782985A (zh) 2022-07-22

Family

ID=82426097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210311785.9A Pending CN114782985A (zh) 2022-03-28 2022-03-28 基于单目相机的行人跟踪与重识别方法

Country Status (1)

Country Link
CN (1) CN114782985A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580066A (zh) * 2023-07-04 2023-08-11 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质
CN117315725A (zh) * 2023-11-29 2023-12-29 北京科技大学 一种基于单目视觉的行人跟随方法、系统及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580066A (zh) * 2023-07-04 2023-08-11 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质
CN116580066B (zh) * 2023-07-04 2023-10-03 广州英码信息科技有限公司 一种低帧率场景下的行人目标跟踪方法及可读存储介质
CN117315725A (zh) * 2023-11-29 2023-12-29 北京科技大学 一种基于单目视觉的行人跟随方法、系统及装置

Similar Documents

Publication Publication Date Title
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN109684921B (zh) 一种基于三维激光雷达的道路边界检测与跟踪方法
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
Wojek et al. Monocular visual scene understanding: Understanding multi-object traffic scenes
CN104520732B (zh) 定位传感器的方法以及相关设备
Schindler et al. Automatic detection and tracking of pedestrians from a moving stereo rig
CN101701818B (zh) 远距离障碍的检测方法
CN114782985A (zh) 基于单目相机的行人跟踪与重识别方法
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN106428000A (zh) 一种车辆速度控制装置和方法
CN111551957B (zh) 基于激光雷达感知的园区低速自动巡航及紧急制动系统
CN110765906A (zh) 一种基于关键点的行人检测算法
CN112329682B (zh) 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法
Tsintotas et al. DOSeqSLAM: Dynamic on-line sequence based loop closure detection algorithm for SLAM
CN112052802A (zh) 一种基于机器视觉的前方车辆行为识别方法
Palazzo et al. Domain adaptation for outdoor robot traversability estimation from RGB data with safety-preserving loss
Engel et al. Deep object tracking on dynamic occupancy grid maps using rnns
CN110929670A (zh) 基于yolo3技术的渣土车洁净度视频识别分析方法
Kang et al. Recognition and path planning strategy for autonomous navigation in the elevator environment
CN114120075A (zh) 一种融合单目相机和激光雷达的三维目标检测方法
Ding et al. A lane detection method based on semantic segmentation
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
CN106127798B (zh) 基于自适应模型的稠密时空上下文目标跟踪方法
CN110689557A (zh) 一种基于kcf的改进型抗遮挡目标跟踪方法
CN116434150B (zh) 面向拥挤场景的多目标检测跟踪方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination