CN113658192A - 一种多目标行人的轨迹获取方法、系统、装置及介质 - Google Patents
一种多目标行人的轨迹获取方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN113658192A CN113658192A CN202110773950.8A CN202110773950A CN113658192A CN 113658192 A CN113658192 A CN 113658192A CN 202110773950 A CN202110773950 A CN 202110773950A CN 113658192 A CN113658192 A CN 113658192A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- target
- track
- preset
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多目标行人的轨迹获取方法、系统、装置及介质,其中方法包括以下步骤:获取预设场景的行人视频信息;采用预设的目标检测模型对所述行人视频信息进行检测,获取若干个行人目标;采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹;根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹。本发明应用目前各种场景已经普及的普通摄像头获取视频信息,同时检测并识别多行人目标,并对行人目标进行跟踪后,生成行人轨迹,使用方便,部署所花费的成本较低。本发明可广泛应用于计算机视觉领域。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种多目标行人的轨迹获取方法、系统、装置及介质。
背景技术
近年来,随着计算机技术的飞速发展与普及,摄像头已经被应用于许多区域用于视频监控,在公共场所如医院、学校、商场、办公场所等地方已得到了广泛使用,这些摄像头除了监控的功能外,同时存在其他可以开发利用的空间。
基于深度学习的计算机视觉研究十分热门,计算机视觉主要包括图像处理、目标检测、目标跟踪、目标识别、行为分析等方面。目标检测与跟踪是计算机视觉的一个重要分支,通过普通摄像头获取视频信息,利用计算机进行检测跟踪能极大的解放人力物力,减少公共场所的危险隐患。目前,有很多定位技术能够实现在地图平面获取轨迹,随着行人的运动同步跟踪,并部署到了实际的生活场景中,能无视空间的变化带来的目标丢失,跟踪失效问题也有了很多的解决方案,可以得到鲁棒性强、精度高的行人定位与轨迹获取,然而,将计算机视觉的目标检测与跟踪和普通摄像头联系起来进行轨迹获取的研究却不多。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种多目标行人的轨迹获取方法、系统、装置及介质。
本发明所采用的技术方案是:
一种多目标行人的轨迹获取方法,包括以下步骤:
获取预设场景的行人视频信息;
采用预设的目标检测模型对所述行人视频信息进行检测,获取若干个行人目标;
采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹;
根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹。
进一步地,所述一种多目标行人的轨迹获取方法还包括获取预设场景的空间信息步骤,包括:
将带有棋盘网格的黑白棋盘放置预设场景内,获取预设场景的图像P1;
将所述图片P1经过透视变换算法处理,获得图片P2;
将图片P1进行裁剪并放大,获得图片P3;
将图片P2进行裁剪并放大,获得图片P4;
采用特征点匹配算法对图片P3和图片P4进行匹配,获得两个图像平面之间单应性变换中的旋转矩阵;
通过改变所述黑白棋盘在预设场景中的位置,根据每个位置对应的旋转矩阵获得旋转矩阵集作为预设场景的空间信息。
进一步地,所述预设的目标检测模型为YOLO V3目标检测模型,所述YOLO V3目标检测模型采用ResNet网络作为骨干网络,且引入可变形卷积DCNv2替代原始卷积操作;
所述采用预设的目标检测模型对所述行人视频信息进行检测,包括:
YOLO V3目标检测模型对所述行人视频信息中的图片进行特征提取,获取特征框;
根据特征框将图片分为多个网格单元,根据特征框选择对应的网格单元对行人目标进行检测。
进一步地,所述预设的目标跟踪模型为DeepSORT目标跟踪模型,所述采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,包括:
将YOLO V3目标检测模型作为视频采集器,对YOLO V3目标检测模型得到的行人目标的第一帧进行目标初始化;
创建新的跟踪器,采用匈牙利算法获取行人目标在视频中每一帧的检测框。
进一步地,所述连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹,包括:
从行人视频信息中从第一帧开始,对视频中的不同行人目标进行跟踪,预设有限的点数,
通过连接跟踪框的中点,生成空间行走轨迹。
进一步地,所述根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹,包括:
构建9组旋转矩阵集参数的测量列,将测量列从小到大重新排列,计算测量列的算术平均值和标准不确定度,使用格拉布斯准则,选定一显著水平对应总的测量次数,求得临界值,从测量列的两端中依次选取测量值计算,剔除异常数据;
重新计算算术平均值和标准不确定度,对异常数据剔除过程进行迭代,将筛选后的数据列重新计算平均值,对9个参数进行格拉布斯准则判别迭代,得到修正后的旋转矩阵,将跟踪输出的空间行走轨迹进行旋转矩阵函数处理,得到地图平面坐标轨迹。
进一步地,所述一种多目标行人的轨迹获取方法还包括获取用于训练模型的训练集的步骤,包括:
从Pascal VOC2012数据集中筛选行人类别的数据集,调整筛选后数据集的图片的色彩饱和度与亮度,进行在线增强;
将图片的批尺寸设定为4,将batch的数据的尺寸分批进行检测并随机裁剪改为统一尺寸;通过标注工具标注图片中的行人类别为pedestrain,得到用于搭建YOLO V3目标检测模型的数据集;
使用行人重识别的Market-1501数据集,对数据集进行整理,用来分类网络训练,得到用于搭建DeepSORT目标跟踪模型的数据集。
本发明所采用的另一技术方案是:
一种多目标行人的轨迹获取系统,包括:
数据获取模块,用于获取预设场景的行人视频信息;
行人检测模块,用于采用预设的目标检测模型对所述行人视频信息进行检测,获取若干个行人目标;
行人跟踪模块,用于采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹;
轨迹转换模块,用于根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹。
本发明所采用的另一技术方案是:
一种多目标行人的轨迹获取装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是:
一种存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是:本发明应用目前各种场景已经普及的普通摄像头获取视频信息,同时检测并识别多行人目标,并对行人目标进行跟踪后,生成行人轨迹,使用方便,部署所花费的成本较低。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种多目标行人的轨迹获取方法的步骤流程图;
图2是本发明实施例中深度学习模型YOLOv3+DeepSORT的搭建流程图;
图3是本发明实施例中通过预设环境获取转移矩阵流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示,本实施例提供一种多目标行人的轨迹获取方法,该方法包括调用普通摄像头获取的视频信息,得到在这一场景范围内行人的地图曲线轨迹,一般的,该场景可以是街道,体育馆等开放区域,也可以是地下商场等无法通过GPS准确定位的场景。图1的流程图描述了该方法在获取预设场景的空间信息,搭建YOLOv3+DeepSORT多目标检测跟踪模型后,可以通过调用预设的场景摄像头,输入视频,连接各个目标id框的中心点,得到随时间生成的多目标跟踪轨迹,然后将生成的轨迹映射到地面平面,得的地理定位曲线轨迹。包括以下步骤:
S1、获取预设场景的空间信息。
将黑白棋盘板设置在场景中的不同位置,通过摄像头采集黑白棋盘板视频,摆放的棋盘格根据预设环境信息放置在摄像头视野中央附近。
随机采取视频帧中的图片,将采集到的同一帧的图片进行两种不同的处理,一种进行裁剪放大处理,一种通过透视变换算法,进一步裁剪得到地面平面的棋盘板图片,将用两种方式得到的图片设置为同一分辨率,用特征点匹配算法,输出旋转矩阵,更换棋盘板位于场景的位置后,重复上述过程,得到旋转矩阵测量列。
对测量列进行格拉布斯准则进行筛选,得到修正后的旋转矩阵值,其过程如下:
导入经过后进行特征点匹配的旋转矩阵集,将每个旋转矩阵的9个参数排列出来构建参数集t1,t2……t9,通过格拉布斯准则得到修正后的旋转矩阵,包括两个阶段:
1、判断阶段:选取旋转矩阵中9个参数,设黑白棋盘格处于场景中有n个不同的位置, 9组旋转矩阵集参数的测量列x1,x2,x3……xn,将测量列从小到大重新排列为x1≤x2≤x3≤…… xn,计算测量列的算术平均值和标准不确定度σx,则有:
使用格拉布斯准则,公式为:
设对应总的测量次数n一显著水平为a,求得临界值g0(n,a),从测量列的两端中依次选取测量值计算gi,若gi>g0(n,a),则xi为异常数据,将其剔除,若gi≤g0(n,a),则为正常数据保留,重新计算算术平均值和标准不确定度σ,x;
2、迭代阶段:对异常数据剔除过程进行迭代n次,将筛选后的数据列重新计算平均值,则为这个参数对应的修正值,对9个参数都进行格拉布斯准则判别迭代,对筛选后的结果进行平均化处理,得到为修正后的旋转矩阵。
如图3所示,描述的是通过预设场景,得到摄像头坐标系与地面坐标系之间的转移矩阵的流程:
①将棋盘板放入预设的环境中,将会随机对一帧进行截取。
②将截取到的棋盘格图片进行两种不同的操作。
③一种进行将棋盘格裁剪然后放大到原图片尺寸。
④一种进行用透视变换算法,裁剪得到地面平面的棋盘板图片,然后放大到原图片尺寸。
⑤将用两种方式得到的图片用特征点匹配算法,输出旋转矩阵。
⑥更换棋盘板位于场景的位置后,重复上述过程,得到旋转矩阵测量列。
⑦用格拉布斯准则进行筛选,得到筛选后的旋转矩阵列。
⑧将筛选的结果取平均值,得到修正后的旋转矩阵。
S2、搭建YOLOv3+DeepSORT多目标检测跟踪模型。
从Pascal VOC2012中筛选Pedestrian类别的数据集,通过标注工具labelme手动标注图片中的行人类别信息;
调整筛选后图片的色彩饱和度与亮度,然后进行在线增强将批尺寸设定为4,将batch的数据的尺寸分批进行检测并随机裁剪改为统一尺寸416*416;
使用Pytorch深度学习框架搭建改进的YOLO V3模型,用更容易拓展的ResNet101网络替换原有的Darknet网络,可以根据不同的需求灵活选择ResNet18,34,50,101,152这些不同的网络类型作为模型的骨干网络,在速度和精度上都有提升,并引入可变形卷积DCNv2替代原始卷积操作,进一步提升模型精度与速度。
改进YOLO V3模型的具体内容为:
通过ResNet101特征提取网络对输入的图片提取特征,得到一定大小的featuremap,设定网格S*S为13*13;如果某个人的中心坐标落在哪个grid cell中,就由该gridcell来预测该人,使用bounding box中和ground truth的IOU最大的那一个来预测该人;并将深度卷积神经网络模型进行测试,对输入的视频帧经过多层深度卷积一直降维到52,26,13,这三维分别有三个全卷积特征提取器,对应不同的Convolutional Set,1*1的卷积核用于降维,3*3的卷积核用于提取特征,多个卷积核交错达到目的,每个全卷积特征层是有连接的,每个特征层都有一个输出、预测结果,最后根据置信度大小对结果进行回归,得到最终的预测结果
从行人重识别的Market-1501数据集,通过脚本对数据集进行整理,用来分类网络训练,增强训练集,然后用筛选和增强后的数据集搭建DeepSORT模型;
搭建改进的Deepsort目标跟踪模型,将行人重识别数据经过卷积神经网络提取特征网络信息,对检测到的不同目标进行跟踪,连接目标跟踪框的中点得到不同目标的行走轨迹。一段视频中从第一帧开始,对视频中的不同行人进行跟踪,预设有限的点数,将行人的轨迹通过点连接形成,从中间帧出现的目标行人从出现在视频的那一刻开始跟踪。
搭建改进Deepsort模型具体内容为:
Deepsort的跟踪方法是在8维状态空间(u,v,r,h,x,y,r,h)进行估计,其中包括边界框中心位置(u,v),纵横比r,高度h及其在图像坐标中的各自速度。使用能够在存在高斯噪声下的卡尔曼滤波器估计目标的运动轨迹,预测的结果(u,v,r,h)。
对于每个轨迹k,计算上一次成功关联ak以来的帧数。在卡尔曼滤波器预测期间,此计数器将递增,并在目标跟踪与目标检测相关联时将其重置为0。超过预定义的最大阈值Amax的轨迹被视为结束跟踪,并从轨迹集中删除。对于无法与现有轨迹相关联的每次检测,会启动新的轨迹假设,认为可能出现新的目标。如果这些新的轨迹在连续前3帧中都能被成功关联,则确定出现新的跟踪目标,如果前3帧中未成功与目标检测关联轨迹将被删除。
通过匈牙利算法解决预测的卡尔曼状态与新的测量值之间的关联,一方面考虑马氏距离,马氏距离基于运动可能的位置信息,适合进行短期的运动判断关联。另一方面考虑通过外观信息计算余弦距离,在较长时间运动发生遮挡时,通过外观信息恢复目标行人ID,防止运动过程受到遮挡的行人在前后帧被重新分配一个ID,造成误判。
当物体被长时间遮挡,卡尔曼滤波预测与物体位置相关的不确定性会增加,使用级联匹配算法解决这个问题,将优先级分配给更常看到的物体,以对在关联可能性中的概率似然进行编码。当轨迹的时间较长时,可以跳过级联匹配的过程,减少重复运算。
使用ShuffleNetV2-05代替原来的重识别卷积神经网络进行训练,使得模型的大小减小了十倍,并且REID跟踪的准确性良好。
如图2所示,描述的是搭建YOLOv3+DeepSORT模型的流程
①从Pascal VOC训练集中筛选Pedstrian(行人)类别的图片,在线增强后生成行人数据集。
②使用行人重识别的Market-1501数据集,通过脚本对数据集进行整理,用来分类网络训练,得到用于搭建DeepSORT模型的数据集。
③搭建YOLOv3目标检测模型并进行训练。
④搭建DeepSORT跟踪模型进行训练。
⑤以YOLOv3每一帧的检测框作为输入,得到YOLOv3+DeepSORT模型并用MOT16测试集进行测试。
⑥生成MOTA,MOTP等多目标跟踪评价标准数值,记录生成跟踪模型时间,判断精度和运算性能是否满足要求。
⑦若不满足要求,则进一步的进行模型优化,模型优化包括对数据集进一步的筛选和网络结构的改进。
⑧若满足要求,则可以得到该场景下行人检测跟踪模型。
S3、调用预设场景摄像头,输入视频。
S4、连接各个目标id框中心点,得到随时间生成的多目标跟踪轨迹。
S5、将轨迹映射到地面平面,得到平面地图曲线轨迹。
将输出的空间轨迹进行旋转矩阵函数处理,得到地图平面坐标轨迹并保存,完成轨迹获取功能。
综上所述,本实施例的一种基于深度学习的多目标行人的轨迹获取方法,应用目前各种场景已经普及的普通摄像头获取视频信息,能同时准确的检测并识别多目标行人,使用方便,部署所花费的成本较低,能够精确的获取行人轨迹。
本实施例还提供一种多目标行人的轨迹获取系统,包括:
数据获取模块,用于获取预设场景的行人视频信息;
行人检测模块,用于采用预设的目标检测模型对所述行人视频信息进行检测,获取若干个行人目标;
行人跟踪模块,用于采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹;
轨迹转换模块,用于根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹。
本实施例的一种多目标行人的轨迹获取系统,可执行本发明方法实施例所提供的一种多目标行人的轨迹获取方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本实施例还提供一种多目标行人的轨迹获取装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现图1所示方法。
本实施例的一种多目标行人的轨迹获取装置,可执行本发明方法实施例所提供的一种多目标行人的轨迹获取方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质,存储有可执行本发明方法实施例所提供的一种多目标行人的轨迹获取方法的指令或程序,当运行该指令或程序时,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在一些可选择的实施例中,在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如,取决于所涉及的功能/操作,连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外,在本发明的流程图中所呈现和描述的实施例以示例的方式被提供,目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的,其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外,虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是,所公开的特定概念仅仅是说明性的,并不意在限制本发明的范围,本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种多目标行人的轨迹获取方法,其特征在于,包括以下步骤:
获取预设场景的行人视频信息;
采用预设的目标检测模型对所述行人视频信息进行检测,获取若干个行人目标;
采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹;
根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹。
2.根据权利要求1所述的一种多目标行人的轨迹获取方法,其特征在于,所述一种多目标行人的轨迹获取方法还包括获取预设场景的空间信息步骤,包括:
将带有棋盘网格的黑白棋盘放置预设场景内,获取预设场景的图像P1;
将所述图片P1经过透视变换算法处理,获得图片P2;
将图片P1进行裁剪并放大,获得图片P3;
将图片P2进行裁剪并放大,获得图片P4;
采用特征点匹配算法对图片P3和图片P4进行匹配,获得两个图像平面之间单应性变换中的旋转矩阵;
通过改变所述黑白棋盘在预设场景中的位置,根据每个位置对应的旋转矩阵获得旋转矩阵集作为预设场景的空间信息。
3.根据权利要求1所述的一种多目标行人的轨迹获取方法,其特征在于,所述预设的目标检测模型为YOLO V3目标检测模型,所述YOLO V3目标检测模型采用ResNet网络作为骨干网络,且引入可变形卷积DCNv2替代原始卷积操作;
所述采用预设的目标检测模型对所述行人视频信息进行检测,包括:
YOLO V3目标检测模型对所述行人视频信息中的图片进行特征提取,获取特征框;
根据特征框将图片分为多个网格单元,根据特征框选择对应的网格单元对行人目标进行检测。
4.根据权利要求3所述的一种多目标行人的轨迹获取方法,其特征在于,所述预设的目标跟踪模型为DeepSORT目标跟踪模型,所述采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,包括:
将YOLO V3目标检测模型作为视频采集器,对YOLO V3目标检测模型得到的行人目标的第一帧进行目标初始化;
创建新的跟踪器,采用匈牙利算法获取行人目标在视频中每一帧的检测框。
5.根据权利要求4所述的一种多目标行人的轨迹获取方法,其特征在于,所述连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹,包括:
从行人视频信息中从第一帧开始,对视频中的不同行人目标进行跟踪,预设有限的点数,通过连接跟踪框的中点,生成空间行走轨迹。
6.根据权利要求1所述的一种多目标行人的轨迹获取方法,其特征在于,所述根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹,包括:
构建9组旋转矩阵集参数的测量列,将测量列从小到大重新排列,计算测量列的算术平均值和标准不确定度,使用格拉布斯准则,选定一显著水平对应总的测量次数,求得临界值,从测量列的两端中依次选取测量值计算,剔除异常数据;
重新计算算术平均值和标准不确定度,对异常数据剔除过程进行迭代,将筛选后的数据列重新计算平均值,对9个参数进行格拉布斯准则判别迭代,得到修正后的旋转矩阵,将跟踪输出的空间行走轨迹进行旋转矩阵函数处理,得到地图平面坐标轨迹。
7.根据权利要求5所述的一种多目标行人的轨迹获取方法,其特征在于,所述一种多目标行人的轨迹获取方法还包括获取用于训练模型的训练集的步骤,包括:
从Pascal VOC2012数据集中筛选行人类别的数据集,调整筛选后数据集的图片的色彩饱和度与亮度,进行在线增强;
将图片的批尺寸设定为4,将batch的数据的尺寸分批进行检测并随机裁剪改为统一尺寸;
通过标注工具标注图片中的行人类别为pedestrain,得到用于搭建YOLO V3目标检测模型的数据集;
使用行人重识别的Market-1501数据集,对数据集进行整理,用来分类网络训练,得到用于搭建DeepSORT目标跟踪模型的数据集。
8.一种多目标行人的轨迹获取系统,其特征在于,包括:
数据获取模块,用于获取预设场景的行人视频信息;
行人检测模块,用于采用预设的目标检测模型对所述行人视频信息进行检测,获取若干个行人目标;
行人跟踪模块,用于采用预设的目标跟踪模型对检测到的若干个行人目标进行跟踪,连接每个所述行人目标的跟踪框的中点,获得若干个空间行走轨迹;
轨迹转换模块,用于根据预设的空间信息对所述空间行走轨迹进行处理,获得地图平面坐标轨迹。
9.一种多目标行人的轨迹获取装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种存储介质,其中存储有处理器可执行的程序,其特征在于,所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773950.8A CN113658192B (zh) | 2021-07-08 | 2021-07-08 | 一种多目标行人的轨迹获取方法、系统、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773950.8A CN113658192B (zh) | 2021-07-08 | 2021-07-08 | 一种多目标行人的轨迹获取方法、系统、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658192A true CN113658192A (zh) | 2021-11-16 |
CN113658192B CN113658192B (zh) | 2023-10-17 |
Family
ID=78477209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110773950.8A Active CN113658192B (zh) | 2021-07-08 | 2021-07-08 | 一种多目标行人的轨迹获取方法、系统、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658192B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115375736A (zh) * | 2022-10-25 | 2022-11-22 | 威海市博华医疗设备有限公司 | 一种基于图像的行人轨迹跟踪方法和装置 |
CN115620228A (zh) * | 2022-10-13 | 2023-01-17 | 南京信息工程大学 | 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法 |
CN115841650A (zh) * | 2022-12-05 | 2023-03-24 | 北京数原数字化城市研究中心 | 视觉定位方法、视觉定位装置、电子设备及可读存储介质 |
CN117237879A (zh) * | 2023-11-06 | 2023-12-15 | 浙江同花顺智能科技有限公司 | 一种轨迹追踪方法和系统 |
CN117830592A (zh) * | 2023-12-04 | 2024-04-05 | 广州成至智能机器科技有限公司 | 一种基于图像的无人机夜间照明方法、系统、设备及介质 |
WO2024108539A1 (zh) * | 2022-11-25 | 2024-05-30 | 京东方科技集团股份有限公司 | 目标人群跟踪方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460926A (zh) * | 2020-03-16 | 2020-07-28 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
CN111784746A (zh) * | 2020-08-10 | 2020-10-16 | 上海高重信息科技有限公司 | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统 |
CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
-
2021
- 2021-07-08 CN CN202110773950.8A patent/CN113658192B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111460926A (zh) * | 2020-03-16 | 2020-07-28 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
CN111914664A (zh) * | 2020-07-06 | 2020-11-10 | 同济大学 | 基于重识别的车辆多目标检测和轨迹跟踪方法 |
CN111784746A (zh) * | 2020-08-10 | 2020-10-16 | 上海高重信息科技有限公司 | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机系统 |
CN111986228A (zh) * | 2020-09-02 | 2020-11-24 | 华侨大学 | 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620228A (zh) * | 2022-10-13 | 2023-01-17 | 南京信息工程大学 | 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法 |
CN115375736A (zh) * | 2022-10-25 | 2022-11-22 | 威海市博华医疗设备有限公司 | 一种基于图像的行人轨迹跟踪方法和装置 |
WO2024108539A1 (zh) * | 2022-11-25 | 2024-05-30 | 京东方科技集团股份有限公司 | 目标人群跟踪方法及装置 |
CN115841650A (zh) * | 2022-12-05 | 2023-03-24 | 北京数原数字化城市研究中心 | 视觉定位方法、视觉定位装置、电子设备及可读存储介质 |
CN117237879A (zh) * | 2023-11-06 | 2023-12-15 | 浙江同花顺智能科技有限公司 | 一种轨迹追踪方法和系统 |
CN117237879B (zh) * | 2023-11-06 | 2024-04-26 | 浙江大学 | 一种轨迹追踪方法和系统 |
CN117830592A (zh) * | 2023-12-04 | 2024-04-05 | 广州成至智能机器科技有限公司 | 一种基于图像的无人机夜间照明方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113658192B (zh) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113658192B (zh) | 一种多目标行人的轨迹获取方法、系统、装置及介质 | |
US11455805B2 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
AU2006252252B2 (en) | Image processing method and apparatus | |
CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
CN112560619B (zh) | 一种基于多聚焦图像融合的多距离鸟类精准识别方法 | |
CN111967345B (zh) | 一种实时判定摄像头遮挡状态的方法 | |
CN111144337B (zh) | 火灾检测方法、装置及终端设备 | |
CN111210399A (zh) | 一种成像质量评价方法、装置及设备 | |
CN113822352B (zh) | 基于多特征融合的红外弱小目标检测方法 | |
CN110197185B (zh) | 一种基于尺度不变特征变换算法监测桥下空间的方法和系统 | |
CN115546705B (zh) | 目标识别方法、终端设备及存储介质 | |
US20190311492A1 (en) | Image foreground detection apparatus and method and electronic device | |
CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
US20170053172A1 (en) | Image processing apparatus, and image processing method | |
CN114494887A (zh) | 遥感图像分类方法、装置、计算机设备和可读存储介质 | |
CN108509826A (zh) | 一种遥感影像的道路识别方法及其系统 | |
CN116630367B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
CN117671299A (zh) | 一种回环检测方法、装置、设备及存储介质 | |
CN106778822B (zh) | 基于漏斗变换的图像直线检测方法 | |
CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及系统 | |
CN112348011A (zh) | 一种车辆定损方法、装置及存储介质 | |
Zeng et al. | Detecting and measuring fine roots in minirhizotron images using matched filtering and local entropy thresholding | |
CN115909415A (zh) | 图像筛选方法、装置、设备及存储介质 | |
CN111027560B (zh) | 文本检测方法以及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |