CN111199556B - 基于摄像头的室内行人检测和跟踪方法 - Google Patents

基于摄像头的室内行人检测和跟踪方法 Download PDF

Info

Publication number
CN111199556B
CN111199556B CN201911405374.0A CN201911405374A CN111199556B CN 111199556 B CN111199556 B CN 111199556B CN 201911405374 A CN201911405374 A CN 201911405374A CN 111199556 B CN111199556 B CN 111199556B
Authority
CN
China
Prior art keywords
pedestrian
camera
coordinates
pedestrians
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911405374.0A
Other languages
English (en)
Other versions
CN111199556A (zh
Inventor
李静楠
刘儿兀
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201911405374.0A priority Critical patent/CN111199556B/zh
Publication of CN111199556A publication Critical patent/CN111199556A/zh
Application granted granted Critical
Publication of CN111199556B publication Critical patent/CN111199556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

一种基于摄像头的室内行人检测和跟踪方法,包括：步骤1、准备工作。步骤2、将每个点的像素坐标与世界坐标系坐标对应起来，求解旋转矩阵R和平移矩阵T，得到相机外参，提供给步骤5。步骤3、对摄像头采集到的视频进行处理，找出行人轮廓。步骤4、行人跟踪：将图片转化到HSV区域模型，再对检测出来的每一个位行人都使用Cam Shift算法进行跟踪。步骤5、转换为世界坐标系下的行人轨迹：通过步骤2相机标定结果，对图片进行矫正，并对步骤4中的行人轨迹的像素坐标进行转换。步骤6、根据存储的世界坐标形式轨迹，用不同的颜色绘制出行人轨迹，并显示在已经进行过矫正的室内背景图片上。后续可以用于行人的行为分析实验，可以分析行人的偏好路线等。

Description

基于摄像头的室内行人检测和跟踪方法
技术领域
本发明涉及一种数字图像处理技术领域。
背景技术
计算机视觉技术也越来越受到人们的关注，基于计算机视觉的各种应用也是层出不穷，比如基于计算机视觉的三维重建技术，苹果手机中的智能尺子便是一个很好的应用，通过利用加速器等，利用摄像头来测量出实际物体的尺寸。目前，计算及视觉与人工智能的联系密切，两者经常是结合在一起来用的，往往容易混淆。实际上，二者有着本质的不同。其中计算机视觉主要是处理视频、图像等，它是通过研究图像的结构，来进行场景识别、目标跟踪等。然而，当今被广泛应用地人工智能，与计算机视觉不同，人工智能更加倾向于决策。当下两者经常被结合使用。
行人检测在当今是一个十分热门的话题，行人检测问题在智能驾驶、智能交通等领域应用十分广泛。起初采用图像处理来检测行人，但是这种检测方法会有很大的误差，目前更多的是采用深度学习、神经网络的方法来检测行人，在理想情况下识别的结果很好，准确率较高，但也不是完美的。由于行人之间会有遮挡，比如遮住30％的身体，这种情况下，行人的误检率也是较高的，这是当前急需解决的问题，也是研究的主要困难。
关于行人检测的发展过程是非常迅速的，科学界对行人的检测和跟踪的研究与日俱增，关于行人检测类文章在Science上的发表数量上看，从1990年到2016年，文章数量急剧上升，由此可以看出，行人检测越来越热门，人们也越来越多的投入精力去研究，更多的方法被提出，当然，也存在着很大的改进空间。基于HOG特征的行人检测方法在2008年被首次提出，这是一种十分经典的行人检测方法，在当时，这种方法的性能和精确程度都是十分高的，因此，这篇文章也成为了行人检测领域的经典文章之一。在文中作者结合SVM分类器进行检测，在当时属于开创性工作。后来，人们发现HOG特征不仅仅可以用于行人检测，在其它的领域比如图像检索、跟踪和目标检测等都有着广泛的应用。近年来基于卷积神经网络的行人检测算法逐渐兴起。2009年，Enzweiler等人对单目行人检测系统进行了综述，重点讨论了感兴趣区域的选择方法、分类方法和跟踪方法。2014年，Ross B.Girshick设计了R-CNN目标检测框架，首次将卷积神经网络应用于目标检测，是一个重大突破。PASCALVOC2007test集上的检测结果比当时效果最好的DPM HSC算法提升了几乎一倍，高准确率正是R-CNN最大的优势。随后，何凯明等人提出了SPP-Net，该结构的加入使得CNN只需对整张图片进行一次卷积操作，比之前的快了很多。再后来，Ross B.Girshick又提出了Fast R-CNN，在Pascal VOC 2007训练集上训练，测试一张图像所需的比之前的R-CNN快了十几倍。在神经网络检测算法的发展中，伴随着行人检测技术发展的还有各种各样的数据库，这也为行人检测的发展做了巨大贡献。
专利文献现有技术情况
“一种利用ReCNN融合上下文信息的行人检测方法技术”(专利申请号：201710670156.4)公开了通过提取图片特征，训练相应的网络，利用ReCNN对图片中的行人位置进行预测。但是这种方法需要前期在特定的场景中进行足够多的训练，不能很好的适应变化的场景。
检测出行人之后，需要进行多目标跟踪，目标跟踪算法有很多，一种基于递归神经网络的多目标在线跟踪方法，在标准CPU上以300Hz的频率获得了令人满意的结果；多目标跟踪方法，利用强大的离散优化技术来处理数据关联，同时通过基于梯度的连续能量最小化来更新单个轨迹的形状。在基于光流的跟踪器的基础上，加入了SVM(支持向量机)分类器，在分类阶段使用了由粗到细的方法，实现了较好的跟踪结果。
在实际应用中，需要快速检测并且对行人进行跟踪，并且显示行人所在的位置坐标，“一种监控视频中多目标的行人检测与跟踪方法”(专利申请号：201710621298.1)中公开了采用基于深度学习的目标检测网络对图像进行检测，得到相应一个或多个行人目标的初始矩形区域，然后对模板进行初始化，采用均值漂移算法进行跟踪，可以给出行人在图像中的运动轨迹，只可以知道行人在摄像头图片中的坐标，无法知道行人在实际的场景中的三维坐标。
发明内容
本发明的目的在于克服现有技术的不足，公开一种基于摄像头的室内行人检测和跟踪方法，采用传统的背景建模方法对行人进行检测，在行人检测基础上采用Cam Shift算法进行跟踪，通过对摄像头进行畸变矫正，借用棋盘格得到相机的内参和畸变参数，对相机进行畸变矫正，然后在现场得到相机外参，将检测到的行人位置转化为世界坐标系中的实际物理位置，进而实现室内行人跟踪。
本发明给出的技术方案为：
一种基于摄像头的室内行人检测和跟踪方法,其特征在于，包括如下步骤
步骤1、准备工作
首先，配置好摄像头参数，设置好行人的像素阈值；
接着，摄像头固定好；
最后，判断摄像头是否正常打开，如果摄像头正常，就继续执行程序，否则，终止程序运行；
步骤2、相机标定
在摄像头视野中，建立世界坐标系，选取不在同一直线上的4个点，认为所有的点都在xoy平面，即z坐标为0，以图中O点为原点，
Figure BDA0002348489500000031
为x轴正方向，/>
Figure BDA0002348489500000032
为y轴正方向建立坐标系；
在确定世界坐标下的点之后，通过皮尺，测出|OA|、|OB|实际的距离，并且将A、B点在世界坐标系下的坐标记录下来；
接下来，通过摄像头采集图片，记录下O、A、B点在图片中的像素坐标，通过画图软件或openCV软件获得像素坐标；
最后，将每个点的像素坐标与世界坐标系坐标对应起来，通过调用openCV的solvePnP()函数求解旋转矩阵R和平移矩阵T，得到相机外参；提供给步骤5；
步骤3、对摄像头采集到的视频进行处理，找出行人轮廓
首先，将每一帧图像由彩色转化为灰度图片；
然后，进行背景建模，采用KNN背景建模算法，对视频区域进行背景建模，将前景和背景区分开，背景随着时间的推移而不断更新；
然后，对进入视野范围的运动物体进行检测，对结果进行中值滤波、腐蚀、膨胀操作，去除噪点并且填充空洞，对识别出来的运动物体进行筛选，将不是行人的目标删除，进而得到行人区域；
最后，将每一帧检测出来的行人轮廓detectedPeople存储在当前帧detectedContours数组中；提供给步骤4；
步骤4、行人跟踪
在进行行人跟踪之前，首先将图片转化到HSV区域模型，然后再对检测出来的每一个位行人都使用Cam Shift算法进行跟踪：
对上一帧的detectedPeople数组中的行人轮廓逐个进行跟踪，跟踪结果与detectedContours中的轮廓进行匹配，如果匹配成功，那么比较两者的中心位置距离，如果中心距离大于设定的阈值，则认为两者不匹配，将继续寻找；若中心位置距离符合条件，认为是同一个人，对detectedPeople数组中的行人轮廓进行更新；对于步骤3新检测出来的成员，在轮廓匹配结束之后，加入本帧的detectedPeople数组中；对于离开的行人，如果连续消失帧数达到10帧，则认为行人已经离开，将其轮廓在detectedPeople数组中移除，更新detectedPeople数组；在检测的同时，需要把确认为行人的轨迹进行存储，在每一帧图像中进行显示，且图像中行人轨迹将会随着行人的离开而消失，不同的行人会用不同的颜色进行显示，以示区分；提供给步骤5；
步骤5、转换为世界坐标系下的行人轨迹
通过步骤2相机标定结果，对图片进行矫正，并对步骤4中的行人轨迹的像素坐标进行转换。
像素坐标系和世界坐标系之间的关系：
Figure BDA0002348489500000041
其中，f表示相机的焦距，其中fx＝f/dx为x轴归一化焦距；fy＝f/dy为y轴归一化焦距，它们的物理单位通常为mm。相机的内参矩阵为
Figure BDA0002348489500000042
外参矩阵为[R T]，其中旋转矩阵记为/>
Figure BDA0002348489500000043
平移矩阵记为/>
Figure BDA0002348489500000044
由式(2.1)可知像素坐标转化为世界坐标公式；将行人的中心位置的像素坐标系下的像素坐标(u，v)转化为世界坐标系下的坐标(Xw，Yw，Zw)的形式。世界坐标系下的点的坐标为(Xw，Yw，0)；式(2.1)写为：
Figure BDA0002348489500000045
相机内参矩阵E为3*3的方阵，并且行列式不为0，因此相机内参矩阵E为可逆矩阵，式(2.2)可化简为：
Figure BDA0002348489500000046
令
Figure BDA0002348489500000047
最终得到：
Figure BDA0002348489500000048
利用numpy.linalg.solve()函数，即可求解
Figure BDA0002348489500000051
型的/>
Figure BDA0002348489500000052
值，即可完成从像素坐标到世界坐标的转化；从而将每条轨迹的像素坐标利用式(2.4)转化为世界坐标，并且存储在txt文件中，对每个行人的轨迹进行存储，存储形式为轨迹的世界坐标。
步骤6、根据步骤5中存储的世界坐标形式轨迹，用不同的颜色绘制出行人轨迹，并显示在已经进行过矫正的室内背景图片上。
本发明在室内场景下实现基于摄像头的行人检测和跟踪，并将行人的实际位置进行存储、显示。
附图说明
图1为本发明的算法流程图
图2为本发明在世界坐标系下建立坐标系示意图
具体实施方式
实施例
应用场景：室内，光线条件稳定。摄像头固定在较高的位置，与平时监控摄像头的位置相似。摄像头覆盖面积为45m2，行人数量为5～6位。在这样的场景下实现基于摄像头的行人检测和跟踪，将行人的实际位置进行存储、显示。
步骤1、准备工作
首先，配置好摄像头参数(分辨率、帧率)，设置好行人的像素阈值，目的是后面的行人检测阶段，作为判断行人的约束条件之一。
接着，摄像头固定好。
最后，判断摄像头是否正常打开，这样如果摄像头正常，就继续执行程序，否则，终止程序运行。
步骤2、相机标定
在摄像头固定好之后，对相机进行参数标定。在摄像头视野中，建立世界坐标系，选取不在同一直线上的4个点，认为所有的点都在xoy平面，即z坐标为0。如图2所示，以图中O点为原点，
Figure BDA0002348489500000053
为x轴正方向，/>
Figure BDA0002348489500000054
为y轴正方向建立坐标系。在确定世界坐标下的点之后，通过皮尺，测出|OA|、|OB|实际的距离，并且将A、B点在世界坐标系下的坐标记录下来，需要注意，这里使用的距离单位为cm。接下来，需要通过摄像头采集图片，记录下O、A、B点在图片中的像素坐标，可以通过画图软件或自己编写openCV代码来获得像素坐标。最后，将每个点的像素坐标与世界坐标系坐标对应起来。通过调用openCV的solvePnP()函数求解旋转矩阵R和平移矩阵T，得到相机外参。提供给步骤5。
步骤3、对摄像头采集到的视频进行处理，找出行人轮廓
首先，将每一帧图像由彩色转化为灰度图片，这样可以降低计算的复杂度。
然后，进行背景建模，采用KNN背景建模算法，对视频区域进行背景建模。将前景和背景区分开，背景也会随着时间的推移而不断更新。
然后，对进入视野范围的运动物体进行检测，对结果进行中值滤波、腐蚀、膨胀操作，去除噪点并且填充空洞。对识别出来的运动物体进行筛选，将不是行人的目标删除，进而得到行人区域。
最后，将每一帧检测出来的行人轮廓存储在当前帧detectedContours数组中。提供给步骤4。
步骤4、行人跟踪
在进行行人跟踪之前，首先将图片转化到HSV区域模型，然后再对检测出来的每一个位行人都使用Cam Shift算法进行跟踪。
对上一帧的detectedPeople数组中的行人轮廓逐个进行跟踪，跟踪结果与detectedContours中的轮廓进行匹配，如果匹配成功，那么比较两者的中心位置距离，如果中心距离大于设定的阈值，则认为两者不匹配，将继续寻找；若中心位置距离符合条件，认为是同一个人，对detectedPeople数组中的行人轮廓进行更新。对于步骤3新检测出来的成员，在轮廓匹配结束之后，加入本帧的detectedPeople数组中；对于离开的行人，如果连续消失帧数达到10帧，则认为行人已经离开，将其轮廓在detectedPeople数组中移除，更新detectedPeople数组。在检测的同时，需要把确认为行人的轨迹进行存储，在每一帧图像中进行显示，且图像中行人轨迹将会随着行人的离开而消失，不同的行人会用不同的颜色进行显示，以示区分。提供给步骤5。
步骤5、转换为世界坐标系下的行人轨迹
通过步骤2相机标定结果，对图片进行矫正，并对步骤4中的行人轨迹的像素坐标进行转换。
像素坐标系和世界坐标系之间的关系：
Figure BDA0002348489500000071
其中，假设有一点P。Zc为P点在相机坐标系下的z轴坐标分量，(u,v)为P点在像素坐标系下的坐标，单位像素对应的实际物理尺寸为dx、dy，(u0,v0)为图像坐标系中坐标原点的位置，f表示相机的焦距，其中fx＝f/dx为x轴归一化焦距；fy＝f/dy为y轴归一化焦距，(Xw、Yw、Zw)为P点世界坐标系中的坐标，它们的物理单位通常为mm。相机的内参矩阵为
Figure BDA0002348489500000072
外参矩阵为[R T]，其中旋转矩阵记为/>
Figure BDA0002348489500000073
平移矩阵记为
Figure BDA0002348489500000074
其中，rij、ti分别代表矩阵中的具体参数值。
由式(2.1)可知像素坐标转化为世界坐标公式。将行人的中心位置的像素坐标系下的像素坐标(u，v)转化为世界坐标系下的坐标(Xw，Yw，Zw)的形式。世界坐标系下的点的坐标为(Xw，Yw，0)。式(2.1)可写为：
Figure BDA0002348489500000075
相机内参矩阵E为3*3的方阵，并且行列式不为0，因此相机内参矩阵E为可逆矩阵，式(2.2)可化简为：
Figure BDA0002348489500000076
令
Figure BDA0002348489500000077
最终可以得到：
Figure BDA0002348489500000078
利用numpy.linalg.solve()函数，即可求解
Figure BDA0002348489500000081
型的/>
Figure BDA0002348489500000082
值，即可完成从像素坐标到世界坐标的转化。从而将每条轨迹的像素坐标利用式(2.4)转化为世界坐标，并且存储在txt文件中，对每个行人的轨迹进行存储，存储形式为轨迹的世界坐标。
步骤6、根据步骤5中存储的世界坐标形式轨迹，用不同的颜色绘制出行人轨迹，并显示在已经进行过矫正的室内背景图片上。
有益效果
在室内45m2左右的平坦空地，摄像头固定在距离地面2.5m的高度，同时出现在摄像头视野范围内的行人大约有5～6位，在这种条件实现基于摄像头的行人检测和跟踪，将行人的实际位置进行存储。存储行人的轨迹坐标是世界坐标，后续可以用于行人的行为分析实验，可以分析行人的偏好路线等。

Claims (1)

1.一种基于摄像头的室内行人检测和跟踪方法,其特征在于，包括如下步骤
步骤1、准备工作
首先，配置好摄像头参数，设置好行人的像素阈值；
接着，摄像头固定好；
最后，判断摄像头是否正常打开，如果摄像头正常，就继续执行程序，否则，终止程序运行；
步骤2、相机标定
在摄像头视野中，建立世界坐标系，选取不在同一直线上的4个点，认为所有的点都在xoy平面，即z坐标为0，以图中O点为原点，
Figure QLYQS_1
为x轴正方向，/>
Figure QLYQS_2
为y轴正方向建立坐标系；
在确定世界坐标下的点之后，通过皮尺，测出|OA|、|OB|实际的距离，并且将A、B点在世界坐标系下的坐标记录下来；
接下来，通过摄像头采集图片，记录下O、A、B点在图片中的像素坐标，通过画图软件或openCV软件获得像素坐标；
最后，将每个点的像素坐标与世界坐标系坐标对应起来，通过调用openCV的solvePnP()函数求解旋转矩阵R和平移矩阵T，得到相机外参；提供给步骤5；
步骤3、对摄像头采集到的视频进行处理，找出行人轮廓
首先，将每一帧图像由彩色转化为灰度图片；
然后，进行背景建模，采用KNN背景建模算法，对视频区域进行背景建模，将前景和背景区分开，背景随着时间的推移而不断更新；
然后，对进入视野范围的运动物体进行检测，对结果进行中值滤波、腐蚀、膨胀操作，去除噪点并且填充空洞，对识别出来的运动物体进行筛选，将不是行人的目标删除，进而得到行人区域；
最后，将每一帧检测出来的行人轮廓detectedPeople存储在当前帧detectedContours数组中；提供给步骤4；
步骤4、行人跟踪
在进行行人跟踪之前，首先将图片转化到HSV区域模型，然后再对检测出来的每一个位行人都使用Cam Shift算法进行跟踪：
对上一帧的detectedPeople数组中的行人轮廓逐个进行跟踪，跟踪结果与detectedContours中的轮廓进行匹配，如果匹配成功，那么比较两者的中心位置距离，如果中心距离大于设定的阈值，则认为两者不匹配，将继续寻找；若中心位置距离符合条件，认为是同一个人，对detectedPeople数组中的行人轮廓进行更新；对于步骤3新检测出来的成员，在轮廓匹配结束之后，加入本帧的detectedPeople数组中；对于离开的行人，如果连续消失帧数达到10帧，则认为行人已经离开，将其轮廓在detectedPeople数组中移除，更新detectedPeople数组；在检测的同时，需要把确认为行人的轨迹进行存储，在每一帧图像中进行显示，且图像中行人轨迹将会随着行人的离开而消失，不同的行人会用不同的颜色进行显示，以示区分；提供给步骤5；
步骤5、转换为世界坐标系下的行人轨迹
通过步骤2相机标定结果，对图片进行矫正，并对步骤4中的行人轨迹的像素坐标进行转换；
像素坐标系和世界坐标系之间的关系：
Figure QLYQS_3
其中，f表示相机的焦距，其中fx＝f/dx为x轴归一化焦距；fy＝f/dy为y轴归一化焦距，它们的物理单位通常为mm；相机的内参矩阵为
Figure QLYQS_4
外参矩阵为[R T]，其中旋转矩阵记为/>
Figure QLYQS_5
平移矩阵记为/>
Figure QLYQS_6
由式(2.1)可知像素坐标转化为世界坐标公式；将行人的中心位置的像素坐标系下的像素坐标(u，v)转化为世界坐标系下的坐标(Xw，Yw，Zw)的形式；世界坐标系下的点的坐标为(Xw，Yw，0)；式(2.1)写为：
Figure QLYQS_7
相机内参矩阵E为3*3的方阵，并且行列式不为0，因此相机内参矩阵E为可逆矩阵，式(2.2)可化简为：
Figure QLYQS_8
令
Figure QLYQS_9
最终得到：
Figure QLYQS_10
利用numpy.linalg.solve()函数，即可求解
Figure QLYQS_11
型的/>
Figure QLYQS_12
值，即可完成从像素坐标到世界坐标的转化；从而将每条轨迹的像素坐标利用式(2.4)转化为世界坐标，并且存储在txt文件中，对每个行人的轨迹进行存储，存储形式为轨迹的世界坐标；
步骤6、根据步骤5中存储的世界坐标形式轨迹，用不同的颜色绘制出行人轨迹，并显示在已经进行过矫正的室内背景图片上。
CN201911405374.0A 2019-12-31 2019-12-31 基于摄像头的室内行人检测和跟踪方法 Active CN111199556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911405374.0A CN111199556B (zh) 2019-12-31 2019-12-31 基于摄像头的室内行人检测和跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911405374.0A CN111199556B (zh) 2019-12-31 2019-12-31 基于摄像头的室内行人检测和跟踪方法

Publications (2)

Publication Number Publication Date
CN111199556A CN111199556A (zh) 2020-05-26
CN111199556B true CN111199556B (zh) 2023-07-04

Family

ID=70747643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911405374.0A Active CN111199556B (zh) 2019-12-31 2019-12-31 基于摄像头的室内行人检测和跟踪方法

Country Status (1)

Country Link
CN (1) CN111199556B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693972B (zh) * 2020-05-29 2022-11-15 东南大学 一种基于双目序列图像的车辆位置与速度估计方法
CN111899282A (zh) * 2020-07-30 2020-11-06 平安科技（深圳）有限公司 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN112258552A (zh) * 2020-09-15 2021-01-22 青岛邃智信息科技有限公司 一种社区监控场景下行人多目标跟踪方法
CN113033441A (zh) * 2021-03-31 2021-06-25 广州敏视数码科技有限公司 一种基于广角成像的行人碰撞预警方法
CN113643363B (zh) * 2021-06-29 2023-12-26 上海理工大学 一种基于视频图像的行人定位及轨迹跟踪方法
CN113724299B (zh) * 2021-08-30 2023-09-19 上海大学 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法
CN117058331B (zh) * 2023-10-13 2023-12-19 山东建筑大学 基于单个监控摄像机的室内人员三维轨迹重建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
WO2019105044A1 (zh) * 2017-11-28 2019-06-06 东莞市普灵思智能电子有限公司 一种镜头畸变矫正和特征提取的方法及系统
CN110619662A (zh) * 2019-05-23 2019-12-27 深圳大学 一种基于单目视觉的多行人目标空间连续定位方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
WO2019105044A1 (zh) * 2017-11-28 2019-06-06 东莞市普灵思智能电子有限公司 一种镜头畸变矫正和特征提取的方法及系统
CN110619662A (zh) * 2019-05-23 2019-12-27 深圳大学 一种基于单目视觉的多行人目标空间连续定位方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Meanshift与摄像机标定的无人机定位方法;成怡;王晓红;修春波;;天津工业大学学报(第01期);全文 *

Also Published As

Publication number Publication date
CN111199556A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN111199556B (zh) 基于摄像头的室内行人检测和跟踪方法
CN110837778B (zh) 一种基于骨架关节点序列的交警指挥手势识别方法
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
KR102129893B1 (ko) 딥러닝 네트워크 및 평균 이동을 기반으로 하는 선박 자동추적 방법 및 시스템
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN106709436B (zh) 面向轨道交通全景监控的跨摄像头可疑行人目标跟踪系统
CN103997624B (zh) 重叠域双摄像头目标跟踪系统及方法
CN110674746A (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN111340881B (zh) 一种动态场景下基于语义分割的直接法视觉定位方法
CN106709938B (zh) 基于改进tld的多目标追踪方法
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN106228570A (zh) 一种真值数据确定方法和装置
JP2010244207A (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
Fang et al. Sewer defect instance segmentation, localization, and 3D reconstruction for sewer floating capsule robots
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
Yin Object Detection Based on Deep Learning: A Brief Review
CN113065506B (zh) 一种人体姿态识别方法及系统
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant