CN113643363B - 一种基于视频图像的行人定位及轨迹跟踪方法 - Google Patents

一种基于视频图像的行人定位及轨迹跟踪方法 Download PDF

Info

Publication number
CN113643363B
CN113643363B CN202110724106.6A CN202110724106A CN113643363B CN 113643363 B CN113643363 B CN 113643363B CN 202110724106 A CN202110724106 A CN 202110724106A CN 113643363 B CN113643363 B CN 113643363B
Authority
CN
China
Prior art keywords
coordinates
camera
human body
coordinate
top view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110724106.6A
Other languages
English (en)
Other versions
CN113643363A (zh
Inventor
秦川
熊成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202110724106.6A priority Critical patent/CN113643363B/zh
Publication of CN113643363A publication Critical patent/CN113643363A/zh
Application granted granted Critical
Publication of CN113643363B publication Critical patent/CN113643363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于视频图像的行人定位及轨迹跟踪方法，包括：a.获取摄像头的参数；b.根据摄像头的参数进行人体定位；所述步骤a还包括以下步骤：S1、制作标准件；S2、将步骤S1中的标准件放置于摄像头画面中所包含的地面范围的中央附近；S3、获取M矩阵；S4、通过步骤S3的矩阵获取其他参数；所述步骤b还包括以下步骤：F1、将人体头部或脚部像素坐标输入；F2、通过M矩阵将拍摄图像中的人体头部或脚部像素坐标转换为类俯视图中的坐标，其中，x′等为转换后坐标，x为转换前坐标；F3、获取摄像头在类俯视图中坐标；F4、获取摄像头在类俯视图中所表现出的虚拟高度H2；F5、进行人体脚部像素坐标y′2预测；F6、人体脚部像素坐标x′2预测；F7、进行坐标系转换。根据本发明，准确的利用现有的摄像头画面以及可提供的人体头部或脚部像素坐标对人体进行定位。

Description

一种基于视频图像的行人定位及轨迹跟踪方法
技术领域
本发明涉及多媒体信息的技术领域，特别涉及一种基于视频图像的行人定位及轨迹跟踪方法。
背景技术
近年来，随着数字图像技术的不断发展，社会安全的不断改善，商户、社区、学校等公共地方对安全的不断强化，监控摄像头及相关的软硬件技术得到了飞速的发展，现阶段已出现将常用的图像处理算法与基于神经网络的人脸识别集合至监控摄像头硬件中的方案。但是面对冗长的视频资源，根据神经网络自动识别得到的人体头部或脚步像素坐标进行人工标注目标人物在平面图中的位置，并进一步绘制人体在平面图中的真实轨迹图是非常复杂、繁琐的任务。因此，本发明解决对人体在提供头部或脚部像素坐标的情况下，进行人体脚部坐标预测(只提供人体头部坐标情况下)，以及坐标系转换(由像素坐标转换为平面图中的世界坐标)的问题，即定位问题。
发明内容
针对现有技术中存在的不足之处，本发明的目的是提供一种基于视频图像的行人定位及轨迹跟踪方法，准确的利用现有的摄像头画面以及可提供的人体头部或脚部像素坐标对人体进行定位。为了实现根据本发明的上述目的和其他优点，提供了一种基于视频图像的行人定位及轨迹跟踪方法，包括：
a.获取摄像头的参数；
b.根据摄像头的参数进行人体定位；
所述步骤a还包括以下步骤：
S1、制作标准件；
S2、将步骤S1中的标准件放置于摄像头画面中所包含的地面范围的中央附近；
S3、获取M矩阵；
S4、通过步骤S3的矩阵获取其他参数；
所述步骤b还包括以下步骤：
F1、将人体头部或脚部像素坐标输入；
F2、通过M矩阵将拍摄图像中的人体头部或脚部像素坐标转换为类俯视图中的坐标，如下公式(1)：
其中，x′等为转换后坐标，x为转换前坐标；
F3、获取摄像头在类俯视图中坐标；
F4、获取摄像头在类俯视图中所表现出的虚拟高度H2；
F5、进行人体脚部像素坐标y′2预测；
F6、人体脚部像素坐标x′2预测；
F7、进行坐标系转换。
优选的，所述步骤S3中，通过利用透视变换公式将因拍摄导致变形的此图像中的标准件中的贴地方形框转换为标准正方形而得到将此图像转换至相应类俯视图所需的透视变换使用的M矩阵，并保存得到M所需的两组相对应的点，每组点包含4个；
所述步骤S4中，利用M矩阵对此图像进行透视变换，获得标准件中的两个竖直参照物与贴地转换坐标系(贴地转换坐标系的X、Y坐标轴需与需定位场地平面图中的X、Y坐标轴平行)在类俯视图中的像素坐标以及转换坐标系X、Y轴与平面图X、Y轴之间的偏移量(yd，xd)，一共7对坐标，2个数值。
优选的，所述步骤F3中，根据立体投影原理利用类俯视图中已知的两组竖直参照物端点坐标x11，y11，x12，y12与x21，y21，x22，y22计算出两组数值参照物端点坐标所在的两条直线的交点x，y，此交点为类俯视图中的摄像头坐标，计算公式如式(2)：
所述步骤F4中，根据光路可逆与平面投影原理利用类俯视图中的摄像头坐标x，y与一组已知高度H′的竖直参照物两端点的Y坐标y11，y12根据投影原理计算出类俯视图中摄像头的虚拟高度H2，如式(3)所示：
所述步骤F5中，若输入为人脚坐标，则直接转到F7，若输入为人体头部坐标x′1，y′1，则根据预先设定的身高值H1，根据平面投影原理，使用摄像头虚拟高度H2、类俯视图中摄像头坐标x，y，计算出人脚像素坐标的y′2值，如式(4)所示：
所述步骤F6中，通过已知的人头坐标与摄像头坐标求出直线公式y＝a3x+b3，再使用直线公式通过已知的y′2坐标得到x′2坐标；
所述步骤F7中，计算人脚像素坐标至转换坐标系的X、Y轴的距离，并加上X轴与Y轴的偏移量yd，xd，得到人体在世界坐标系中的真实坐标。
优选的，所述步骤S3中，通过将在摄像头拍摄画面中的标准件的贴地部分的已知大小的方形框矫正为标准方形框得到透视变换需要的M矩阵，通过摄像头拍摄画面中依照逆时针方向从左上角开始选定方形框的四个端点，然后再根据方形框在画面中的相对位置估计出其在转换后图像中的大致位置与四个端点的预测坐标，利用这两组点与公式(5)计算出M矩阵：
其中这两组点中，摄像头拍摄画面中点为x、y，透视变换后的点为x′、y′，每一对相互对应的点均可得到2个方程组，4对点可以得到8个方程组，利用这8个方程组求解便可得到M矩阵。
优选的，所述步骤S4中，利用得到的M矩阵计算标准件中竖直参照物的两组共四个端点、转换坐标系的三个端点，以及现场测量此摄像头所属转换坐标系的X、Y轴至定义的平面图的X、Y轴之间的距离即偏移量yd，xd，利用M矩阵计算摄像头拍摄图像坐标相对应的透视变换图中的点的公式如(7)所示：
优选的，所述步骤F3中，使用两组竖直参照物经M矩阵透视变换得到的两组端点，计算得到两组端点所表示的两条直线的交点，此交点为类俯视图中摄像头所在位置，计算公式如式(2)所示。
优选的，所述步骤F4与步骤F5中，根据光路可逆与平面投影原理利用摄像头坐标与一组已知高度的竖直参照物两端点坐标根据投影原理计算出类俯视图中摄像头的虚拟高度H2，并利用H2结合被测人体身高、摄像头在类俯视图中的坐标(已知)、人体头部坐标(已知)，同样利用平面投影原理计算出人体脚部的y′2坐标。
优选的，所述步骤F6中，根据立体投影原理，在类俯视图中人体头部坐标、脚部坐标与摄像头坐标在一条直线上，利用头部与摄像头坐标得出之直线方差y＝a3x+b3，然后再利用人体脚部的y′2坐标预测值得出x′2坐标预测值，最终由人体头部坐标计算得到人体脚部的坐标。
优选的，所述步骤F7中，对人体脚部坐标利用转换坐标系与偏移量xd，yd计算得出人体在平面图中的真实世界坐标。
本发明与现有技术相比，其有益效果是：根据光路可逆、平面投影与立体投影原理，采用透视变换实现了自动化的根据摄像头图像与可提供的人体头部或脚部坐标对人体在世界坐标系中的真实坐标进行预测，可供参考的同类算法很少，其自动化的处理过程相比原始的人工定位拥有质的飞跃，减少了在人体跟踪定位上所需消耗的人力物力财力，且可实时根据输入预测并更新人体坐标，实现对人体的实时跟踪。
附图说明
图1为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的流程图；
图2为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的摄像头拍摄画面图；
图3为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的利用方形框矫正得到M矩阵的方式对摄像头拍摄画面进行透视变换后的图；
图4为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的根据立体投影原理定位摄像头在类俯视图中位置的示意图；
图5为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的根据平面投影原理计算人体y′2坐标示意图；
图6为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的根据已知的直线方程与y′2坐标计算人脚x′2坐标的示意图；
图7为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的计算得到的人脚像素坐标通过转换坐标系转换为平面图中的真实坐标的示意图；
图8为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的标准件示意图；
图9为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的定位效果图；
图10为根据本发明的基于视频图像的行人定位及轨迹跟踪方法的将根据每一帧拍摄图像得到人体坐标进行定位并按照时间顺序进行连线后的轨迹图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1-10，一种基于视频图像的行人定位及轨迹跟踪方法，包括：
a.获取摄像头的参数；
b.根据摄像头的参数进行人体定位；
所述步骤a还包括以下步骤：
S1、制作标准件；
S2、将步骤S1中的标准件放置于摄像头画面中所包含的地面范围的中央附近；
S3、获取M矩阵；
S4、通过步骤S3的矩阵获取其他参数；
所述步骤b还包括以下步骤：
F1、将人体头部或脚部像素坐标输入；
F2、通过M矩阵将拍摄图像中的人体头部或脚部像素坐标转换为类俯视图中的坐标，如下公式(1)：
其中，x′等为转换后坐标，x为转换前坐标；
F3、获取摄像头在类俯视图中坐标；
F4、获取摄像头在类俯视图中所表现出的虚拟高度H2；
F5、进行人体脚部像素坐标y′2预测；
F6、人体脚部像素坐标x′2预测；
F7、进行坐标系转换。
进一步的，所述步骤S3中，通过利用透视变换公式将因拍摄导致变形的此图像中的标准件中的贴地方形框转换为标准正方形而得到将此图像转换至相应类俯视图所需的透视变换使用的M矩阵，并保存得到M所需的两组相对应的点，每组点包含4个；
所述步骤S4中，利用M矩阵对此图像进行透视变换，获得标准件中的两个竖直参照物与贴地转换坐标系(贴地转换坐标系的X、Y坐标轴需与需定位场地平面图中的X、Y坐标轴平行)在类俯视图中的像素坐标以及转换坐标系X、Y轴与平面图X、Y轴之间的偏移量(yd，xd)，一共7对坐标，2个数值。
进一步的，所述步骤F3中，根据立体投影原理利用类俯视图中已知的两组竖直参照物端点坐标x11，y11，x12，y12与x21，y21，x22，y22计算出两组数值参照物端点坐标所在的两条直线的交点x，y，此交点为类俯视图中的摄像头坐标，计算公式如式(2)：
所述步骤F4中，根据光路可逆与平面投影原理利用类俯视图中的摄像头坐标x，y与一组已知高度H′的竖直参照物两端点的Y坐标y11，y12根据投影原理计算出类俯视图中摄像头的虚拟高度H2，如式(3)所示：
所述步骤F5中，若输入为人脚坐标，则直接转到F7，若输入为人体头部坐标x′1，y′1，则根据预先设定的身高值H1，根据平面投影原理，使用摄像头虚拟高度H2、类俯视图中摄像头坐标x，y，计算出人脚像素坐标的y′2值，如式(4)所示：
所述步骤F6中，通过已知的人头坐标与摄像头坐标求出直线公式y＝a3x+b3，再使用直线公式通过已知的y′2坐标得到x′2坐标；
所述步骤F7中，计算人脚像素坐标至转换坐标系的X、Y轴的距离，并加上X轴与Y轴的偏移量yd，xd，得到人体在世界坐标系中的真实坐标。
进一步的，所述步骤S3中，通过将在摄像头拍摄画面中的标准件的贴地部分的已知大小的方形框矫正为标准方形框得到透视变换需要的M矩阵，通过摄像头拍摄画面中依照逆时针方向从左上角开始选定方形框的四个端点，然后再根据方形框在画面中的相对位置估计出其在转换后图像中的大致位置与四个端点的预测坐标，利用这两组点与公式(5)计算出M矩阵：
其中这两组点中，摄像头拍摄画面中点为x、y，透视变换后的点为x′、y′，每一对相互对应的点均可得到2个方程组，4对点可以得到8个方程组，利用这8个方程组求解便可得到M矩阵。
进一步的，所述步骤S4中，利用得到的M矩阵计算标准件中竖直参照物的两组共四个端点、转换坐标系的三个端点，以及现场测量此摄像头所属转换坐标系的X、Y轴至定义的平面图的X、Y轴之间的距离即偏移量yd，xd，利用M矩阵计算摄像头拍摄图像坐标相对应的透视变换图中的点的公式如(7)所示：
进一步的，所述步骤F3中，使用两组竖直参照物经M矩阵透视变换得到的两组端点，计算得到两组端点所表示的两条直线的交点，此交点为类俯视图中摄像头所在位置，计算公式如式(2)所示。
进一步的，所述步骤F4与步骤F5中，根据光路可逆与平面投影原理利用摄像头坐标与一组已知高度的竖直参照物两端点坐标根据投影原理计算出类俯视图中摄像头的虚拟高度H2，并利用H2结合被测人体身高、摄像头在类俯视图中的坐标(已知)、人体头部坐标(已知)，同样利用平面投影原理计算出人体脚部的y′2坐标。
进一步的，所述步骤F6中，根据立体投影原理，在类俯视图中人体头部坐标、脚部坐标与摄像头坐标在一条直线上，利用头部与摄像头坐标得出之直线方差y＝a3x+b3，然后再利用人体脚部的y′2坐标预测值得出x′2坐标预测值，最终由人体头部坐标计算得到人体脚部的坐标。
进一步的，所述步骤F7中，对人体脚部坐标利用转换坐标系与偏移量xd，yd计算得出人体在平面图中的真实世界坐标。
实施例1
参数测量：
(1)将标准件摆放至摄像头拍摄画面中的地面范围的中央附近。
(2)代码通过将画面中标准件贴地部分的畸变方形框矫正为标准方形，得到透视变换使用的M矩阵。
M＝[[6.11777323e-01,1.99502779e+00,1.98119840e+03][8.55271600e-14,4.84235156e+00,4.67140948e+03][1.61211817e-17,7.79955153e-04,1.00000000e+00]]
(3)考虑到M矩阵参数的精度，将不会直接存储M矩阵，而是存储产生M矩阵所使用的两组坐标点，每组4对坐标点，步骤(2)中的两组坐标点分别为：[[1286,820],[1327,1071],[1627,1071],[1554,820]]与[[2686,5271],[2686,5371],[2786,5371],[2786,5271]]。第一组为原图(摄像头拍摄画面)中的标准件的贴地方形的四个端点的像素坐标；第二组为预测的透视变换后的此四个端点可能所在的位置(通过方形框在画面中的相对位置预测，此时还未生成M矩阵)。
(4)通过M矩阵对标准件进行处理得到标准件上的两个竖直参照物的四个端点得到这四个端点在类俯视图中的像素坐标(即透视变换后图)：
reference_1＝[2715,5190]，reference_2＝[2686,5271]，
reference_3＝[2844,5193]，reference_4＝[2785,5271]，
co_point＝[[2545,5070],[2512,5066],[2546,5101]]
reference_1与reference_2为左侧竖直参照变换后的两个端点，reference_3与reference_4为右侧竖直参照变换后的两个端点，co_point为转换坐标系变换后的三个端点，分别为原点、X轴方向点、Y轴方向点。
(5)测量画面中的转换坐标系的X、Y轴至整个场地平面图的X、Y轴的距离yd，xd，即偏移量。
人体定位：
(1)根据立体投影原理，利用变换后的两组竖直参照物的四个端点计算出在类俯视图中摄像头的位置，图中红圈即为摄像头在类俯视图中的预测位置。
(2)根据光路可逆与平面投影原理，通过已知的标准件中的竖直参照物高度H′、摄像头像数坐标(上一节计算得出)与人头坐标y′1坐标，计算出人脚的y′2坐标，其中L1＝(H1/H2)×L2，L2＝y-y′1。
(3)同样根据立体投影原理，在类俯视图中，人体头部坐标、人体脚部坐标与摄像头坐标应处于统一直线上，通过已知的人体头部坐标与摄像头坐标建立直线方程，将人体脚部坐标已知的y′2坐标带入公式计算出x′2坐标，得到人体脚部的坐标。
(4)计算人体脚部像素坐标x′2、y′2至转换坐标系的X、Y轴之间的距离S1、S2，并分别将S1、S2加上偏移量xd、yd，得到基于平面图的真实坐标。
这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (9)

1.一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，包括以下步骤：
a.获取摄像头的参数；
b.根据摄像头的参数进行人体定位；
所述步骤a还包括以下步骤：
S1、制作标准件；
S2、将步骤S1中的标准件放置于摄像头画面中所包含的地面范围的中央附近；
S3、获取M矩阵；
S4、通过步骤S3的矩阵获取其他参数；
所述步骤b还包括以下步骤：
F1、将人体头部或脚部像素坐标输入；
F2、通过M矩阵将拍摄图像中的人体头部或脚部像素坐标转换为类俯视图中的坐标，如下公式(1)：
其中，{a11，a21}，{a12，a22}，{a13，a23}为旋转变量，{a31，a32，a33}分别为平移变量，x′为转换后坐标，x为转换前坐标；
F3、获取摄像头在类俯视图中坐标；
F4、获取摄像头在类俯视图中所表现出的虚拟高度H2；
F5、进行人体脚部像素坐标y′2预测；
F6、人体脚部像素坐标x2′预测；
F7、进行坐标系转换。
2.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤S3中，通过利用透视变换公式将因拍摄导致变形的此图像中的标准件中的贴地方形框转换为标准正方形而得到将此图像转换至相应类俯视图所需的透视变换使用的M矩阵，并保存得到M所需的两组相对应的点，每组点包含4个；
所述步骤S4中，利用M矩阵对此图像进行透视变换，获得标准件中的两个竖直参照物与贴地转换坐标系，贴地转换坐标系的X、Y坐标轴需与需定位场地平面图中的X、Y坐标轴平行，且方向一致，在类俯视图中的像素坐标以及转换坐标系X、Y轴与平面图X、Y轴之间的偏移量(yd，xd)，一共7对坐标，2个数值。
3.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤F3中，根据立体投影原理利用类俯视图中已知的两组竖直参照物端点坐标x11，y11，x12，y12与x21，y21，x22，y22计算出两组竖直参照物端点坐标所在的两条直线的交点x，y，此交点为类俯视图中的摄像头坐标，计算公式如式(2)：
其中，a1与a2表示两端点所确定直线的斜率，b1与b2则表示此直线在y轴上的平移量，
所述步骤F4中，根据光路可逆与平面投影原理利用类俯视图中的摄像头坐标x，y与一组已知高度H′的竖直参照物两端点的Y坐标y11，y12根据投影原理计算出类俯视图中摄像头的虚拟高度H2，如式(3)所示：
所述步骤F5中，若输入为人脚坐标，则直接转到F7，若输入为人体头部坐标x′1，y′1，则根据预先设定的身高值H1，根据平面投影原理，使用摄像头虚拟高度H2、类俯视图中摄像头坐标x，y，计算出人脚像素坐标的y′2值，如式(4)所示：
所述步骤F6中，通过已知的人头坐标与摄像头坐标求出直线公式y＝a3x+b3，再使用直线公式通过已知的y′2坐标得到x′2坐标；
所述步骤F7中，计算人脚像素坐标至转换坐标系的X、Y轴的距离，并加上X轴与Y轴的偏移量yd，xd，得到人体在世界坐标系中的真实坐标。
4.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤S3中，通过将在摄像头拍摄画面中的标准件的贴地部分的已知大小的方形框矫正为标准方形框得到透视变换需要的M矩阵，通过摄像头拍摄画面中依照逆时针方向从左上角开始选定方形框的四个端点，然后再根据方形框在画面中的相对位置估计出其在转换后图像中的位置与四个端点的预测坐标，利用这两组点与公式(5)计算出M矩阵：
其中这两组点中，{a11，a21}，{a12，a22}，{a13，a23}为旋转变量，{a31，a32，a33}分别为平移变量，摄像头拍摄画面中点为x、y，透视变换后的点为x′、y′，每一对相互对应的点均得到2个方程组，4对点得到8个方程组，利用这8个方程组求解便可得到M矩阵。
5.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤S4中，利用得到的M矩阵计算标准件中竖直参照物的两组共四个端点、转换坐标系的三个端点，以及现场测量此摄像头所属转换坐标系的X、Y轴至定义的平面图的X、Y轴之间的距离即偏移量yd，xd，利用M矩阵计算摄像头拍摄图像坐标相对应的透视变换图中的点的公式如(7)所示：
其中{a11，a21}，{a12，a22}，{a13，a23}为旋转变量，{a31，a32，a33}分别为平移变量。
6.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤F3中，使用两组竖直参照物经M矩阵透视变换得到的两组端点，计算得到两组端点所表示的两条直线的交点，此交点为类俯视图中摄像头所在位置，计算公式如式(2)所示。
7.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤F4与步骤F5中，根据光路可逆与平面投影原理利用摄像头坐标与一组已知高度的竖直参照物两端点坐标根据投影原理计算出类俯视图中摄像头的虚拟高度H2，并利用H2结合被测人体身高、摄像头在类俯视图中的坐标、人体头部坐标，同样利用平面投影原理计算出人体脚部的y′2坐标。
8.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤F6中，根据立体投影原理，在类俯视图中人体头部坐标、脚部坐标与摄像头坐标在一条直线上，利用头部与摄像头坐标得出之直线方差y＝a3x+b3，其中a3表示两端点所确定直线的斜率，b3表示此直线在y轴上的平移量，然后再利用人体脚部的y′2坐标预测值得出x′2坐标预测值，最终由人体头部坐标计算得到人体脚部的坐标。
9.如权利要求1所述的一种基于视频图像的行人定位及轨迹跟踪方法，其特征在于，所述步骤F7中，对人体脚部坐标利用转换坐标系与偏移量xd，yd计算得出人体在平面图中的真实世界坐标。
CN202110724106.6A 2021-06-29 2021-06-29 一种基于视频图像的行人定位及轨迹跟踪方法 Active CN113643363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110724106.6A CN113643363B (zh) 2021-06-29 2021-06-29 一种基于视频图像的行人定位及轨迹跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110724106.6A CN113643363B (zh) 2021-06-29 2021-06-29 一种基于视频图像的行人定位及轨迹跟踪方法

Publications (2)

Publication Number Publication Date
CN113643363A CN113643363A (zh) 2021-11-12
CN113643363B true CN113643363B (zh) 2023-12-26

Family

ID=78416302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110724106.6A Active CN113643363B (zh) 2021-06-29 2021-06-29 一种基于视频图像的行人定位及轨迹跟踪方法

Country Status (1)

Country Link
CN (1) CN113643363B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913490A (zh) * 2022-05-11 2022-08-16 超级视线科技有限公司 一种基于道路标定点的车辆目标位置的确定方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106361345A (zh) * 2016-11-29 2017-02-01 公安部第三研究所 基于摄像头标定的视频图像中人体身高测量的系统及方法
CN111199556A (zh) * 2019-12-31 2020-05-26 同济大学 基于摄像头的室内行人检测和跟踪方法
JP2021085855A (ja) * 2019-11-29 2021-06-03 公立大学法人会津大学 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106361345A (zh) * 2016-11-29 2017-02-01 公安部第三研究所 基于摄像头标定的视频图像中人体身高测量的系统及方法
JP2021085855A (ja) * 2019-11-29 2021-06-03 公立大学法人会津大学 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
CN111199556A (zh) * 2019-12-31 2020-05-26 同济大学 基于摄像头的室内行人检测和跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust image hashing with embedding vector variance of LLE;ZhenjunTang 等;《Digital Signal Processing》;第43卷;第17-27页 *

Also Published As

Publication number Publication date
CN113643363A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
CN110599540A (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
Buenaposada et al. Real-time tracking and estimation of plane pose
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN110458896B (zh) 一种基于绝对二次曲面的相机内参求解方法及系统
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
CN113643363B (zh) 一种基于视频图像的行人定位及轨迹跟踪方法
CN115326025A (zh) 一种用于海浪的双目影像测量与预测方法
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN105957005A (zh) 基于特征点和结构线的桥梁影像拼接方法
CN105894505A (zh) 一种基于多摄像机几何约束的快速行人定位方法
CN104200469A (zh) 一种视觉智能数控系统的数据融合方法
Zhuo et al. Stereo matching approach using zooming images
KR100657542B1 (ko) 감시카메라의 왜곡보정을 통한 신장계측 장치,방법, 그방법이 기록된 기록매체 및 기준점 설정장치
WO2022253043A1 (zh) 人脸深度图像的面部变形补偿方法、成像装置和存储介质
CN117726687B (zh) 一种融合实景三维与视频的视觉重定位方法
Wang et al. Automatic Registration of Panoramic Image and Point Cloud Based on the Shape of the Overall Ground Object
US20240233261A1 (en) Vector data projection and feature matching to determine three-dimensional structure
CN109978758B (zh) 一种基于计算机图形图像的三维建模方法
Jeon et al. NeRF-Con: Neural Radiance Fields for Automated Construction Progress Monitoring
Li et al. Machine Generated Method of Fisheye Image Datasets
Liu et al. Construction and Visualization of the Target 3D Model Based on Multiple-View Images
Zhang et al. Extracting 3d Semantic Information from Video Surveillance System Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant