CN114527294B - 一种基于单个摄像头的目标速度测量方法 - Google Patents

一种基于单个摄像头的目标速度测量方法 Download PDF

Info

Publication number
CN114527294B
CN114527294B CN202210432831.0A CN202210432831A CN114527294B CN 114527294 B CN114527294 B CN 114527294B CN 202210432831 A CN202210432831 A CN 202210432831A CN 114527294 B CN114527294 B CN 114527294B
Authority
CN
China
Prior art keywords
target
current frame
target window
camera
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210432831.0A
Other languages
English (en)
Other versions
CN114527294A (zh
Inventor
万森
高东奇
耿良苑
王意德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Keda Qingtian Technology Co ltd
Original Assignee
Anhui Keda Qingtian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Keda Qingtian Technology Co ltd filed Critical Anhui Keda Qingtian Technology Co ltd
Priority to CN202210432831.0A priority Critical patent/CN114527294B/zh
Publication of CN114527294A publication Critical patent/CN114527294A/zh
Application granted granted Critical
Publication of CN114527294B publication Critical patent/CN114527294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单个摄像头的目标速度测量方法,根据摄像机的焦距,目标实际高度,利用经验值或目标类物体的平均值作为目标实际高度,在视频流的帧图像上即可对目标速度进行求解。利用参考帧目标窗口与当前帧目标窗口之间的缩放系数,可计算目标平行于相机光轴方向的速度分量,利用参考帧目标窗口与当前帧目标窗口在同一图像坐标系中的位移像素,计算目标在垂直于相机光轴方向的平面内的速度分量。通过求解得到两个方向的速度分量,即可完全描述当前帧状态下目标的运动速度方向及大小。

Description

一种基于单个摄像头的目标速度测量方法
技术领域
本发明涉及图像处理技术领域,尤其是一种基于单个摄像头的目标速度测量方法。
背景技术
随着传感器芯片、网络传输、图像处理技术的飞速发展,视频监控系统在城乡、道路网等区域发挥着重要作用。其中,异常行为检测是视频监控中图像处理领域的一个重要课题。通过针对个人、或人群异常行为的检测,能够实时监控并及时发现打架、斗殴、奔跑、人群聚集等特殊事件,是维护公共安全的重要手段。
目前针对行为异常检测的算法方案基本上为深度学习方案,若想达到较好的效果,需要大量实测数据来训练,而异常行为大部分为偶发性事件,如何获取大量有效数据或者如何使用小样本进行深度学习,是一直存在的问题;此外深度学习方案通常需要较大的算力支撑,低成本嵌入式平台通常无法支撑类似任务。
发明内容
为了克服上述现有技术中的缺陷,本发明提供一种基于单个摄像头的目标速度测量方法,测速方法简单易实现。
为实现上述目的,本发明采用以下技术方案,包括:
一种基于单个摄像头的目标速度测量方法,包括以下步骤:
S1,基于单个摄像头的视频流进行目标检测,对视频流中的图像分别进行目标检测,检测图像中的目标;
S2,在视频流的时间序列中,选取一张图像作为计算帧图像即当前帧图像,选取该当前帧图像的前固定间隔帧的图像作为参考帧图像;分别提取参考帧图像、当前帧图像中目标检测框的窗口图像即目标窗口,得到参考帧目标窗口和当前帧目标窗口;
S3,以相机光心为原点,建立三维的相机坐标系,其中,相机坐标系的y轴和x轴分别平行于图像中的纵轴和横轴,相机坐标系的z轴平行于相机光轴;
在同一图像坐标系中,参考帧目标窗口与当前帧目标窗口之间的缩放系数为k;参考帧目标窗口与当前帧目标窗口之间沿横轴方向的位移像素为u,沿纵轴方向的位移像素为v;
S4,根据摄像机的焦距F,目标实际高度r,当前帧目标窗口的高度R,计算当前帧图像中,目标相对相机沿相机光轴方向的距离D,D=(r/R)*F;
S5,计算当前帧下,目标沿平行于相机光轴方向的速度分量Vz:
Vz=-D*(k/s);
其中,s为参考帧图像与当前帧图像之间的时间差;
S6,计算当前帧下,目标在垂直于相机光轴方向的平面内的速度分量Vxoy:
Vxoy=(D/F)*(m/s);
Figure 39485DEST_PATH_IMAGE001
其中,m为在图像坐标系中参考帧目标窗口与当前帧目标窗口之间在xoy平面内的位移像素;
S7,根据当前帧下,目标沿平行于相机光轴方向的速度分量Vz和目标在垂直于相机光轴方向的平面内的速度分量Vxoy,确定当前帧下目标的速度大小和速度方向。
优选的,步骤S3中,u的取值为参考帧目标窗口的中心点P与当前帧目标窗口的中心点P'之间沿横轴方向的位移像素;v的取值为参考帧目标窗口的中心点P与当前帧目标窗口的中心点P'之间沿纵轴方向的位移像素。
优选的,步骤S3中,参考帧目标窗口与当前帧目标窗口之间的缩放系数k,以及沿横轴方向的位移像素u和沿纵轴方向的位移像素v的求解方式如下所示:
S31,在图像坐标系中,若以参考帧目标窗口的中心点P为原点,参考帧目标窗口中目标点Q的横轴坐标值和纵轴坐标值分别为Qx和Qy,则当前帧目标窗口中与参考帧目标窗口中该目标点Q相对应的目标目标点Q'的横轴坐标值Qx'和纵轴坐标值Qy'分别为:
Qx'=u+k*Qx;
Qy'=v+k*Qy;
将[k,u,v]记为变形参数向量W,即W=[k,u,v];
S32,设计目标函数L,如下所示:
Figure 769248DEST_PATH_IMAGE003
其中,f(Q)为参考帧目标窗口中目标点Q的灰度值,g(Q')为当前帧目标窗口中目标点Q'的灰度值;Mask=1表示目标窗口的目标区域;
S33,对变形参数向量W进行迭代更新,寻找变形参数向量W的最优值,其中,目标函数L的值越小,对应的变形参数向量W的值越优;变形参数向量W的最优值对应的k、u、v即为所求值。
优选的,步骤S4中,根据图像坐标系中参考帧目标窗口的测量高度h,以及求解得到的参考帧目标窗口与当前帧目标窗口之间缩放系数k,计算得到当前帧目标窗口的高度R,R=h*(1+k)。
优选的,在迭代初始时变形参数向量W的初始值W(0)为:
W(0)=[(h'/h)-1,Px'-Px,Py'-Py];
其中,Px、Py分别为图像坐标系中参考帧目标窗口的中心点P的横轴坐标值和纵轴坐标值;h为图像坐标系中参考帧目标窗口的测量高度;Px'、Py'分别为图像坐标系中当前帧目标窗口的中心点P的横轴坐标值和纵轴坐标值;h'为图像坐标系中当前帧目标窗口的测量高度。
优选的,步骤S33中,利用迭代公式对变形参数向量W进行迭代更新,迭代公式如下所示:
Figure 579258DEST_PATH_IMAGE004
其中,W(n)为第n次迭代得到的变形参数向量W的值;W(n+1)为第n+1次迭代得到的变形参数向量W的值;
Figure 50690DEST_PATH_IMAGE005
分别为第n次迭代得到的目标函数L关于变形参数向量W的一阶偏导数、二阶偏导数;
若迭代前后的变形参数向量W之差的模,即W(n+1)-W(n)的绝对值小于设定阈值e,则停止迭代,此时变形参数向量W的值为最优值;否则继续进行迭代更新。
优选的,目标函数L关于变形参数向量W求一阶偏导,得到:
Figure 66237DEST_PATH_IMAGE006
其中,i=1,2,3,W1为缩放系数k,W2为沿横轴方向的位移像素u,W3为沿纵轴方向的位移像素v;
Figure 104600DEST_PATH_IMAGE007
其中,
Figure 645303DEST_PATH_IMAGE008
分别为当前帧目标窗口中的目标点Q'在横轴方向和在纵轴方向的灰度梯度。
优选的,步骤S33中,目标函数L关于变形参数向量W求二阶偏导,得到:
Figure 819932DEST_PATH_IMAGE009
本发明的优点在于:
(1)本发明提供一种基于单个摄像头的目标速度测量方法,可以对移动的人员、投掷的物品、运动的球、车辆等进行测速,可用于监控场景中的目标速度,实现如人员奔跑、高空抛物、车辆超速等异常行为监控。
(2)本发明相对于现有技术的测速方法,无需进行标定,仅需目标尺寸的经验数值即可大致估算速度;也无需进行平面假设,即无需利用目标接地位置在鸟瞰图进行测距、测速。本发明通过缩放系数及位移像素计算速度,在任意监控场景、任意角度、任意地形下、目标在画面中的任何位置均可使用,具有较强的通用性,其误差仅来源于目标尺寸的经验数值。
(3)本发明的目标速度测量方法基于传统图像方法,无需大规模数据训练,计算数据仅针对目标窗口区域,测量速度极快,计算量小,可移植到通用型的嵌入式平台上,实现多目标的速度计算及跟踪。
(4)将目标速度分解为垂直于光轴方向速度分量和在垂直于相机光轴方向的平面内的速度分量,能够完成目标速度的大小和方向的完整描述。
本发明通过变形参数向量来描述目标窗口的缩放,并通过迭代算法精确求解,最终可精确解算目标垂直于光轴方向速度分量,解决了通常方法下无法获取目标垂直于光轴方向速度分量的问题。
附图说明
图1为本发明的一种基于单个摄像头的目标速度测量方法流程图。
图2为图像坐标系中参考帧目标窗口和当前帧目标窗口的示意图。
图3为同一图像坐标系下参考帧目标窗口和当前帧目标窗口的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由图1所示,一种基于单个摄像头的目标速度测量方法,包括以下步骤:
S1,在单个摄像头的视频流进行目标检测,使用目标检测等深度学习网络或其他机器学习方法,对视频流中的图像分别进行目标检测,检测出图像中的目标位置;
目标检测过程中,每一帧图像中都有其对应的目标检测框的窗口图像即目标窗口,目标窗口中包括目标区域和非目标区域;目标检测过程中,设置有目标区域的Mask掩膜,即在目标窗口中,目标区域的Mask值为1,其余区域的Mask值为0。
现有技术中,目标检测有较多的开源轻量化模型可以使用,其开发难度较小;也可以使用检测和跟踪相结合的算法方案,即间隔若干帧检测,使用跟踪算法提升计算帧率,常见的经典跟踪算法如KCF(Kernel Correlation Filter)、CSK(Circulant Structure ofTracking-by-detection with Kernels)等等均可满足需求。此步骤S1内的算法已经较为成熟,具体可参见现有技术。
S2,在视频流的时间序列中,选取一张图像作为计算帧图像即当前帧图像,选取该当前帧图像的前固定间隔帧的图像作为参考帧图像;分别提取参考帧图像、当前帧图像中目标检测框的窗口图像即目标窗口,得到参考帧目标窗口和当前帧目标窗口,如图2所示。
S3,以相机光心为原点,建立三维的相机坐标系,其中,相机坐标系的y轴和x轴分别平行于图像中的纵轴和横轴,相机坐标系的z轴平行于相机光轴。
在同一图像坐标系中,参考帧目标窗口与当前帧目标窗口之间的缩放系数为k;参考帧目标窗口与当前帧目标窗口之间沿横轴方向的位移像素为u,沿纵轴方向的位移像素为v。
将目标速度V分解为:目标沿平行于相机光轴方向的速度分量Vz和目标在垂直于相机光轴方向的平面内的速度分量Vxoy。
S4,根据摄像机的焦距F,目标实际高度r,当前帧目标窗口的高度R,计算当前帧图像中,目标相对相机沿相机光轴方向的距离D,D=(r/R)*F。
其中,当前帧目标窗口的高度R,利用图像坐标系中参考帧目标窗口的测量高度h,以及参考帧目标窗口与当前帧目标窗口之间缩放系数k,计算得到R=h*(1+k);测量高度是指:由目标检测或目标跟踪算法或其他有效目标提取手段得到的目标检测框的高度。
本发明的目标速度测量方法,可以对移动的人员、投掷的物品、运动的球、车辆等进行测速,本实施例中,对人体进行测速,判断视频流中的人体是在跑步还是在走路,即目标为人体,由于本实施例仅需判断视频流中的人体是在跑步还是在走路,因此以人体平均身高作为目标实际高度r,取值为165cm,该平均身高取值一般误差在30%以内,而跑步速度为正常走路速度的3-5倍,故按照平均身高的最大误差来估算,跑步速度与走路速度比较,仍具有较强的显著性可以区分;并且,本实施例中,以当前帧图像作为计算帧图像,选取连续的前一帧图像作为参考帧图像。
S5,计算当前帧下,目标沿平行于相机光轴方向的速度分量Vz:
Vz=-D*(k/s);
其中,s为参考帧图像与当前帧图像的时间差。
S6,计算当前帧下,目标在垂直于相机光轴方向的平面内的速度分量Vxoy:
Vxoy=(D/F)*(m/s);
Figure 951836DEST_PATH_IMAGE001
其中,m为在图像坐标系中,参考帧目标窗口与当前帧目标窗口之间在xoy平面内的位移像素。
S7,根据当前帧下,目标沿平行于相机光轴方向的速度分量Vz和目标在垂直于相机光轴方向的平面内的速度分量Vxoy,确定当前帧下目标的速度大小和速度方向。
步骤S3中,u的取值为参考帧目标窗口的中心点P与当前帧目标窗口的中心点P'之间沿横轴方向的位移像素。v的取值为参考帧目标窗口的中心点P与当前帧目标窗口的中心点P'之间沿纵轴方向的位移像素。参考帧目标窗口与当前帧目标窗口之间的缩放系数k,用于描述由于目标到相机的光轴方向的距离变化导致目标在图像上缩放程度。
参考帧目标窗口与当前帧目标窗口之间沿横轴方向的位移像素u、沿纵轴方向的位移像素v,以及参考帧目标窗口与当前帧目标窗口之间的缩放系数k,具体求解方法如下所示:
S31,在图像坐标系中,若以参考帧目标窗口的中心点P为原点,参考帧目标窗口中Mask值为1的目标点Q的横轴坐标值和纵轴坐标值分别为Qx和Qy,则当前帧目标窗口中与参考帧目标窗口中该目标点Q相对应的目标点Q'的横轴坐标值Qx'和纵轴坐标值Qy'分别为:
Qx'=u+k*Qx;
Qy'=v+k*Qy;
上式可转化为:
Figure 211916DEST_PATH_IMAGE010
Figure 25151DEST_PATH_IMAGE011
记为变形矩阵,将W=(k,u,v)记为变形参数向量;
S32,参考帧目标窗口中目标点Q的灰度值为f(Q),当前帧目标窗口中与参考帧目标窗口中该目标点Q相对应的目标点Q'的灰度值为g(Q')。
在进行视差匹配时,需要选取匹配代价来衡量参考帧目标窗口和当前帧目标窗口中目标区域的相似度,即Mask值为1的区域的相似度。优选的,可选用绝对误差和SAD(Sumof Absolute Differences)、误差平方和SSD(Sum of square differences)、归一化互相关系数NCC(Normalized cross correlation)等作为视差计算中的相似度衡量标准。
确认完成所选取的匹配代价,从而设计目标函数L,当目标函数L取值最小时,参考帧目标窗口与当前帧目标窗口相似度最大,此时对应的变形参数向量W可精确描述描述目标窗口从参考帧到当前帧的缩放系数k和位移像素u、v。
目标函数L,如下所示:
Figure 319867DEST_PATH_IMAGE012
S33,目标函数L为非线性函数,使用非线性迭代方法进行求解,现有技术中可供选择的成熟的算法框架有LM、Newton-Raphson、最速下降法等迭代算法。本发明以Newton-Raphson迭代算法为例,变形参数向量W使用下式进行迭代:
Figure 622672DEST_PATH_IMAGE013
其中,W(n)为第n次迭代得到的变形参数向量W的取值;W(n+1)为第n+1次迭代得到的变形参数向量W的取值;
Figure 307731DEST_PATH_IMAGE014
分别为第n次迭代得到的目标函数L关于变形参数向量W的一阶偏导数、二阶偏导数;二阶偏导又通常被称为海森(Hessian)矩阵。
S34,设定阈值e,当迭代后的变形参数向量W的变化较小时,停止迭代,通常使用迭代前后的变形参数向量W之差的模|W(n+1)-W(n)|来衡量,若迭代前后的变形参数向量W之差的模即|W(n+1)-W(n)|小于设定阈值e,或者超过设定的最大迭代次数,则停止迭代,输出此时的变形参数向量W;否则按照步骤S33的方式继续进行迭代更新。
步骤S33中,在迭代初始时变形参数向量W的初始值为W(0),使用参考帧目标窗口和当前帧目标窗口的中心点位置和测量高度,构建初始值W(0),具体如下所示:
在图像坐标系中,若参考帧目标窗口的中心点P的横轴坐标值和纵轴坐标值分别为Px、Py,参考帧目标窗口的测量高度为h,当前帧目标窗口的中心点P’的横轴坐标值和纵轴坐标值分别为Px’、Py’,当前帧目标窗口的测量高度为h',则在迭代初始时变形矩阵为:
Figure 721395DEST_PATH_IMAGE015
在迭代初始时变形参数向量W的初始值W(0)=[(h'/h)-1,Px'-Px,Py'-Py],即在迭代初始时,参考目标窗口与当前帧目标窗口之间的缩放系数k初始值为(h'/h)-1,沿横轴方向的位移像素u初始值为Px'-Px,沿纵轴方向的位移像素v初始值为Py'-Py;
步骤S33中,目标函数L关于变形参数向量W求一阶偏导,得到:
Figure 605037DEST_PATH_IMAGE016
其中,i=1,2,3,W1为缩放系数k,W2为沿横轴方向的位移像素u,W3为沿纵轴方向的位移像素v;
Figure 341394DEST_PATH_IMAGE017
其中,
Figure 310487DEST_PATH_IMAGE018
分别为当前帧目标窗口中的目标点Q'在横轴方向和在纵轴方向的灰度梯度,所述灰度梯度由梯度算子求得,如sobel算子;
目标函数L关于变形参数向量W求二阶偏导,得到:
Figure 262262DEST_PATH_IMAGE019
其中,沿横轴方向的位移像素u,沿纵轴方向的位移像素v,缩放系数k均为关于参数的一次函数,即:
Figure 469253DEST_PATH_IMAGE020
因此,
Figure 113860DEST_PATH_IMAGE021
Figure 835829DEST_PATH_IMAGE022
代入变形参数向量W的迭代公式中,即可求解变形参数向量W。
步骤S4中,根据图像坐标系中参考帧目标窗口的测量高度h,以及求解得到的参考帧目标窗口与当前帧目标窗口之间缩放系数k,计算得到当前帧目标窗口的高度R,R=h*(1+k)。
步骤S5中,当前帧下,目标沿平行于相机光轴方向的速度分量Vz的计算过程如下所示:
根据摄像机的焦距F,目标实际高度r,当前帧目标窗口的高度R,计算当前帧图像中,在相机坐标系中,目标在相机光轴方向上的投影即为目标相对相机沿相机光轴方向的距离D,根据相机的小孔成像模型,D=(r/R)*F;
由于距离D,以及当前帧目标窗口的高度R随时间变化,是时间t的函数,因此对D=(r/R)*F在时间上求导数,从而计算目标沿平行于相机光轴方向的速度分量Vz:
Figure 591295DEST_PATH_IMAGE023
其中,距离D对时间求导即为目标沿平行于相机光轴方向上的速度分量Vz;当前帧目标窗口的高度R对时间求导即为缩放系数k,表示由于目标远离相机导致目标在图像上缩放变形的程度。
参考帧图像与当前帧图像之间的时间差为s,即可推到二者关系如下:
Figure 387213DEST_PATH_IMAGE024
求解可得:
Figure 202722DEST_PATH_IMAGE025
本实施例的摄像头拍摄频率为30fs,即相邻两帧图像之间的时间差为30ms。
由于在步骤S1中,基于深度学习或机器学习的目标检测是各帧独立进行的,缺少前后帧信息,而速度计算需要结合前后帧,因此,由目标检测所获得的目标窗口的测量高度,其精度无法满足速度计算需求,如果直接利用目标窗口的测量高度进行时间上的微分来解算速度,将会导致所获得的速度包含大量噪声。因此,本发明利用变形参数向量描述目标窗口的高度变化,在粗定位的基础上,可以更精确的计算目标在画面中的变形参数向量,从而更精确的解算速度。
步骤S6中,当前帧下,目标在垂直于相机光轴方向的平面内的速度分量Vxoy的计算过程如下所示:
在图像坐标系中,根据参考帧目标窗口与当前帧目标窗口之间沿横轴方向的位移像素u,沿纵轴方向的位移像素v,得到参考帧目标窗口与当前帧目标窗口之间在xoy平面内的位移像素为m;根据目标相对相机沿相机光轴方向的距离D对位移像素进行距离转换,得到参考帧下的目标与当前帧下的目标之间在在垂直于相机光轴方向的平面内的距离M:
Figure 411987DEST_PATH_IMAGE026
M=(D/F)*m
求解可得:
Vxoy=M/s=(D/F)*(m/s)
步骤S7中,根据当前帧下,目标沿平行于相机光轴方向的速度分量Vz和目标在垂直于相机光轴方向的平面内的速度分量Vxoy,即可完全描述该当前帧下目标运动速度的方向及大小。
实施例1:
采用一段帧率为30fps的单个摄像头监控视频中的两帧图像,分别为参考帧图像和计算帧图像即当前帧图像,两帧图像之间间隔6帧,以自行车骑手为目标,使用本发明中的方法计算目标速度,分别提取参考帧图像、当前帧图像中目标检测框的窗口图像即目标窗口,将两帧图像中目标窗口的局部放大图像叠加在同一图像坐标系下,如图3所示,其中,a框为参考帧图像中目标检测框的窗口图像即参考帧目标窗口,b框为当前帧图像中目标检测框的窗口图像即当前帧目标窗口。由目标检测得到,a框即参考帧目标窗口的测量高度h为35像素,b框即当前帧目标窗口的测量高度h'为36像素,使用本发明方法对参考帧目标窗口与当前帧目标窗口之间的变形参数向量W进行求解,得到k=0.0612,u=14.483,v=5.517。
本实施例中所使用的摄像机的焦距F=421.71像素,以自行车骑手为目标,自行车骑手整体高度约1.6m,将目标实际高度r取值为1.6m。根据缩放系数k和参考帧目标窗口的测量高度h,对当前帧目标窗口的高度进行求解,求解后得到当前帧目标窗口的高度R为37.142像素,R=h*(1+k)。使用本发明方法计算当前帧图像中,目标相对相机沿相机光轴方向的距离D=(r/R)*F=18.166m。
使用本发明方法,计算得到当前帧下目标沿平行于相机光轴方向的速度分量Vz=-5.559m/s,其中,负号表示目标在沿平行于相机光轴方向上正在向相机靠近;以及根据图像坐标系中参考帧目标窗口与当前帧目标窗口之间在xoy平面内的位移像素m=15.498像素,从而计算得到当前帧下目标在垂直于相机光轴方向的平面内的速度分量Vxoy=3.338m/s;最终,根据当前帧下目标沿平行于相机光轴方向的速度分量Vz和目标在垂直于相机光轴方向的平面内的速度分量Vxoy,得到当前帧下目标的速度为6.484m/s。
以上仅为本发明创造的较佳实施例而已,并不用以限制本发明创造,凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种基于单个摄像头的目标速度测量方法,其特征在于,包括以下步骤:
S1,基于单个摄像头的视频流进行目标检测,对视频流中的图像分别进行目标检测,检测图像中的目标;
S2,在视频流的时间序列中,选取一张图像作为计算帧图像即当前帧图像,选取该当前帧图像的前固定间隔帧的图像作为参考帧图像;分别提取参考帧图像、当前帧图像中目标检测框的窗口图像即目标窗口,得到参考帧目标窗口和当前帧目标窗口;
S3,以相机光心为原点,建立三维的相机坐标系,其中,相机坐标系的y轴和x轴分别平行于图像中的纵轴和横轴,相机坐标系的z轴平行于相机光轴;
在同一图像坐标系中,参考帧目标窗口与当前帧目标窗口之间的缩放系数为k;参考帧目标窗口与当前帧目标窗口之间沿横轴方向的位移像素为u,沿纵轴方向的位移像素为v;
S4,根据摄像机的焦距F,目标实际高度r,当前帧目标窗口的高度R,计算当前帧图像中,目标相对相机沿相机光轴方向的距离D,D=(r/R)*F;
S5,计算当前帧下,目标沿平行于相机光轴方向的速度分量Vz:
Vz=-D*(k/s);
其中,s为参考帧图像与当前帧图像之间的时间差;
S6,计算当前帧下,目标在垂直于相机光轴方向的平面内的速度分量Vxoy:
Vxoy=(D/F)*(m/s);
Figure 746334DEST_PATH_IMAGE001
其中,m为在图像坐标系中参考帧目标窗口与当前帧目标窗口之间在xoy平面内的位移像素;
S7,根据当前帧下,目标沿平行于相机光轴方向的速度分量Vz和目标在垂直于相机光轴方向的平面内的速度分量Vxoy,确定当前帧下目标的速度大小和速度方向;
步骤S3中,参考帧目标窗口与当前帧目标窗口之间的缩放系数k,以及沿横轴方向的位移像素u和沿纵轴方向的位移像素v的求解方式如下所示:
S31,在图像坐标系中,若以参考帧目标窗口的中心点P为原点,参考帧目标窗口中目标点Q的横轴坐标值和纵轴坐标值分别为Qx和Qy,则当前帧目标窗口中与参考帧目标窗口中该目标点Q相对应的目标点Q'的横轴坐标值Qx'和纵轴坐标值Qy'分别为:
Qx'=u+k*Qx;
Qy'=v+k*Qy;
将[k,u,v]记为变形参数向量W,即W=[k,u,v];
S32,设计目标函数L,如下所示:
Figure 194633DEST_PATH_IMAGE002
其中,f(Q)为参考帧目标窗口中目标点Q的灰度值,g(Q')为当前帧目标窗口中目标点Q'的灰度值;Mask=1表示目标窗口的目标区域;
S33,对变形参数向量W进行迭代更新,寻找变形参数向量W的最优值,其中,目标函数L的值越小,对应的变形参数向量W的值越优;变形参数向量W的最优值对应的k、u、v即为所求值。
2.根据权利要求1所述的一种基于单个摄像头的目标速度测量方法,其特征在于,步骤S3中,u的取值为参考帧目标窗口的中心点P与当前帧目标窗口的中心点P'之间沿横轴方向的位移像素;v的取值为参考帧目标窗口的中心点P与当前帧目标窗口的中心点P'之间沿纵轴方向的位移像素。
3.根据权利要求1所述的一种基于单个摄像头的目标速度测量方法,其特征在于,步骤S4中,根据图像坐标系中参考帧目标窗口的测量高度h,以及求解得到的参考帧目标窗口与当前帧目标窗口之间缩放系数k,计算得到当前帧目标窗口的高度R,R=h*(1+k)。
4.根据权利要求1所述的一种基于单个摄像头的目标速度测量方法,其特征在于,在迭代初始时变形参数向量W的初始值W(0)为:
W(0)=[(h'/h)-1,Px'-Px,Py'-Py];
其中,Px、Py分别为图像坐标系中参考帧目标窗口的中心点P的横轴坐标值和纵轴坐标值;h为图像坐标系中参考帧目标窗口的测量高度;Px'、Py'分别为图像坐标系中当前帧目标窗口的中心点P的横轴坐标值和纵轴坐标值;h'为图像坐标系中当前帧目标窗口的测量高度。
5.根据权利要求1所述的一种基于单个摄像头的目标速度测量方法,其特征在于,步骤S33中,利用迭代公式对变形参数向量W进行迭代更新,迭代公式如下所示:
Figure 380895DEST_PATH_IMAGE003
其中,W(n)为第n次迭代得到的变形参数向量W的值;W(n+1)为第n+1次迭代得到的变形参数向量W的值;
Figure 41683DEST_PATH_IMAGE004
分别为第n次迭代得到的目标函数L关于变形参数向量W的一阶偏导数、二阶偏导数;
若迭代前后的变形参数向量W之差的模,即W(n+1)-W(n)的绝对值小于设定阈值e,则停止迭代,此时变形参数向量W的值为最优值;否则继续进行迭代更新。
6.根据权利要求5所述的一种基于单个摄像头的目标速度测量方法,其特征在于,目标函数L关于变形参数向量W求一阶偏导,得到:
Figure 761115DEST_PATH_IMAGE005
其中,i=1,2,3,W1为缩放系数k,W2为沿横轴方向的位移像素u,W3为沿纵轴方向的位移像素v;
Figure 114736DEST_PATH_IMAGE006
其中,
Figure 788294DEST_PATH_IMAGE007
分别为当前帧目标窗口中的目标点Q'在横轴方向和在纵轴方向的灰度梯度。
7.根据权利要求6所述的一种基于单个摄像头的目标速度测量方法,其特征在于,步骤S33中,目标函数L关于变形参数向量W求二阶偏导,得到:
Figure 518353DEST_PATH_IMAGE008
CN202210432831.0A 2022-04-24 2022-04-24 一种基于单个摄像头的目标速度测量方法 Active CN114527294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210432831.0A CN114527294B (zh) 2022-04-24 2022-04-24 一种基于单个摄像头的目标速度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210432831.0A CN114527294B (zh) 2022-04-24 2022-04-24 一种基于单个摄像头的目标速度测量方法

Publications (2)

Publication Number Publication Date
CN114527294A CN114527294A (zh) 2022-05-24
CN114527294B true CN114527294B (zh) 2022-07-26

Family

ID=81627817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210432831.0A Active CN114527294B (zh) 2022-04-24 2022-04-24 一种基于单个摄像头的目标速度测量方法

Country Status (1)

Country Link
CN (1) CN114527294B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020164081A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 車両制御システム
CN114755444B (zh) * 2022-06-14 2022-10-21 天津所托瑞安汽车科技有限公司 目标速度测定方法、装置、电子设备及存储介质
CN118101905A (zh) * 2024-04-29 2024-05-28 浙江中煤液压机械有限公司 基于图像识别的自动跟机方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401375B2 (en) * 2014-04-10 2019-09-03 SZ DJI Technology Co., Ltd. Method and device for measuring flight parameters of an unmanned aerial vehicle
CN105989593B (zh) * 2015-02-12 2019-08-30 杭州海康威视系统技术有限公司 视频录像中进行特定车辆速度测量的方法及装置
CN107315095B (zh) * 2017-06-19 2019-07-02 哈尔滨工业大学 基于视频处理的具有光照适应性的多车辆自动测速方法
CN110929567B (zh) * 2019-10-17 2022-09-27 北京全路通信信号研究设计院集团有限公司 基于单目相机监控场景下目标的位置速度测量方法及系统
CN113192011A (zh) * 2021-04-13 2021-07-30 河北科技大学 一种基于监控视频图像的交通事故车速测量方法
CN113092807B (zh) * 2021-04-21 2024-05-14 上海浦江桥隧运营管理有限公司 基于多目标跟踪算法的城市高架道路车辆测速方法

Also Published As

Publication number Publication date
CN114527294A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN114527294B (zh) 一种基于单个摄像头的目标速度测量方法
CN113269098B (zh) 一种基于无人机的多目标跟踪定位与运动状态估计方法
TWI393074B (zh) 移動物體偵測裝置與方法
CN111462135A (zh) 基于视觉slam与二维语义分割的语义建图方法
US10187617B2 (en) Automatic detection of moving object by using stereo vision technique
CN111753797B (zh) 一种基于视频分析的车辆测速方法
US20080278584A1 (en) Moving Object Detection Apparatus And Method By Using Optical Flow Analysis
CN110553648A (zh) 一种用于室内导航的方法和系统
CN111429484A (zh) 一种基于交通监控视频的多目标车辆轨迹实时构建方法
CN103262121A (zh) 移动物体的检测和跟踪
CN104200492B (zh) 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN113379801B (zh) 一种基于机器视觉的高空抛物监测定位方法
CN110956069A (zh) 一种行人3d位置的检测方法及装置、车载终端
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
CN103729620B (zh) 一种基于多视角贝叶斯网络的多视角行人检测方法
CN111160220B (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
Roberts et al. Memory-based learning for visual odometry
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
CN115909223A (zh) 一种wim系统信息与监控视频数据匹配的方法和系统
CN115147344A (zh) 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法
CN112488022B (zh) 一种环视全景监控方法、装置及系统
CN111862146B (zh) 一种目标对象的定位方法及装置
CN111860378A (zh) 基于枪球联动和视频事件感知的商场消防设施巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant