CN103164860A - 平移速度确定方法及装置 - Google Patents
平移速度确定方法及装置 Download PDFInfo
- Publication number
- CN103164860A CN103164860A CN2011104198501A CN201110419850A CN103164860A CN 103164860 A CN103164860 A CN 103164860A CN 2011104198501 A CN2011104198501 A CN 2011104198501A CN 201110419850 A CN201110419850 A CN 201110419850A CN 103164860 A CN103164860 A CN 103164860A
- Authority
- CN
- China
- Prior art keywords
- search
- point
- moving object
- current frame
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005070 sampling Methods 0.000 claims description 100
- 238000013519 translation Methods 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000009499 grossing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了平移速度确定方法及装置。方法包括:计算运动物体的每个像素点周围的每个搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离;对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同搜索速度对应的和值,选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度。本发明提高了平移速度的精度。
Description
技术领域
本发明涉及运动跟踪技术领域,具体涉及平移速度确定方法及装置。
背景技术
目前,视频监控系统得到了广泛应用。智能视频监控和检索针对对象多是静止摄像头拍摄的视频,分析对象主要是视频中与背景有区别的运动物体。因此,运动物体的检测与跟踪方法是智能视频监控与检索系统中最基本和核心的技术。
运动估算是运动跟踪的一个重要部分,运动估算中的一个重要步骤是获取各个物体在相邻两帧间的平移速度,以便预测出该物体在当前帧可能出现的位置。由于物体在当前帧的实际位置应在该物体的预测位置附近,因此可利用各个物体的预测位置对当前帧获取的前景目标进行搜索,得到当前帧该物体的前景像素点、外框、轮廓等参数。
目前,获取运动物体在相邻两帧间的平移速度的基本过程为:对于前一帧中跟踪到的每个运动物体,对该运动物体中的每个像素点,在该像素点周围设置搜索点,在当前帧中该搜索点周围搜索与该搜索点最匹配的点,在所有搜索点中选择匹配距离最小的点,将该点对应的平移速度作为该运动物体在前一帧和当前帧间的平移速度。
现有技术的缺点为:
一、在搜索时,将物体周围的搜索点都当作前景点,而实际上,很可能某些搜索点为背景点,对前景点和背景点作相同处理,这样,背景点很可能作为最佳匹配点,结果将背景点对应的平移速度作为了运动物体在前一帧和当前帧间的平移速度,从而带来了较大误差。
二、搜索时,是对运动物体中的每个像素点都进行搜索,这样,运算量很大,增大了硬件逻辑资源开销。
发明内容
本发明提供平移速度确定方法及装置,以提高平移速度的精度。
本发明的技术方案是这样实现的:
一种确定运动跟踪中的平移速度的方法,包括:
接收当前帧视频图像;对前一帧跟踪的每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个像素点周围分别设置搜索点;对于每个搜索点,计算该搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;
若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离;
对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同搜索速度对应的和值,选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度。
所述在该运动物体的每个像素点周围分别设置搜索点之前进一步包括:对该运动物体中的像素点进行采样,
所述在该运动物体的每个像素点周围分别设置搜索点为:在该运动物体的每个采样点周围分别设置搜索点;
所述对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和为:对所有采样点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和。
预先设置水平方向的最大采样点数和垂直方向的最大采样点数;
所述对该运动物体中的像素点进行采样之前进一步包括:
将该运动物体的宽度除以所述水平方向的最大采样点数,对所得商值进行取整运算得到该运动物体在水平方向的采样间隔;
将该运动物体的高度除以所述垂直方向的最大采样点数,对所得商值进行取整运算得到该运动物体在垂直方向的采样间隔;
所述对该运动物体中的像素点进行采样为:按照所述运动物体在水平方向的采样间隔和在垂直方向的采样间隔,对所述运动物体中的像素点进行采样。
所述选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度之后进一步包括:
按照如下公式对该运动物体在前一帧至当前帧间的平移速度进行平滑:
avg_vx1=[vx0*(w-1)+vx1]/w
avg_vy1=[vy0*(w-1)+vy1]/w
其中,vx0、vy0分别为该运动物体在前两帧至前一帧间的平移速度的x、y分量,vx1、vy1为所述运动物体在前一帧至当前帧间的平移速度的x、y分量,w为预设权重,avg_vx1、avg_vx1分别为运动物体在前一帧至当前帧间的平滑后的平移速度的x、y分量。
所述计算该搜索点在当前帧的预测位置为:
计算
x1=x0+vx0+sx
y1=y0+vy0+sy
其中,x0,y0分别为该搜索点在前一帧的x、y方向坐标,vx0,vy0分别为所述运动物体在前两帧至前一帧间的平移速度的x、y方向分量,sx,sy分别为所述搜索点的搜索速度的x、y方向分量。
所述选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度之后进一步包括:
按照同样的二级搜索范围和二级搜索间隔,分别在每个采样点周围设置二级搜索点;对于每个二级搜索点,根据所述运动物体在前一帧至当前帧间的平移速度,计算该二级搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与二级搜索点在前一帧中的像素值之差的绝对值,若当前帧中预测位置所在像素点为前景点,则将所述绝对值作为该二级搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该二级搜索点在前一帧与当前帧间的匹配距离;
对所有采样点中二级搜索速度相同的各二级搜索点在前一帧和当前帧间的匹配距离求和;对于不同二级搜索速度对应的和值,选择和值最小的二级搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的最终平移速度。
所述二级搜索范围小于所述搜索范围,所述二级搜索间隔小于所述搜索间隔。
所述计算该二级搜索点在当前帧的预测位置为:
计算
x1′=x0+vx1+sx′
y1′=y0+vy1+sy′
其中,x0,y0分别为该搜索点在前一帧的x、y方向坐标,vx1,vy1分别为所述运动物体在前一帧至当前帧间的平移速度的x、y方向分量,sx′,sy′分别为所述二级搜索点的搜索速度的x、y方向分量。
一种确定运动跟踪中的平移速度的装置,包括:
搜索点设置模块,接收当前帧视频图像;对前一帧跟踪的每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个像素点周围分别设置搜索点,将各搜索点的位置信息发送给匹配距离计算模块;
匹配距离计算模块,对于每个搜索点,计算该搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离,将各像素点周围的各搜索点的匹配距离发送给平移速度确定模块;
平移速度确定模块,对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同搜索速度对应的和值,选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度。
所述搜索点设置模块包括:
采样模块,接收当前帧视频图像;对前一帧跟踪的每个运动物体,对该运动物体中的像素点进行采样,将采样点的位置信息发送给搜索点确定模块;
搜索点确定模块,对于每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个采样点周围分别设置搜索点,将各搜索点的位置信息发送给匹配距离计算模块;
且,所述平移速度确定模块对所有采样点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和。
与现有技术相比,本发明中,计算搜索点在当前帧中的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离,这样,若搜索点在当前帧中的预测位置所在像素点为背景点,则该点对应的平移速度被选择为运动物体在前一帧至当前帧间的平移速度的概率大大降低,从而提高了获取的运动物体在前一帧至当前帧间的平移速度的精度;
另外,本发明实施例中,首先对运动物体中的像素点进行采样,只针对采样点进行搜索,这样,大大降低了运算复杂度,从而降低了硬件逻辑资源开销。
此外,本发明实施例中,采用两级搜索来确定运动物体在前一帧至当前帧间的平移速度,进一步提高了所获取的平移速度的精度。
附图说明
图1为本发明实施例提供一的确定运动跟踪中的平移速度的流程图;
图2为本发明实施例二提供的确定运动跟踪中的平移速度的流程图;
图3为本发明实施例二提供的确定运动跟踪中的平移速度的装置组成图;
图4为本发明实施例提供的搜索点设置模块的组成图;
图5为本发明实施例提供的采样模块的组成图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例一提供的确定运动跟踪中的平移速度的流程图,如图1所示,其具体步骤如下:
步骤101:接收视频序列,对每帧视频图像进行运动检测。
对前一帧(设为第k-1帧)中已跟踪的每个运动物体p进行如下处理:
步骤102:对第k-1帧中该运动物体p中的像素点进行采样。
通常,每个运动物体都以一个矩形框标定,不同运动物体的矩形框的大小通常不同。为了避免不同运动物体的采样点数相差太大,可根据每个运动物体的矩形框的宽度和高度来确定x、y方向的采样间隔,例如:预设一个x方向的基准采样点数Nx和一个y方向的基准采样点数Ny,设一个运动物体的矩形框的宽度为W、高度为H,则该运动物体在x、y方向的采样间隔分别为: 其中,为下取整运算符。
设运动物体p采样点数为N,将采样点编号为1、2、...、n、...、N-1、N,对每个采样点(设为采样点n)进行如下步骤103~105:
步骤103:按照预设搜索范围和搜索间隔,在采样点n周围设置搜索点。
例如:设x和y方向的搜索范围都为(-12,12),搜索间隔为3,则采样点n周围共有81个搜索点。
将每个采样点周围的搜索点按照自左至右、自上而下的顺序依次编号为1、2、3、...、M-1、M,其中,M为每个采样点周围的搜索点数。可以看出对于任意两个采样点来说,各自的同一编号的搜索点的搜索速度是相同的。即:对于任意两个采样点n1、n2,n1周围的搜索点m和n2周围的搜索点m的搜索速度是相同的。因此,设置不同采样点中的同一搜索点m的搜索速度为sx(m),sy(m)。
sx(m),sy(m)可由各搜索点的位置得到,例如:设x和y方向的搜索范围都为(-12,12),搜索间隔为3,则第一个搜索点的(sx(1),sy(1)为(-12,-12),第二个搜索点的(sx(2),sy(2)为(-12,-9),第三个搜索点的(sx(3),sy(3)为(-12,-6),依此类推,可得到所有搜索点的(sx(m),sy(m)。
对于采样点n周围的每个搜索点m,进行如下步骤104~115:
步骤104:根据运动物体p在第k-2帧至第k-1帧间的平移速度(vxk-1,vyk-1),计算采样点n周围的搜索点m在第k帧中的预测位置(xk(n,m),yk(n,m))。
xk(n,m)=xk-1(n,m)+vxk-1+sx(m)
yk(n,m)=yk-1(n,m)+vyk-1+sy(m)
其中,xk(n,m)、yk(n,m)分别为采样点n周围的搜索点m在第k帧中的x、y方向的坐标,vxk-1、vyk-1分别为运动物体p在第k-2帧至第k-1帧间的平移速度的x、y方向的分量,xk-1(n,m)、yk-1(n,m)分别为采样点n周围的搜索点m在第k-1帧中的x、y方向的坐标,vxk-1、vyk-1的单位为像素。
步骤105:在第k帧图像中搜索坐标为(xk(n,m),yk(n,m))的像素点的像素值,设为Ik(n,m)。
步骤106:判断像素点(xk(n,m),yk(n,m))在第k帧中是否为前景点,若是,执行步骤107;否则,执行步骤108。
步骤107:计算dis(n,m)=|Ik(n,m)-Ik-1(n,m)|,得到采样点n周围的搜索点m在第k帧和第k-1帧间的匹配距离dis(n,m),转至步骤109。
步骤108:计算dis(n,m)=|Ik(n,m)-Ik-1(n,m)|×a,得到得到采样点n周围的搜索点m在第k帧和第k-1帧间的匹配距离dis(n,m)。
其中,a为预设惩罚系数,且a>1,可取a=4。
步骤109:判断m<M是否成立,若是,执行步骤110;否则,执行步骤111。
步骤110:令m=m+1,转至步骤104。
步骤111:判断n<N是否成立,若是,执行步骤112;否则,执行步骤113。
步骤112:令n=n+1,m=1,转至步骤103。
步骤113:将运动物体p的所有采样点中的搜索点m的匹配距离相加,得到搜索点m的总匹配距离Dis(sx(m),sy(m)):
其中,N为运动物体p的采样点总数。
步骤114:在所有搜索点的总匹配距离中,选取一个最小的总匹配距离,将该最小总匹配距离对应的平移速度作为运动物体p在第k-1帧至第k帧间的平移速度(vxk,vyk)。
设每个采样点周围共有M个搜索点,每个搜索点m(m=1,2,...,M-1,M)对应一个Dis(sx(m),sy(m)),设Dis(sx(p),sy(p))最小,则运动物体p在第k-1帧至第k帧间的平移速度(vxk,vyk)为:
vxk=vxk-1+sx(p)
vyk=vyk-1+sy(p)
步骤115:对运动物体p在第k-1帧至第k帧间的平移速度(vxk,vyk)进行平滑处理,得到(avg_vxk,avg_vyk):
avg_vxk=[vxk-1 *(w-1)+vxk]/w
avg_vyk=[vyk-1 *(w-1)+vyk]/w
其中,w为权重,通常0.1<w<0.5。
得知运动物体p在第k-1帧至第k帧间的平移速度(avg_vxk,avg_vyk)后,根据运动物体p在第k-1帧中的矩形框及(avg_vxk,avg_vyk),可计算得到运动物体p在第k帧的预测矩形框:
estimate_rect.left=object_rect.left+avg_vxk
estimate_rect.right=object_rect.right+avg_vxk
estimate_rect.top=object_rect.top+avg_vyk
estimate_rect.bottom=object_rect.bottom+avg_vyk
其中,(object_rect.left,object_rect.left.top)为运动物体p在第k-1帧中的矩形框的左上点坐标,(object_rect.right,object_rect.left.bottom)为运动物体p在第k-1帧中的矩形框的右下点坐标,(estimate_rect.left,estimate_rect.left.top)为运动物体p在第k帧中的预测矩形框的左上点坐标,(estimate_rect.right,estimate_rect.left.bottom)为运动物体p在第k帧中的预测矩形框的右下点坐标。
将运动物体p在第k帧中的预测矩形框与第k帧中检测到的各前景矩形框一一匹配,若有一个前景矩形框匹配上,就认为该前景矩形框为运动物体p在第k帧的矩形框,从而完成运动物体p在第k帧的跟踪。
为了避免某些运动物体的采样点数过多,而带来的运算量过大的问题,在实际应用中,也可预先设置一个可容忍的最大采样点数Nmax,在步骤111中,判断n<N是否成立之前,要首先判断n<Nmax是否成立,若是,继续判断n<N是否成立;若n≥Nmax,则直接执行步骤113,同时,步骤113中的N=Nmax,这样就能保证参加运算的采样点数最多为Nmax。
图1所示实施例中,在计算运动物体p在第k-1帧至第k帧间的平移速度时,只对每个采样点进行了一级搜索,为了提高平移速度的精度,可进行两级搜索。
图2为本发明实施例二提供的确定运动跟踪中的平移速度的流程图,如图2所示,其具体步骤如下:
步骤201~214与步骤101~114相同。
步骤215:按照预设二级搜索范围和二级搜索间隔,在采样点n周围设置二级搜索点。
二级搜索范围小于步骤104中的一级搜索范围,二级搜索间隔小于步骤104中的一级搜索间隔。
将每个采样点周围的搜索点按照自左至右、自上而下的顺序依次编号为1、2、3、...、L-1、L,其中,L为每个采样点周围的搜索点数。
对于采样点n周围的每个二级搜索点l,进行如下步骤216~213:
步骤216:根据步骤214得到的运动物体p在第k-1帧至第k帧间的平移速度(vxk,vyk),计算采样点n周围的二级搜索点l在第k帧的预测位置(xk′(n,l)、yk′(n,l)):
xk′(n,l)=xk-1(n,l)+vxk+sx′(l)
yk′(n,l)=yk-1(n,l)+vyk+sy′(l)
其中,xk′(n,l)、yk′(n,l)分别为采样点n周围的二级搜索点l在第k帧中的x、y方向的坐标,xk-1(n,l)、yk′(n,l)分别为采样点n周围的二级搜索点l在第k-1帧中的x、y方向的坐标。
步骤217:在第k帧图像中搜索坐标为(xk′(n,l)、yk′(n,l))的像素点的像素值,设为Ik′(n,l)。
步骤218:判断像素点(xk′(n,l)、yk′(n,l))在第k帧中是否为前景点,若是,执行步骤219;否则,执行步骤220。
步骤219:计算dis′(n,l)=|Ik′(n,l)-Ik-1(n,l)|,得到采样点n周围的二级搜索点l在第k帧和第k-1帧间的匹配距离dis′(n,l),转至步骤221。
步骤220:计算dis′(n,l)=|Ik′(n,l)-Ik-1(n,l)|×a,得到采样点n周围的二级搜索点l在第k帧和第k-1帧间的匹配距离dis′(n,l)。
其中,a为预设惩罚系数,且a>1,可取a=4。
步骤221:判断l<L是否成立,若是,执行步骤222;否则,执行步骤223。
步骤222:令l=l+1,转至步骤216。
步骤223:判断n<N是否成立,若是,执行步骤224;否则,执行步骤225。
步骤224:令n=n+1,m=1,转至步骤215。
步骤225:将运动物体p的所有采样点中的二级搜索点l的匹配距离相加,得到二级搜索点l的总匹配距离Dis′(sx′(l),sy′(l)):
其中,N为运动物体p的采样点总数。
步骤226:在所有二级搜索点的总匹配距离中,选取一个最小的总匹配距离,将该最小总匹配距离对应的平移速度作为运动物体p在第k-1帧至第k帧间的最终平移速度(vxk′,vyk′)。
设每个采样点周围共有L个二级搜索点,每个二级搜索点l(l=1,2,...,L-1,L)对应一个Dis(sx(l),sy(l)),设Dis(sx(q),sy(q))最小,则运动物体p在第k-1帧至第k帧间的最终平移速度(vxk′,vyk′)为:
vxk′=vxk+sx′(q)
vyk′=vyk+sy′(q)
步骤227:对平移速度(vxk′,vyk′)进行平滑处理,得到(avg_vxk′,avg_vyk′):
avg_vxk′=[vxk *(w-1)+vxk′]/w
avg_vyk′=[vyk *(w-1)+vyk′]/w
其中,w为权重,通常0.1<w<0.5。
图3为本发明实施例提供的确定运动跟踪中的平移速度的装置组成图,如图3所示,其主要包括:搜索点设置模块31、匹配距离计算模块32、平移速度确定模块33和平滑模块34,其中:
搜索点设置模块31:接收当前帧视频图像;对前一帧跟踪的每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个像素点周围分别设置搜索点,将各搜索点的位置信息发送给匹配距离计算模块32。
匹配距离计算模块32:接收搜索点设置模块31发来的每个运动物体的每个像素点周围的各搜索点的位置信息,对于每个搜索点,计算该搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离,将各像素点周围的各搜索点在前一帧和当前帧间的匹配距离发送给平移速度确定模块33。
平移速度确定模块33:接收匹配距离计算模块32发来的各运动物体的各像素点周围的各搜索点在前一帧和当前帧间的匹配距离,对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同搜索速度对应的和值,选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度,将每个运动物体在前一帧至当前帧间的平移速度发送给平滑模块34。,
平滑模块34:对平移速度确定模块33发来的每个运动物体在前一帧至当前帧间的平移速度进行平滑处理。
如图4所示,在实际应用中,搜索点设置模块31可包括:采样模块311和搜索点确定模块312,其中:
采样模块311:接收当前帧视频图像;对前一帧跟踪的每个运动物体,对该运动物体中的像素点进行采样,将采样点的位置信息发送给搜索点确定模块312。
搜索点确定模块312:接收采样模块311发来的每个运动物体的采样点的位置信息,对于每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个采样点周围分别设置搜索点,将各搜索点的位置信息发送给匹配距离计算模块32。
且,平移速度确定模块33对每个运动物体的所有采样点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和。
在实际应用中,采样模块311还可用于,对于每个运动物体,当该运动物体的采样点数达到预设可容忍的最大采样点数时,停止对该运动物体的像素点进行采样。
如图5所示,在实际应用中,采样模块311可包括:采样间隔计算模块3111和采样处理模块3112,其中:
采样间隔计算模块3111:接收当前帧视频图像;对前一帧跟踪的每个运动物体,将该运动物体的宽度除以预设水平方向的最大采样点数,对所得商值进行取整运算得到该运动物体在水平方向的采样间隔;将该运动物体的高度除以预设垂直方向的最大采样点数,对所得商值进行取整运算得到该运动物体在垂直方向的采样间隔,将每个运动物体在水平方向和垂直方向的采样间隔发送给采样处理模块3112。
采样处理模块3112:接收采样间隔计算模块3111发来的每个运动物体在水平方向和垂直方向的采样间隔,按照每个运动物体在水平方向的采样间隔和在垂直方向的采样间隔,对该运动物体中的像素点进行采样,将各运动物体的各采样点的位置信息发送给搜索点确定模块312。
在实际应用中,平移速度确定模块33还可用于,将每个运动物体在前一帧至当前帧间的平移速度发送给匹配距离计算模块32。
且,搜索点设置模块31还用于,对于前一帧跟踪的每个运动物体,按照同样的二级搜索范围和二级搜索间隔,在该运动物体的每个像素点周围分别设置二级搜索点,将各二级搜索点的位置信息发送给匹配距离计算模块32。
匹配距离计算模块32还用于,接收搜索点设置模块31发来的每个运动物体的每个像素点周围的各二级搜索点的位置信息,对于每个二级搜索点,根据平移速度确定模块33发来的每个运动物体在前一帧至当前帧间的平移速度,计算该二级搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该二级搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该二级搜索点在前一帧与当前帧间的匹配距离,将各像素点周围的各二级搜索点在前一帧和当前帧间的匹配距离发送给平移速度确定模块33。
平移速度确定模块33还用于,接收匹配距离计算模块32发来的各运动物体的各像素点周围的各二级搜索点在前一帧和当前帧间的匹配距离,对所有像素点中二级搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同二级搜索速度对应的和值,选择和值最小的二级搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的最终平移速度。
以上所述仅为本发明的过程及方法实施例,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种确定运动跟踪中的平移速度的方法,其特征在于,包括:
接收当前帧视频图像;对前一帧跟踪的每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个像素点周围分别设置搜索点;对于每个搜索点,计算该搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;
若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离;
对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同搜索速度对应的和值,选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度。
2.如权利要求1所述的方法,其特征在于,所述在该运动物体的每个像素点周围分别设置搜索点之前进一步包括:对该运动物体中的像素点进行采样,
所述在该运动物体的每个像素点周围分别设置搜索点为:在该运动物体的每个采样点周围分别设置搜索点;
所述对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和为:对所有采样点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和。
3.如权利要求2所述的方法,其特征在于,预先设置水平方向的最大采样点数和垂直方向的最大采样点数;
所述对该运动物体中的像素点进行采样之前进一步包括:
将该运动物体的宽度除以所述水平方向的最大采样点数,对所得商值进行取整运算得到该运动物体在水平方向的采样间隔;
将该运动物体的高度除以所述垂直方向的最大采样点数,对所得商值进行取整运算得到该运动物体在垂直方向的采样间隔;
所述对该运动物体中的像素点进行采样为:按照所述运动物体在水平方向的采样间隔和在垂直方向的采样间隔,对所述运动物体中的像素点进行采样。
4.如权利要求1所述的方法,其特征在于,所述选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度之后进一步包括:
按照如下公式对该运动物体在前一帧至当前帧间的平移速度进行平滑:
avg_vx1=[vx0*(w-1)+vx1]/w
avg_vy1=[vy0*(w-1)+vy1]/w
其中,vx0、vy0分别为该运动物体在前两帧至前一帧间的平移速度的x、y分量,vx1、vy1为所述运动物体在前一帧至当前帧间的平移速度的x、y分量,w为预设权重,avg_vx1、avg_vy1分别为运动物体在前一帧至当前帧间的平滑后的平移速度的x、y分量。
5.如权利要求1所述的方法,其特征在于,所述计算该搜索点在当前帧的预测位置为:
计算
x1=x0+vx0+sx
y1=y0+vy0+sy
其中,x0,y0分别为该搜索点在前一帧的x、y方向坐标,vx0,vy0分别为所述运动物体在前两帧至前一帧间的平移速度的x、y方向分量,sx,sy分别为所述搜索点的搜索速度的x、y方向分量。
6.如权利要求1所述的方法,其特征在于,所述选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度之后进一步包括:
按照同样的二级搜索范围和二级搜索间隔,分别在每个采样点周围设置二级搜索点;对于每个二级搜索点,根据所述运动物体在前一帧至当前帧间的平移速度,计算该二级搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与二级搜索点在前一帧中的像素值之差的绝对值,若当前帧中预测位置所在像素点为前景点,则将所述绝对值作为该二级搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该二级搜索点在前一帧与当前帧间的匹配距离;
对所有采样点中二级搜索速度相同的各二级搜索点在前一帧和当前帧间的匹配距离求和;对于不同二级搜索速度对应的和值,选择和值最小的二级搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的最终平移速度。
7.如权利要求6所述的方法,其特征在于,所述二级搜索范围小于所述搜索范围,所述二级搜索间隔小于所述搜索间隔。
8.如权利要求6或7所述的方法,其特征在于,所述计算该二级搜索点在当前帧的预测位置为:
计算
x1′=x0+vx1+sx′
y1′=y0+vy1+sy′
其中,x0,y0分别为该搜索点在前一帧的x、y方向坐标,vx1,vy1分别为所述运动物体在前一帧至当前帧间的平移速度的x、y方向分量,sx′,sy′分别为所述二级搜索点的搜索速度的x、y方向分量。
9.一种确定运动跟踪中的平移速度的装置,其特征在于,包括:
搜索点设置模块,接收当前帧视频图像;对前一帧跟踪的每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个像素点周围分别设置搜索点,将各搜索点的位置信息发送给匹配距离计算模块;
匹配距离计算模块,对于每个搜索点,计算该搜索点在当前帧的预测位置,计算当前帧中该预测位置所在像素点的像素值与该搜索点在前一帧中的像素值之差的绝对值;若当前帧中所述预测位置所在像素点为前景点,则将所述绝对值作为该搜索点在前一帧与当前帧间的匹配距离;否则,将所述绝对值乘以预设大于1的常数所得乘积作为该搜索点在前一帧与当前帧间的匹配距离,将各像素点周围的各搜索点的匹配距离发送给平移速度确定模块;
平移速度确定模块,对所有像素点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和;对于不同搜索速度对应的和值,选择和值最小的搜索速度对应的平移速度作为该运动物体在前一帧至当前帧间的平移速度。
10.如权利要求9所述的装置,其特征在于,所述搜索点设置模块包括:
采样模块,接收当前帧视频图像;对前一帧跟踪的每个运动物体,对该运动物体中的像素点进行采样,将采样点的位置信息发送给搜索点确定模块;
搜索点确定模块,对于每个运动物体,按照同样的搜索范围和搜索间隔,在该运动物体的每个采样点周围分别设置搜索点,将各搜索点的位置信息发送给匹配距离计算模块;
且,所述平移速度确定模块对所有采样点中搜索速度相同的各搜索点在前一帧和当前帧间的匹配距离求和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110419850.1A CN103164860B (zh) | 2011-12-15 | 平移速度确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110419850.1A CN103164860B (zh) | 2011-12-15 | 平移速度确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103164860A true CN103164860A (zh) | 2013-06-19 |
CN103164860B CN103164860B (zh) | 2016-11-30 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104602020A (zh) * | 2015-02-13 | 2015-05-06 | 苏州阔地网络科技有限公司 | 一种用于目标跟踪的稀疏搜索方法及装置 |
CN108596116A (zh) * | 2018-04-27 | 2018-09-28 | 深圳市商汤科技有限公司 | 测距方法、智能控制方法及装置、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5067014A (en) * | 1990-01-23 | 1991-11-19 | David Sarnoff Research Center, Inc. | Three-frame technique for analyzing two motions in successive image frames dynamically |
CN1924894A (zh) * | 2006-09-27 | 2007-03-07 | 北京中星微电子有限公司 | 多姿态人脸检测与追踪系统及方法 |
EP2157800A1 (en) * | 2008-08-21 | 2010-02-24 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for increasing the frame rate of a video signal |
CN101945284A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5067014A (en) * | 1990-01-23 | 1991-11-19 | David Sarnoff Research Center, Inc. | Three-frame technique for analyzing two motions in successive image frames dynamically |
CN1924894A (zh) * | 2006-09-27 | 2007-03-07 | 北京中星微电子有限公司 | 多姿态人脸检测与追踪系统及方法 |
EP2157800A1 (en) * | 2008-08-21 | 2010-02-24 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for increasing the frame rate of a video signal |
CN101945284A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
Non-Patent Citations (2)
Title |
---|
JYH-YEONG CHANG等: "Digital image translational and rotational motion stabilization using optical flow technique", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS》, 7 August 2002 (2002-08-07), pages 108 - 115 * |
许磊: "基于块匹配的序列图像运动估计算法研究", 《中国优秀硕士论文全文数据库》, no. 03, 15 March 2007 (2007-03-15), pages 18 - 28 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104602020A (zh) * | 2015-02-13 | 2015-05-06 | 苏州阔地网络科技有限公司 | 一种用于目标跟踪的稀疏搜索方法及装置 |
CN108596116A (zh) * | 2018-04-27 | 2018-09-28 | 深圳市商汤科技有限公司 | 测距方法、智能控制方法及装置、电子设备和存储介质 |
CN108596116B (zh) * | 2018-04-27 | 2021-11-05 | 深圳市商汤科技有限公司 | 测距方法、智能控制方法及装置、电子设备和存储介质 |
US11468581B2 (en) | 2018-04-27 | 2022-10-11 | Shenzhen Sensetime Technology Co., Ltd. | Distance measurement method, intelligent control method, electronic device, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101493889B (zh) | 对视频对象进行跟踪的方法及装置 | |
CN105913028B (zh) | 一种基于face++平台的人脸跟踪方法及其装置 | |
CN103617625B (zh) | 一种图像匹配方法及图像匹配装置 | |
CN111553950B (zh) | 一种钢卷对中判断方法、系统、介质及电子终端 | |
CN112200830A (zh) | 一种目标跟踪方法及设备 | |
Hamzah et al. | Sum of absolute differences algorithm in stereo correspondence problem for stereo matching in computer vision application | |
CN109360225B (zh) | 一种运动模型的优化系统及方法 | |
CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
CN112967388B (zh) | 三维时序图像神经网络模型的训练方法和装置 | |
CN113469025B (zh) | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 | |
Liu et al. | Dynamic RGB-D SLAM based on static probability and observation number | |
CN107992791A (zh) | 目标跟踪失效重检方法及装置、存储介质、电子设备 | |
CN116654022B (zh) | 基于多重交互的行人轨迹预测方法、系统、设备和介质 | |
CN107483953A (zh) | 帧间运动估计方法、装置及电子设备 | |
CN110910375A (zh) | 基于半监督学习的检测模型训练方法、装置、设备及介质 | |
CN112164093A (zh) | 一种基于边缘特征和相关滤波的人物自动跟踪方法 | |
CN111914627A (zh) | 一种车辆识别与追踪方法及装置 | |
Singh et al. | Fusing semantics and motion state detection for robust visual SLAM | |
US8351653B2 (en) | Distance estimation from image motion for moving obstacle detection | |
CN111768427B (zh) | 一种多运动目标跟踪方法、装置及存储介质 | |
CN110969605A (zh) | 一种基于空时显著图的运动小目标检测方法和系统 | |
CN103164860B (zh) | 平移速度确定方法及装置 | |
Srilekha et al. | A novel approach for detection and tracking of vehicles using Kalman filter | |
CN115661097A (zh) | 一种物体表面缺陷检测方法及系统 | |
CN103164860A (zh) | 平移速度确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer Applicant after: WUXI ZHONGGAN MICROELECTRONIC CO., LTD. Address before: 214028 Jiangsu New District of Wuxi, Taihu international science and Technology Park Jia Qing 530 building 10 layer Applicant before: Wuxi Vimicro Co., Ltd. |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |