CN115731287B - 基于集合与拓扑空间的运动目标检索方法 - Google Patents

基于集合与拓扑空间的运动目标检索方法 Download PDF

Info

Publication number
CN115731287B
CN115731287B CN202211098711.8A CN202211098711A CN115731287B CN 115731287 B CN115731287 B CN 115731287B CN 202211098711 A CN202211098711 A CN 202211098711A CN 115731287 B CN115731287 B CN 115731287B
Authority
CN
China
Prior art keywords
camera
moving object
space
moving target
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211098711.8A
Other languages
English (en)
Other versions
CN115731287A (zh
Inventor
曾微波
闵歆然
赵星悦
邓秋燕
梅晓龙
张雯荟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuzhou University
Original Assignee
Chuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuzhou University filed Critical Chuzhou University
Priority to CN202211098711.8A priority Critical patent/CN115731287B/zh
Publication of CN115731287A publication Critical patent/CN115731287A/zh
Application granted granted Critical
Publication of CN115731287B publication Critical patent/CN115731287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于集合与拓扑空间的运动目标检索方法,包括以下步骤:步骤1、建立摄像机‑路网拓扑关系;步骤2、获取当前运动目标在摄像机坐标系中的时空属性信息;步骤3、计算当前运动目标在世界坐标系中的时空属性;步骤4、获取待检测摄像机集合;步骤5、确定待检测视频集;步骤6、从待检测视频集中获取运动目标对应的视频;步骤7、得到运动目标的轨迹。相比于传统的基于特征向量等方法的运动目标检索,本发明通过路网结构的拓扑化表达,构建摄像机‑路网集合拓扑空间,将运动目标的定位、追踪及轨迹表达以集合拓扑为基础进行运算和求解,避免了传统关键帧检索的盲目性并大幅提高了检索效率。

Description

基于集合与拓扑空间的运动目标检索方法
技术领域
本发明涉及运动目标检测方法领域,具体是一种基于集合与拓扑空间的运动目标检索方法。
背景技术
随着计算机和图像传感器技术的发展,以摄像机为核心的视频监控在社会安全和保障方面起着重要作用。在视频监控系统中,运动目标的检索和跟踪是计算机视觉研究的主要问题之一,它融合了自动控制、图像处理、模式识别、计算机及人工智能等领域技术,在智能交通、视频监控、医疗救治、犯罪侦查等方面起着至关重要的作用。运动目标检索是指将图像序列或视频中发生空间位置变化的物体作为前景提取并标示的过程。基于集合与拓扑空间的运动目标检索方法是以集合论、拓扑学和视频GIS的相关理论和方法为基础,通过路网结构的拓扑化表达,构建摄像机-路网集合拓扑空间,将运动目标的定位、追踪及轨迹表达以集合拓扑为基础进行运算和求解。
近年来,运动目标的识别与追踪作为当今智能监控领域的热点问题之一,在道路交通网络产生的海量视频检索场景中,运动目标的检索需要同时满足准确率和效率两方面的要求。当前,运动目标的检索的大都基于Tracking-by-Detection策略,即基于目标检测的结果进行目标跟踪,方法主要包括卡尔曼滤波、粒子滤波、拓扑估计方法等。然而,无论是基于Tracking-by-Detection策略,还是基于拓扑理论开展的目标检索效率和效果提升的方法,仍存在一些问题:
(1)轨迹预测仅针对目标的下一时刻位置,对目标检索效率的提升贡献有限。
卡尔曼滤波是一种利用线性系统状态方程对目标的位置进行预测。该方法仅计算了目标离开监控视频的下一时刻的位置,未利用预测出的信息缩小视频检索范围,对检索效率的提升较为有限。
(2)对运动目标在其所处空间中的位置及状态考虑较少。
传统的运动目标检索方法,如基于特征向量的运动目标检索方法,未顾及运动目标在其所处摄像机网络中的位置及状态,忽略了关键帧的时空属性,从而无法实现对运动目标轨迹的准确表达。
(3)海量视频场景下的目标检索效率欠佳。
运动目标的检索忽略了道路交通网络和摄像机网络本身具有的拓扑结构,各摄像机拍摄视频缺少关联,无法对运动目标趋势进行准确估计,导致海量视频场景中的目标检索效率欠佳。
发明内容
本发明的目的是提供一种基于集合与拓扑空间的运动目标检索方法,以解决现有技术运动目标检测方法存在的检索范围大、检索效率低、运动目标轨迹表达不准确的问题。
为了达到上述目的,本发明所采用的技术方案为:
基于集合与拓扑空间的运动目标检索方法,包括以下步骤:
步骤1、根据运动目标所在的路网区域构建基于有向图的路网网络空间,然后根据路网中交叉路口的摄像机分布情况构建摄像机网络,并将路网网络空间反映的路网拓扑关系映射至摄像机网络空间,由此得到摄像机-路网拓扑关系;
步骤2、获取摄像机采集的当前运动目标所在路网区域的视频集合,并基于视频集合得到当前运动目标在摄像机坐标系中的时空属性信息,所述时空属性信息包含时间属性信息和位置属性信息;
步骤3、建立摄像机坐标系与世界坐标系的转换关系,根据步骤2得到的当前运动目标在摄像机坐标系中的时空属性信息并结合所述转换关系,计算得到当前运动目标在世界坐标系中的时空属性;
步骤4、根据步骤3得到的当前运动目标在世界坐标系中的时空属性,构建描述运动目标当前位置和姿态的状态向量;然后基于所述状态向量,结合步骤1得到的摄像机-路网拓扑关系,得到运动目标后续可能到达的位置;接着基于运动目标后续可能到达的位置确定对应的摄像机,并以确定的摄像机的集合作为待检测摄像机集合;
步骤5、计算步骤4得到的待检测摄像机集合中每个摄像机的视野分界线,并基于所述视野分界线确定后续对运动目标具有最佳视角的摄像机,然后以确定的具有最佳视角的摄像机采集的后续视频的集合作为待检测视频集;
步骤6、从待检测视频集中所有后续视频中,获取后续到达的运动目标及其对应的视频;
步骤7、根据摄像机坐标系与世界坐标系的转换关系,计算步骤6得到的视频中后续到达的运动目标在世界坐标系中的时空属性,并确定后续到达的运动目标的姿态;将步骤6得到的视频中后续到达的运动目标在世界坐标系中的时空属性、姿态结合至所述路网网络空间,得到所述运动目标的轨迹。
进一步的,步骤2中,获取摄像机采集的当前运动目标所在路网区域的视频集合,从视频集合中提取当前运动目标所在的帧作为关键帧以构建关键帧集合,基于关键帧集合中各个关键帧在摄像机坐标系统中的时空信息,得到当前运动目标在摄像机坐标系中的时空属性信息。
进一步的,基于HSV设置的阈值通道对视频集合进行计算得到所述关键帧。
进一步的,步骤4中,以当前运动目标状态向量中的姿态角作为当前运动目标的状态角,在摄像机-路网拓扑关系中对比当前运动目标所在路段夹角、当前运动目标的状态角,以路段夹角与运动目标状态角差值最小的路段判定为运动目标即将驶入的路段,由此得到运动目标后续可能到达的位置。
进一步的,步骤5中,利用Harris-Sift算法,在交叉路口第一个摄像机Ca采集的图像和第二个摄像机Cb采集的图像中找到互相对应且不共面的四个点,根据不共面的四个点的对应关系,即可通过投影不变量方法,计算出第一个摄像机Ca采集的图像中第5个点在第二个摄像机Cb采集的图像中的对应关系;
在第一个摄像机Ca、第二个摄像机Cb重叠视野内找到互相对应的四个点,建立它们之间的投影关系,选取两个边界点进行投影变换,找到两个边界点的对应点,将对应点连接即可得到第一个摄像机Ca的视野分界线L1、、第二个摄像机Cb的视野分界线L2;接着将运动目标最开始出现的点坐标代入视野分界线,并进行如下判定:
设所追踪的运动目标最开始出现在第一个摄像机Ca采集的图像中质心位置,坐标为Q(Xf,Yf),第二个摄像机Cb采集的图像中的视野分界线L2直线方程为Ax+By+C=0,其中A为二次项系数,B为一次项系数,C为常数项;将运动目标最开始出现的点坐标代入视野分界线L2直线方程中,如果结果大于0,说明运动目标在第二个摄像机Cb的视域范围中;如果小于0,表明运动目标不在第二个摄像机Cb的视域范围中;如果等于0,说明运动目标刚好在第二个摄像机Cb的视域分界线上;由此若结果大于或等于0即可确定第二个摄像机Cb为最佳视角的摄像机。
进一步的,步骤6中,采用双向检索方法遍历步骤5得到的待检测视频集中所有视频中,由此得到采集到后续到达的运动目标对应的视频。
本发明基于视频GIS、集合论、拓扑学的相关理论和方法,将监控视频、关键帧、摄像机网络和路网拓扑关系统一于集合拓扑的理论框架,将运动目标的定位、追踪及轨迹表达以集合拓扑为基础进行运算和求解,具有以下优点:
(1)以关键帧为基础,构建目标状态向量计算目标所处路段,结合摄像机-路网拓扑关系确定待检索摄像机,获取待检索视频集,从而避免了传统视频检索方法的盲目性,极大的缩小了视频检索范围。
(2)利用摄像机网络、路网拓扑结合关键帧、视频的时空属性,实现了运动目标轨迹到地理场景的映射,准确的表达了运动目标轨迹。
(3)基于集合及其拓扑关系的理论,将摄像机、视频及关键帧的检索转化为以集合和拓扑为基础的数理计算,在海量视频场景中具有非常稳定和高效的检索效率表现。
附图说明
图1是本发明实施例原理框图。
图2是本发明实施例相邻摄像机投影不变量示意图,其中:(a)为摄像机Ca的视域范围,(b)为摄像机Cb的视域范围。
图3是本发明实施例路段匹配估计示意图。
图4是本发明实施例求解待检索视频集的算法流程图。
图5是本发明实施例双向检索示意图。
图6是本发明实施例运动目标轨迹表达示意图。
图7是本发明实施例中的实验区路网示意图。
图8是本发明实施例实验区路网逻辑结构图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示,本实施例基于集合与拓扑空间的运动目标检索方法,包括以下步骤:
步骤1、根据运动目标所在的路网区域构建基于有向图的路网网络空间,然后根据路网中交叉路口的摄像机分布情况构建摄像机网络,并将路网网络空间反映的路网拓扑关系映射至摄像机网络空间,由此得到摄像机-路网拓扑关系。
交叉路口与路段组成城市路网具有复杂网络的拓扑结构特征,本实施例将定义路网网络空间为有向图结构GR=(N,E),N是地理空间中对应交通路口的图的节点集合,E表示地理空间中对应路口之间的路段的图边集合。图的节点用n表示,定义为n=(nid,nx,ny),其中nid是n的标识符,nx、ny描述相应的坐标。图的边用e表示,定义为e=(eid,nfirst,nsecond),其中eid是e的标识符,nfirst是e的起节点标识符,nsecond是e的终节点标识符。设摄像机网络空间为Gc=(Vn,Γn),Vn是摄像机产生的视频集合,Γn是摄像机的拓扑属性,[Γ1,...,Γn]=f(N,E)即为路网网络空间到摄像机网络空间的映射。
步骤2、获取摄像机采集的当前运动目标所在路网区域的视频集合,从视频集合中提取当前运动目标所在的帧作为关键帧以构建关键帧集合,基于关键帧集合中各个关键帧在摄像机坐标系统中的时空信息,得到当前运动目标在摄像机坐标系中的时空属性信息,所述时空属性信息包含时间属性信息和位置属性信息。
步骤2中,在以帧为元素的视频集合中计算提取关键帧集合,根据HSV设置的阈值通道,计算运动目标在HSV范围内的像素值为A,在视频中提取像素值为A的帧作为关键帧集合Fi,公式如下:
关键帧集合表达:Fi={f|a=A}
集合基数约束:设置集合Fi的基数为2
上式中:f为帧的集合,A表示关键帧的像素值,a表示视频帧的像素值;关键帧集合的基数是指集合中元素的个数,即目标进入视野和离开视野图像帧。
构建涵盖摄像机-路网网络空间、监控视频、关键帧的集合拓扑框架G,描述关键帧集合和摄像机-网络的拓扑结构以及相关性质,公式如下。
Figure GDA0004195014060000051
式中,GR是路网网络空间,Gc是摄像机网络空间,Fi是关键帧集合;P为关键帧属性集合:Lv是关键帧位置属性,Tv为关键帧时间属性,Av为目标姿态属性。
步骤3、建立摄像机坐标系与世界坐标系的转换关系,根据步骤2得到的当前运动目标在摄像机坐标系中的时空属性信息并结合所述转换关系,计算得到当前运动目标在世界坐标系中的时空属性。
步骤3中,将当前视频集合每一关键帧的像素点的灰度值与阈值通道利用下列公式生成二值化帧:
dst(I)=lowerb(I)0≤src(I)0≤upperb(I)0
其中,lowerb(I)0为当前运动目标的HSV最小值,src(I)0为原始图像矩阵,upperb(I)0为当前运动目标的HSV最大值,得到的结果dst(I)为二值化处理后的帧。
在处理后的帧上建立像素点坐标系,将当前运动目标出现和离开视频的两帧的像素点的时间信息作为关键帧的时间属性Tv,并记录目标最开始出现在视频中质心的像素点坐标信息(ufirst,vfirst)和目标最后离开视频时质心的像素点坐标信息(ulast,vlast)。再通过如下公式建立像素点坐标系与世界坐标系之间的转换关系,计算得到当前运动目标在世界坐标系下的位置,即真实世界中的目标位置信息,作为关键帧的位置属性LV,公式为:
Figure GDA0004195014060000061
式中,Xw、Yw、Zw为在世界坐标系下的目标坐标。u、v为对应的像素坐标。Zc为尺度因子。
Figure GDA0004195014060000062
是摄像机的内参。f为摄像机的像距。dx、dy分别表示X、Y方向上的一个像素在摄像机感光板上的物理长度。u0、v0分别表示摄像机感光板中心在像素坐标系下的坐标。/>
Figure GDA0004195014060000063
是摄像机的的外参,取决于摄像机的坐标系和世界坐标系的相对位置。R为旋转矩阵,是一个3×3的正交矩阵。T为3×1的平移矩阵,是一个三维列向量。
步骤4、根据步骤3得到的当前运动目标在世界坐标系中的时空属性,构建描述运动目标当前位置和姿态的状态向量;然后基于所述状态向量,结合步骤1得到的摄像机-路网拓扑关系,得到运动目标后续可能到达的位置;接着基于运动目标后续可能到达的位置确定对应的摄像机,并以确定的摄像机的集合作为待检测摄像机集合。
步骤4中,使用n个状态向量x1(t),x2(t),…,xn(t)描述视频中当前运动目标的动态行为,以这n个状态变量x1(t),x2(t),…,xn(t)为分量所构成的向量即为当前运动目标的状态向量。本实施例中,当前运动目标的过去、现在和将来的状态使用一组向量进行描述,表达式如下:
X(k)=[x y z θ]
式中,x、y、z分别代表目标在世界坐标系下,时间点为k的x方向、y方向、z方向的位置。θ表示运动目标的姿态。
通过构建当前运动目标状态向量,将带有物理意义的状态变量转化为包含位置和姿态属性的状态向量,便于后续运动目标行为状态的计算。在世界坐标系下,计算路网中路段各拐点处的角度λ、γ、ω、β,并利用关键帧中求得的当前运动目标出现和离开视野的坐标信息,再计算摄像机坐标系下两点之间夹角求得当前运动目标的状态角θ,如图3所示。比较路段夹角与当前运动目标的状态角θ,路段夹角与当前运动目标状态角差值最小的路段即可判定为运动目标即将行驶的路段Ri,由此可得到运动目标后续可能到达的位置Ii。根据运动目标后续可能到达的位置,结合摄像机-路网拓扑关系,可确定运动目标后续可能到达的位置对应的摄像机作为待检索摄像机集合{Ca,Cb}。
步骤5、计算步骤4得到的待检测摄像机集合中每个摄像机的视野分界线,并基于视野分界线确定后续对运动目标具有最佳视角的摄像机,然后以确定的具有最佳视角的摄像机采集的后续视频的集合作为待检测视频集。
本实施例用投影不变量算法计算视野分界线,确定后续运动目标可能到达位置的最佳视角的所属摄像机,以提高目标检索的准确率。
图2(a)(第一个摄像机Ca视域)和图2(b)(第二个摄像机Cb视域)中任选三点,均不能构成一条直线,因此可以得到相互独立的两个投影不变量,如以下公式所示:
Figure GDA0004195014060000071
Figure GDA0004195014060000072
其中,
Figure GDA0004195014060000081
该值的计算方法如下所示:
Figure GDA0004195014060000082
上式
Figure GDA0004195014060000083
是点/>
Figure GDA0004195014060000084
在图像i上的坐标。图2(a)中四个点
Figure GDA0004195014060000085
与图2(b)中四个点/>
Figure GDA0004195014060000086
不共面,且已知它们的对应关系,即能通过投影不变量方法得到第5个点的对应关系。在重叠视野内找到互相对应的四个点,建立它们之间的投影关系,选取两个边界点进行投影变换,找到其对应点,将对应点连接即可得到相应的视野分界线。如图2中的利用上述方法生成的第一个摄像机Ca的视野分界线L1、第二个摄像机Cb的视野分界线L2。
利用Harris-Sift算法得到4对特征匹配点并获取相应坐标,明确摄像机视域。选取摄像机图2(b)右边界上的两点,将这两点的坐标和已获得的4点坐标代入K1的计算公式,求得图2(b)右边界上的两点在图2(a)中的对应点,连接两点,即得到图2(b)图像在图2(a)图像中的视野分界线。设所追踪的运动目标在图2(a)图像中质心位置坐标为Q(Xf,Yf),图像中的第二个摄像机Cb的视野分界线L2:Ax+By+C=0,其中A为二次项系数,B为一次项系数,C为常数项,则运动目标在图2(a)视野中的目标可见性可依下列式子判定,由此可以计算出最佳视角的所属摄像机。步骤4、5的算法流程如图4所示。
Figure GDA0004195014060000087
步骤6、采用双向检索方法遍历步骤5得到的待检测视频集中所有视频中,由此得到采集到后续到达的运动目标对应的视频。
步骤6中双向检索如图5所示,在交通路网较为复杂,监控视频较多的场景下,优先抽取流量较大的地方进行检索,或者已知运动目标出现在某一处,在检索到目标后,利用双向检索分析视频集中的运动目标,追溯目标的来处并预测目标去向。
双向检索可以分为正向检索和反向检索,正向检索为顺应目标运动趋势方向的检索如图5检索节点顺序为N11-N7-N2-N1,根据时间点k和k+1的目标坐标计算目标状态角,即可求得运动目标状态向量;反向检索为目标的运动趋势倒置检索如图5检索节点顺序为N11-N12-N13,同理可通过时间点k-1和k的目标坐标计算目标状态角求得其状态向量。采用双向检索方法,可遍历运动目标存在的视频集。此外,摄像机网络下的运动目标轨迹具有连续性,因此,算法可同时运行正反向检索,直到在两者计算出的候选集中未检索到运动目标时,停止算法。
步骤7、根据摄像机坐标系与世界坐标系的转换关系,计算步骤6得到的视频中后续到达的运动目标在世界坐标系中的时空属性,并确定后续到达的运动目标的姿态;将步骤6得到的视频中后续到达的运动目标在世界坐标系中的时空属性、姿态结合至所述路网网络空间,得到所述运动目标的轨迹。
轨迹被认为是在给定的时空区域中为实现某一目标的物体位置的演变记录。运动目标通过关键帧集合带有的位置、时间、姿态,与路网拓扑相关联,即为运动目标在给定路网中的轨迹表示,表达式如下:
GR,GC
P={LV,TV,AV}
式中,GR是路网网络空间,GC是摄像机网络空间,P为关键帧属性集合:Lv是关键帧位置属性,Tv为关键帧时间属性,Av为目标姿态属性,关键帧属性集合如图6中集合及其拓扑空间中的目标轨迹所示。
有限个集合的并运算,称为有限并。设Sa是目标的n个关键帧Fi的集合,
Figure GDA0004195014060000091
记作:
Figure GDA0004195014060000092
式中,Fi是关键帧集合,Sa是n和关键帧的集合。最终运动目标轨迹集合在路网拓扑中如图6所示。
下面选择上海市某区域作为实验区,对本实施例作进一步说明。
一、试验区概况
为了验证这种基于集合与拓扑空间的运动目标检索方法的可行性,基于架设的监控摄像机所拍摄的视频,实现对运动目标的快速检索和轨迹解算。实验区路网示意如图7所示,构建的实验区路网逻辑结构图如图8所示,其中N表示路网节点,I表示道路交叉口,R表示路段。
二、摄像机参数及数据准备
摄像机参数为:架设高度为5-6m,视角为45°,焦距为43.5mm。实验区路网包含17个十字路口,25个路段,每个十字路口上架设四台监控摄像机。
三、运动目标检索和轨迹生成效果
利用上述数据和集合与拓扑空间方法检索运动目标并生成轨迹,与采用特征向量匹配等其他算法相比,稳定性较强,效率更高,数据量越大,检索效率优势越明显;且单个视频检索耗时随数据量增长整体呈下降趋势。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述,并非对本发明构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域中工程技术人员对本发明的技术方案作出的各种变型和改进,均应落入本发明的保护范围,本发明请求保护的技术内容,已经全部记载在权利要求书中。

Claims (6)

1.基于集合与拓扑空间的运动目标检索方法,其特征在于,包括以下步骤:
步骤1、根据运动目标所在的路网区域构建基于有向图的路网网络空间,然后根据路网中交叉路口的摄像机分布情况构建摄像机网络空间,并将路网网络空间反映的路网拓扑关系映射至摄像机网络空间,由此得到摄像机-路网拓扑关系;
步骤2、获取摄像机采集的当前运动目标所在路网区域的视频集合,并基于视频集合得到当前运动目标在摄像机坐标系中的时空属性信息,所述时空属性信息包含时间属性信息和位置属性信息;
步骤3、建立摄像机坐标系与世界坐标系的转换关系,根据步骤2得到的当前运动目标在摄像机坐标系中的时空属性信息并结合所述转换关系,计算得到当前运动目标在世界坐标系中的时空属性;
步骤4、根据步骤3得到的当前运动目标在世界坐标系中的时空属性,构建描述运动目标当前位置和姿态的状态向量;然后基于所述状态向量,结合步骤1得到的摄像机-路网拓扑关系,得到运动目标后续可能到达的位置;接着基于运动目标后续可能到达的位置确定对应的摄像机,并以确定的摄像机的集合作为待检测摄像机集合;
步骤5、计算步骤4得到的待检测摄像机集合中每个摄像机的视野分界线,并基于所述视野分界线确定后续对运动目标具有最佳视角的摄像机,然后以确定的具有最佳视角的摄像机采集的后续视频的集合作为待检测视频集;
步骤6、从待检测视频集中所有后续视频中,获取后续到达的运动目标及其对应的视频;
步骤7、根据摄像机坐标系与世界坐标系的转换关系,计算步骤6得到的视频中后续到达的运动目标在世界坐标系中的时空属性,并确定后续到达的运动目标的姿态;将步骤6得到的视频中后续到达的运动目标在世界坐标系中的时空属性、姿态结合至所述路网网络空间,得到所述运动目标的轨迹。
2.根据权利要求1所述的基于集合与拓扑空间的运动目标检索方法,其特征在于,步骤2中,获取摄像机采集的当前运动目标所在路网区域的视频集合,从视频集合中提取当前运动目标所在的帧作为关键帧以构建关键帧集合,基于关键帧集合中各个关键帧在摄像机坐标系统中的时空信息,得到当前运动目标在摄像机坐标系中的时空属性信息。
3.据权利要求2所述的基于集合与拓扑空间的运动目标检索方法,其特征在于,基于HSV设置的阈值通道对视频集合进行计算得到所述关键帧。
4.根据权利要求1所述的基于集合与拓扑空间的运动目标检索方法,其特征在于,步骤4中,以当前运动目标状态向量中的姿态角作为当前运动目标的状态角,在摄像机-路网拓扑关系中对比当前运动目标所在路段夹角、当前运动目标的状态角,以路段夹角与运动目标状态角差值最小的路段判定为运动目标即将驶入的路段,由此得到运动目标后续可能到达的位置。
5.根据权利要求1所述的基于集合与拓扑空间的运动目标检索方法,其特征在于,步骤5中,利用Harris-Sift算法,在交叉路口第一个摄像机Ca采集的图像和第二个摄像机Cb采集的图像中找到互相对应且不共面的四个点,根据不共面的四个点的对应关系,即可通过投影不变量方法,计算出第一个摄像机Ca采集的图像中第5个点在第二个摄像机Cb采集的图像中的对应关系;
在第一个摄像机Ca、第二个摄像机Cb重叠视野内找到互相对应的四个点,建立它们之间的投影关系,选取两个边界点进行投影变换,找到两个边界点的对应点,将对应点连接即可得到第一个摄像机Ca的视野分界线L 1 第二个摄像机Cb的视野分界线L 2 ;接着将运动目标最开始出现的点坐标代入视野分界线,并进行如下判定:
设所追踪的运动目标最开始出现在第一个摄像机Ca采集的图像中质心位置,坐标为Q(Xf, Yf),第二个摄像机Cb采集的图像中的视野分界线L2直线方程为Ax+By+C=0,其中A为二次项系数,B为一次项系数,C为常数项;将运动目标最开始出现的点坐标代入视野分界线L2直线方程中,如果结果大于0,说明运动目标在第二个摄像机Cb的视域范围中;如果小于0,表明运动目标不在第二个摄像机Cb的视域范围中;如果等于0,说明运动目标刚好在第二个摄像机Cb的视域分界线上;由此若结果大于或等于0即可确定第二个摄像机Cb为最佳视角的摄像机。
6.根据权利要求1所述的基于集合与拓扑空间的运动目标检索方法,其特征在于,步骤6中,采用双向检索方法遍历步骤5得到的待检测视频集中所有视频中,由此得到采集到后续到达的运动目标对应的视频。
CN202211098711.8A 2022-09-07 2022-09-07 基于集合与拓扑空间的运动目标检索方法 Active CN115731287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211098711.8A CN115731287B (zh) 2022-09-07 2022-09-07 基于集合与拓扑空间的运动目标检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211098711.8A CN115731287B (zh) 2022-09-07 2022-09-07 基于集合与拓扑空间的运动目标检索方法

Publications (2)

Publication Number Publication Date
CN115731287A CN115731287A (zh) 2023-03-03
CN115731287B true CN115731287B (zh) 2023-06-23

Family

ID=85293147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211098711.8A Active CN115731287B (zh) 2022-09-07 2022-09-07 基于集合与拓扑空间的运动目标检索方法

Country Status (1)

Country Link
CN (1) CN115731287B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237418B (zh) * 2023-11-15 2024-01-23 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415417A (zh) * 2020-04-14 2020-07-14 大连理工江苏研究院有限公司 一种集成稀疏点云的移动机器人拓扑经验地图构建方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038729A (zh) * 2014-05-05 2014-09-10 重庆大学 级联式多摄像机接力跟踪方法及系统
CN104778690B (zh) * 2015-04-02 2017-06-06 中国电子科技集团公司第二十八研究所 一种基于摄像机网络的多目标定位方法
CN106446002A (zh) * 2016-08-01 2017-02-22 三峡大学 一种基于运动目标在地图中轨迹的视频检索方法
CN110210276A (zh) * 2018-05-15 2019-09-06 腾讯科技(深圳)有限公司 一种移动轨迹获取方法及其设备、存储介质、终端
CN112348856A (zh) * 2019-08-09 2021-02-09 盐城吉大智能终端产业研究院有限公司 基于网络系统拓扑结构的多摄像头协同分析方法及系统
CN110717414B (zh) * 2019-09-24 2023-01-03 青岛海信网络科技股份有限公司 一种目标检测追踪方法、装置及设备
CN111462200B (zh) * 2020-04-03 2023-09-19 中国科学院深圳先进技术研究院 一种跨视频行人定位追踪方法、系统及设备
CN111914613B (zh) * 2020-05-21 2024-03-01 淮阴工学院 一种多目标跟踪及面部特征信息识别方法
CN112836737A (zh) * 2021-01-29 2021-05-25 同济大学 一种基于车路数据融合的路侧组合感知设备在线标定方法
CN112884815A (zh) * 2021-02-02 2021-06-01 鹏城实验室 一种基于多摄像机的车辆追踪方法
CN113259630B (zh) * 2021-06-03 2021-09-28 南京北斗创新应用科技研究院有限公司 一种多摄像头行人轨迹聚合系统和方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415417A (zh) * 2020-04-14 2020-07-14 大连理工江苏研究院有限公司 一种集成稀疏点云的移动机器人拓扑经验地图构建方法

Also Published As

Publication number Publication date
CN115731287A (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
CN111488795B (zh) 应用于无人驾驶车辆的实时行人跟踪方法
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
CN113506317A (zh) 一种基于Mask R-CNN和表观特征融合的多目标跟踪方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN102034355A (zh) 一种基于特征点匹配的车辆检测及跟踪方法
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN104680559A (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN110570456A (zh) 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN113066129A (zh) 基于动态环境下的目标检测的视觉定位与建图系统
CN115731287B (zh) 基于集合与拓扑空间的运动目标检索方法
CN115308732A (zh) 一种融合毫米波雷达与深度视觉的多目标检测与跟踪方法
Zhu et al. A review of 6d object pose estimation
CN114926859A (zh) 一种结合头部跟踪的密集场景下行人多目标跟踪方法
Wen et al. Dynamic slam: A visual slam in outdoor dynamic scenes
Sarlin et al. Snap: Self-supervised neural maps for visual positioning and semantic understanding
Yu et al. STCLoc: Deep LiDAR localization with spatio-temporal constraints
Kuang et al. A real-time and robust monocular visual inertial slam system based on point and line features for mobile robots of smart cities toward 6g
Fu et al. A real-time multi-vehicle tracking framework in intelligent vehicular networks
He et al. AutoMatch: Leveraging Traffic Camera to Improve Perception and Localization of Autonomous Vehicles
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
Sujiwo et al. Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge
Chen et al. Multi-robot point cloud map fusion algorithm based on visual SLAM
Wen et al. CD-SLAM: A Real-Time Stereo Visual-Inertial SLAM for Complex Dynamic Environments With Semantic and Geometric Information
Li et al. RF-LOAM: Robust and Fast LiDAR Odometry and Mapping in Urban Dynamic Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant