CN107292916B - 目标关联方法、存储设备、直录播互动终端 - Google Patents

目标关联方法、存储设备、直录播互动终端 Download PDF

Info

Publication number
CN107292916B
CN107292916B CN201710669016.5A CN201710669016A CN107292916B CN 107292916 B CN107292916 B CN 107292916B CN 201710669016 A CN201710669016 A CN 201710669016A CN 107292916 B CN107292916 B CN 107292916B
Authority
CN
China
Prior art keywords
motion
state
targets
target
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710669016.5A
Other languages
English (en)
Other versions
CN107292916A (zh
Inventor
陈飞龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Codyy Education Technology Co Ltd
Original Assignee
Codyy Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Codyy Education Technology Co Ltd filed Critical Codyy Education Technology Co Ltd
Priority to CN201710669016.5A priority Critical patent/CN107292916B/zh
Publication of CN107292916A publication Critical patent/CN107292916A/zh
Application granted granted Critical
Publication of CN107292916B publication Critical patent/CN107292916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明提供了一种基于双目摄像机的目标关联方法、存储设备及直录播互动终端,其中目标关联方法包括生成多个跟踪目标的运动轨迹;根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。本发明实施例能够在多目标情况,精确定位每个目标,并判断各目标之间是否交叉遮挡,以为后续服务提供精准数据支持。

Description

目标关联方法、存储设备、直录播互动终端
技术领域
本发明涉及计算机技术领域,具体而言,涉及目标关联方法、存储设备、直录播互动终端。
背景技术
目前,对多目标进行跟踪大都采用单目摄像机进行跟踪,跟踪多采用雷达波的原理,从空域上对目标进行距离关联,此类技术如JPDA。基双目摄像机的目标检测技术可以定位运动目标的三维坐标,但在多目标下如何确定同一目标并判断目标是否交叉重叠是急需解决的问题。
发明内容
有鉴于此,根据本发明实施例的一个方面,提供了一种基于双目摄像机的目标关联方法,包括:生成多个跟踪目标的运动轨迹;根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。
根据本发明实施例的另一方面,还提出了一种存储设备,其中存储有多条指令,所述指令适于由处理器加载并执行,包括:生成多个跟踪目标的运动轨迹;根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。
根据本发明实施例的另一方面,还提供了一种直录播互动终端,包括:处理器,适于实现各指令;存储设备,适于存储多条指令,所述指令适于由所述处理器加载并执行:生成多个跟踪目标的运动轨迹;根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。
在检测范围中出现多目标时,基于双目摄像机的跟踪系统需精确定位并解决目标交叉重叠的问题,本发明实施例能够生成多个跟踪目标的运动轨迹,并根据多个跟踪目标的运动轨迹确定多个跟踪目标是否交叉遮挡,即在多目标情况,精确定位每个目标,并判断各目标之间是否交叉遮挡,以为后续服务提供精准数据支持。
附图说明
图1示出了根据本发明的一个实施例的基于双目摄像机的目标关联方法的流程图;
图2示出了根据本发明的一个实施例的运动轨迹状态转换图;
图3示出了根据本发明的一个实施例的轨迹点关联示意图;
图4示出了根据本发明的一个实施例的直录播互动终端的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的一个实施例的基于双目摄像机的目标关联方法的流程图。
如图1所示,根据本发明实施例的一种基于双目摄像机的目标关联方法,包括以下步骤:
步骤102,生成多个跟踪目标的运动轨迹。
步骤104,根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。
在多目标情况下,准确生成多个跟踪目标的运动轨迹,在得到各跟踪目标的运动轨迹后,判断跟踪目标是否交叉遮挡,从而为后续措施提供数据支持。
在上述步骤102中,生成多个跟踪目标的运动轨迹,包括:
通过双目摄像机采集的图像检测出多个运动目标;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹。
运动轨迹状态体现了运动目标在一定图像帧数过程中或一段时间中的运动状态,是真实目标的运动状态,还是假目标的状态。因此根据运动轨迹状态可确定最终的跟踪目标的运动轨迹。
在一实施例中,根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹,包括:
所述运动轨迹状态包括激活状态、抑制状态、临时状态和终止状态;
检测到的所有运动目标的运动轨迹在初始时都具备临时状态;
监控各运动目标在连续图像帧中的匹配度数据;
若匹配度数据满足第一预设条件,则将所述运动目标的运动轨迹状态从临时状态切换为激活状态或从抑制状态切换为激活状态;
若所述匹配度数据不满足所述第一预设条件且满足第二预设条件,则将所述运动目标的运动轨迹状态从激活状态切换为抑制状态;
若所述匹配度数据同时不满足所述第一预设条件和所述第二预设条件,则将所述运动目标的运动轨迹状态从抑制状态切换为终止状态;
将具备激活状态或抑制状态的运动目标的运动轨迹确定为所述跟踪目标的运动轨迹。
如图2所示,运动轨迹状态可以有以下四种状态:
临时状态:Temp表示目标的初始状态,此时不启动目标跟踪;目标生命周期赋值为1,目标队列中添加该目标。
激活状态:Active表示目标处于跟踪状态,当目标的生命周期达到激活阈值acThr时,目标从Temp状态转向Active状态,生命周期赋值为fulThr。
抑制状态:InActive表示目标处于不活跃状态,仍继续跟踪,当目标生命周期达到抑制阈值InAcThr(InAcThr<acThr)时,目标从Active状态转向InActive状态。
终止状态:Dead表示目标消亡,需要从跟踪队列中删除该目标,当目标生命周期低于deadThr时目标消亡。
所述匹配度数据是在所述连续图像帧中呈现所述运动目标的匹配值总和与系数的乘积,所述第一预设条件是所述匹配度数据大于等于第一预设值且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,所述第二预设条件是所述匹配度数据大于等于第二预设值且小于所述第一预设值,且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,其中,所述第一预设值大于所述第二预设值。
其中,每一运动目标的标识信息至少包括全局标识,左摄像机标识,右摄像机标识,左本地标识、右本地标识。若两个运动目标的左摄像机标识相同或右摄像机标识相同,则所述两个运动目标相互冲突。
其中,根据运动目标的速度大小匹配度、速度方向误差度、距离匹配度和\或所述运动目标对应的检测框重叠度确定所述运动目标呈现于相邻图像帧的匹配值;
所述匹配度数据M=Q·D,D是所述轨迹惩罚系数,Q是所述匹配值总和,若当前图像帧呈现所述运动目标,则D的值是1,若当前图像帧未呈现所述运动目标,则D是大于0小于1的常数。
将两帧图像中的目标进行匹配得到目标的匹配度数据,对于连续多帧图像,则对这些匹配值进行累加。若两个目标匹配为同一目标,则该两个目标可以关联,可以得到目标的轨迹。
对两个目标进行匹配可以采用多种方法,在本实施例中可采用下列方法来进行匹配。
轨迹关联规则:利用k-1时刻轨迹点A和预测k时刻轨迹点B为半径的圆来计算k时刻的轨迹匹配度,据此判断是否关联该轨迹点。预测点B可通过交互多模型IMM滤波来产生,参考图3。
假设X[k]为k时刻待关联的轨迹点C,T[k-1]为上一帧目标的轨迹点A,P[k]为预测k时刻的轨迹点B。
轨迹T和轨迹点C的匹配度为matchScore:
1.计算量测速度大小匹配度
Figure BDA0001372448250000041
2.计算量测速度方向误差。AC和AB之间的夹角alpha
Figure BDA0001372448250000042
matchAng=1-alpha/PI
3.计算量测2D矩形框重叠度
matchOverlap=Overlap(RcL)×Overlap(RcR);
待关联轨迹点C在C0和C1相机的分目标,Overlap(RcL)表示在C0中的矩形框CL和AL的重叠度;Overlap(RcR)在C1中的矩形框CR和AR的重叠度。
Figure BDA0001372448250000043
matchScore=1/4exp(matchSpeed×matchAng×matchOverlap);
当matchScore大于一定阈值MatchThr时,认定时刻k的轨迹点和轨迹关联,认定为同一目标进行跟踪,否则不关联。
如果关联点C和轨迹Trail关联,则更新目标轨迹,目标生命周期加1,如果增加后生命周期超过fulThr,则赋值为fulThr;如果目标量测信息和已知目标轨迹不匹配,则建立新的目标轨迹;当有目标消失或跟丢时,则跟踪方案会根据轨迹生命周期低于一定deadThr时删除该目标。
例如,设一组相机为C0和C1,C0和C1在k时刻分别检测到N0个目标和N1个目标,分半给其赋予ID:1-N0及N1个目标1-N1。Trail的轨迹ID为全局标识gId,在左右镜头中的Id为LId;RId,以及在每帧图像中的localLId,localRId,在目标初配时会给予每个初配目标preTarget赋初始Id:
preTarget.gId=0;
preTarget.LId=0;
preTarget.RId=0;
preTarget.localLId=i(i=1,2,3...N0);
preTarget.localRId=j(i=1,2,3...N1)。
如果在k时刻preTarget和一条轨迹Trail0关联上,则更新Trail轨迹点的轨迹,Trail[0].target[k]=preTarget,ID号继承k-1时刻的Id:
Trail[0].target[k].gId=Trail[0].target[k-1].gId;
Trail[0].target[k].LId=Trail.[0]target[k-1].LId;
Trail[0].target[k].RId=Trail[0].target[k-1].RId;
Trail[0].lifetime=Trail[0].lifetime+1;
Trail[0].qualityScore=Trail[0].qualityScore+matchScore。
如果不关联,则向轨迹列表中新增加一个Temp状态的轨迹:
Trail.status=Temp;
Trail.target[k]=preTarget;
Trail.target[k].gId=externGId=externId+1;externGId表示所有历史上记录过的轨迹ID号。
Trail.target[k].LId=externLId=externLId+1;externLId表示所有历史上在C0中的记录过的轨迹全局ID号。
Trail.target[k].RId=externRId=externRId+1;externRId表示所有历史上在C1中的记录过的轨迹全局ID号。
Trail.lifetime=1;
Trail[0].qualityScore=matchScore。
如果某条轨迹当前没有被轨迹点关联上:
Trail.lifetime=Trail.lifetime-1;
Trail[0].qualityScore=Trail[0].qualityScore*lamda;lamda表示轨迹的损失率,为0-1之间的系数,这里取lamda=0.95,lamda即上述系数D;
上面说明了标识的形成过程,每一跟踪目标的运动轨迹的标识信息至少包括全局标识、左摄像机标识、右摄像机标识、左本地标识、右本地标识,所述左本地标识、右本地标识是所述跟踪目标在所述运动轨迹中最后一帧图像中的标识。根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡的具体过程可以包括:
根据所述运动轨迹包含的标识信息确定多个所述跟踪目标是否交叉遮挡。
其中,若多个跟踪目标的运动轨迹中的左本地标识之间相同或者右本地标识之间相同,则确定发生跟踪目标在单目摄像机下的交叉重叠,即可能在某个角度下是遮挡的。
若多个跟踪目标的运动轨迹中的左本地标识之间相同且右本地标识之间相同,则确定发生跟踪目标在双目摄像机下的交叉重叠,即实际发生了遮挡。
但由于单目相机的视场限制,实际跟踪往往采用多个相机对目标进行跟踪,利用多个相机可以更好的解决目标交叉、遮挡,场景光照变化等复杂场景下的跟踪问题。
本发明实施例提供的一种存储设备,其中存储有多条指令,所述指令适于由处理器加载并执行,包括:
生成多个跟踪目标的运动轨迹;
根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。
进一步地,生成多个跟踪目标的运动轨迹,包括:
通过双目摄像机采集的图像检测出多个运动目标;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹。
进一步地,根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹,包括:
所述运动轨迹状态包括激活状态、抑制状态、临时状态和终止状态;
检测到的所有运动目标的运动轨迹在初始时都具备临时状态;
监控各运动目标在连续图像帧中的匹配度数据;
若匹配度数据满足第一预设条件,则将所述运动目标的运动轨迹状态从临时状态切换为激活状态或从抑制状态切换为激活状态;
若所述匹配度数据不满足所述第一预设条件且满足第二预设条件,则将所述运动目标的运动轨迹状态从激活状态切换为抑制状态;
若所述匹配度数据同时不满足所述第一预设条件和所述第二预设条件,则将所述运动目标的运动轨迹状态从抑制状态切换为终止状态;
将具备激活状态或抑制状态的运动目标的运动轨迹确定为所述跟踪目标的运动轨迹。
进一步地,所述匹配度数据是在所述连续图像帧中呈现所述运动目标的匹配值总和与系数的乘积,所述第一预设条件是所述匹配度数据大于等于第一预设值且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,所述第二预设条件是所述匹配度数据大于等于第二预设值且小于所述第一预设值,且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,其中,所述第一预设值大于所述第二预设值。
进一步地,每一运动目标的标识信息至少包括全局标识,左摄像机标识,右摄像机标识,左本地标识、右本地标识;
若两个运动目标的左摄像机标识相同或右摄像机标识相同,则所述两个运动目标相互冲突。
进一步地,根据运动目标的速度大小匹配度、速度方向误差度、距离匹配度和\或所述运动目标对应的检测框重叠度确定所述运动目标呈现于相邻图像帧的匹配值;
所述匹配度数据M=Q·D,D是所述轨迹惩罚系数,Q是所述匹配值总和,若当前图像帧呈现所述运动目标,则D的值是1,若当前图像帧未呈现所述运动目标,则D是大于0小于1的常数。
假设在第3帧时,目标在前两帧中均出现了,第三帧图像中也出现了,则匹配度数据是a1+a2+a3,若第三帧图像中目标消失了,则匹配度数据是a1+a2+a3×D,轨迹惩罚系数D可以是0.95,若第四帧中目标又出现了,则匹配度数据是a1+a2+a3×D+a4。
进一步地,根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡,包括:
根据所述运动轨迹包含的标识信息确定多个所述跟踪目标是否交叉遮挡。
其中,每一跟踪目标的运动轨迹的标识信息至少包括全局标识、左摄像机标识、右摄像机标识、左本地标识、右本地标识,所述左本地标识、右本地标识是所述跟踪目标在所述运动轨迹中最后一帧图像中的标识;
若多个跟踪目标的运动轨迹中的左本地标识之间相同或者右本地标识之间相同,则确定发生跟踪目标在单目摄像机下的交叉重叠;
若多个跟踪目标的运动轨迹中的左本地标识之间相同且右本地标识之间相同,则确定发生跟踪目标在双目摄像机下的交叉重叠。
如图4所示,本发明实施例还公开了一种直录播互动终端400可以包括:
处理器402,适于实现各指令;
存储设备404,适于存储多条指令,所述指令适于由所述处理器加载并执行:
生成多个跟踪目标的运动轨迹;
根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡。
在检测范围中出现多目标时,基于双目摄像机的跟踪系统需精确定位并解决目标交叉重叠的问题,本发明实施例能够生成多个跟踪目标的运动轨迹,并根据多个跟踪目标的运动轨迹确定多个跟踪目标是否交叉遮挡,即在多目标情况,精确定位每个目标,并判断各目标之间是否交叉遮挡,以为后续服务提供精准数据支持。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于双目摄像机的目标关联方法,其特征在于,包括:
生成多个跟踪目标的运动轨迹;
根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡;
生成多个跟踪目标的运动轨迹,包括:
通过双目摄像机采集的图像检测出多个运动目标;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹,包括:
所述运动轨迹状态包括激活状态、抑制状态、临时状态和终止状态;
检测到的所有运动目标的运动轨迹在初始时都具备临时状态;
监控各运动目标在连续图像帧中的匹配度数据;
若匹配度数据满足第一预设条件,则将所述运动目标的运动轨迹状态从临时状态切换为激活状态或从抑制状态切换为激活状态;
若所述匹配度数据不满足所述第一预设条件且满足第二预设条件,则将所述运动目标的运动轨迹状态从激活状态切换为抑制状态;
若所述匹配度数据同时不满足所述第一预设条件和所述第二预设条件,则将所述运动目标的运动轨迹状态从抑制状态切换为终止状态;
将具备激活状态或抑制状态的运动目标的运动轨迹确定为所述跟踪目标的运动轨迹;
所述匹配度数据是在所述连续图像帧中呈现所述运动目标的匹配值总和与轨迹惩罚系数的乘积,所述第一预设条件是所述匹配度数据大于等于第一预设值且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,所述第二预设条件是所述匹配度数据大于等于第二预设值且小于所述第一预设值,且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,其中,所述第一预设值大于所述第二预设值。
2.根据权利要求1所述的方法,其特征在于,每一运动目标的标识信息至少包括全局标识,左摄像机标识,右摄像机标识,左本地标识、右本地标识;
其中,全局标识为所述运动目标的运动轨迹的轨迹ID,左摄像机标识为所述运动目标左镜头中的轨迹ID,右摄像机标识为所述运动目标右镜头中的轨迹ID,左本地标识、右本地标识是所述跟踪目标在所述运动轨迹中最后一帧图像中的标识;
若两个运动目标的左摄像机标识相同或右摄像机标识相同,则所述两个运动目标相互冲突。
3.根据权利要求2所述的方法,其特征在于,根据运动目标的速度大小匹配度、速度方向误差度、距离匹配度和\或所述运动目标对应的检测框重叠度确定所述运动目标呈现于相邻图像帧的匹配值;
所述匹配度数据M=Q·D,D是所述轨迹惩罚系数,Q是所述匹配值总和,若当前图像帧呈现所述运动目标,则D的值是1,若当前图像帧未呈现所述运动目标,则D是大于0小于1的常数。
4.根据权利要求1至3中任一项所述的方法,其特征在于,根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡,包括:
根据所述运动轨迹包含的标识信息确定多个所述跟踪目标是否交叉遮挡。
5.根据权利要求4所述的方法,其特征在于,每一跟踪目标的运动轨迹的标识信息至少包括全局标识、左摄像机标识、右摄像机标识、左本地标识、右本地标识,所述左本地标识、右本地标识是所述跟踪目标在所述运动轨迹中最后一帧图像中的标识;
若多个跟踪目标的运动轨迹中的左本地标识之间相同或者右本地标识之间相同,则确定发生跟踪目标在单目摄像机下的交叉重叠;
若多个跟踪目标的运动轨迹中的左本地标识之间相同且右本地标识之间相同,则确定发生跟踪目标在双目摄像机下的交叉重叠。
6.一种存储设备,其中存储有多条指令,所述指令适于由处理器加载并执行,其特征在于,包括:
生成多个跟踪目标的运动轨迹;
根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡;
生成多个跟踪目标的运动轨迹,包括:
通过双目摄像机采集的图像检测出多个运动目标;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹,包括:
所述运动轨迹状态包括激活状态、抑制状态、临时状态和终止状态;
检测到的所有运动目标的运动轨迹在初始时都具备临时状态;
监控各运动目标在连续图像帧中的匹配度数据;
若匹配度数据满足第一预设条件,则将所述运动目标的运动轨迹状态从临时状态切换为激活状态或从抑制状态切换为激活状态;
若所述匹配度数据不满足所述第一预设条件且满足第二预设条件,则将所述运动目标的运动轨迹状态从激活状态切换为抑制状态;
若所述匹配度数据同时不满足所述第一预设条件和所述第二预设条件,则将所述运动目标的运动轨迹状态从抑制状态切换为终止状态;
将具备激活状态或抑制状态的运动目标的运动轨迹确定为所述跟踪目标的运动轨迹;
所述匹配度数据是在所述连续图像帧中呈现所述运动目标的匹配值总和与系数的乘积,所述第一预设条件是所述匹配度数据大于等于第一预设值且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,所述第二预设条件是所述匹配度数据大于等于第二预设值且小于所述第一预设值,且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,其中,所述第一预设值大于所述第二预设值。
7.根据权利要求6所述的存储设备,其特征在于,每一运动目标的标识信息至少包括全局标识,左摄像机标识,右摄像机标识,左本地标识、右本地标识;
其中,全局标识为所述运动目标的运动轨迹的轨迹ID,左摄像机标识为所述运动目标左镜头中的轨迹ID,右摄像机标识为所述运动目标右镜头中的轨迹ID,左本地标识、右本地标识是所述跟踪目标在所述运动轨迹中最后一帧图像中的标识;
若两个运动目标的左摄像机标识相同或右摄像机标识相同,则所述两个运动目标相互冲突。
8.根据权利要求6所述的存储设备,其特征在于,根据运动目标的速度大小匹配度、速度方向误差度、距离匹配度和\或所述运动目标对应的检测框重叠度确定所述运动目标呈现于相邻图像帧的匹配值;
所述匹配度数据M=Q·D,D是所述轨迹惩罚系数,Q是所述匹配值总和,若当前图像帧呈现所述运动目标,则D的值是1,若当前图像帧未呈现所述运动目标,则D是大于0小于1的常数。
9.根据权利要求6至8中任一项所述的存储设备,其特征在于,根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡,包括:
根据所述运动轨迹包含的标识信息确定多个所述跟踪目标是否交叉遮挡。
10.根据权利要求9所述的存储设备,其特征在于,每一跟踪目标的运动轨迹的标识信息至少包括全局标识、左摄像机标识、右摄像机标识、左本地标识、右本地标识,所述左本地标识、右本地标识是所述跟踪目标在所述运动轨迹中最后一帧图像中的标识;
若多个跟踪目标的运动轨迹中的左本地标识之间相同或者右本地标识之间相同,则确定发生跟踪目标在单目摄像机下的交叉重叠;
若多个跟踪目标的运动轨迹中的左本地标识之间相同且右本地标识之间相同,则确定发生跟踪目标在双目摄像机下的交叉重叠。
11.一种直录播互动终端,其特征在于,包括:
处理器,适于实现各指令;
存储设备,适于存储多条指令,所述指令适于由所述处理器加载并执行:
生成多个跟踪目标的运动轨迹;
根据多个所述跟踪目标的运动轨迹确定多个所述跟踪目标是否交叉遮挡;
生成多个跟踪目标的运动轨迹,包括:
通过双目摄像机采集的图像检测出多个运动目标;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹;
根据多个所述运动目标的运动轨迹状态筛选出若干个运动目标的运动轨迹确定为所述跟踪目标的运动轨迹,包括:
所述运动轨迹状态包括激活状态、抑制状态、临时状态和终止状态;
检测到的所有运动目标的运动轨迹在初始时都具备临时状态;
监控各运动目标在连续图像帧中的匹配度数据;
若匹配度数据满足第一预设条件,则将所述运动目标的运动轨迹状态从临时状态切换为激活状态或从抑制状态切换为激活状态;
若所述匹配度数据不满足所述第一预设条件且满足第二预设条件,则将所述运动目标的运动轨迹状态从激活状态切换为抑制状态;
若所述匹配度数据同时不满足所述第一预设条件和所述第二预设条件,则将所述运动目标的运动轨迹状态从抑制状态切换为终止状态;
将具备激活状态或抑制状态的运动目标的运动轨迹确定为所述跟踪目标的运动轨迹;
所述匹配度数据是在所述连续图像帧中呈现所述运动目标的匹配值总和与轨迹惩罚系数的乘积,所述第一预设条件是所述匹配度数据大于等于第一预设值且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,所述第二预设条件是所述匹配度数据大于等于第二预设值且小于所述第一预设值,且与所述运动目标冲突的其他运动目标的运动轨迹状态是终止状态,其中,所述第一预设值大于所述第二预设值。
CN201710669016.5A 2017-08-08 2017-08-08 目标关联方法、存储设备、直录播互动终端 Active CN107292916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710669016.5A CN107292916B (zh) 2017-08-08 2017-08-08 目标关联方法、存储设备、直录播互动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710669016.5A CN107292916B (zh) 2017-08-08 2017-08-08 目标关联方法、存储设备、直录播互动终端

Publications (2)

Publication Number Publication Date
CN107292916A CN107292916A (zh) 2017-10-24
CN107292916B true CN107292916B (zh) 2020-10-27

Family

ID=60104898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710669016.5A Active CN107292916B (zh) 2017-08-08 2017-08-08 目标关联方法、存储设备、直录播互动终端

Country Status (1)

Country Link
CN (1) CN107292916B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110542885B (zh) * 2019-08-13 2021-09-21 北京理工大学 一种复杂交通环境下的毫米波雷达目标跟踪方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN101142593A (zh) * 2005-03-17 2008-03-12 英国电讯有限公司 跟踪视频序列中的目标的方法
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101226640A (zh) * 2007-12-21 2008-07-23 西北工业大学 基于多双目立体视觉的运动捕获方法
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN101616309A (zh) * 2009-07-16 2009-12-30 上海交通大学 无重叠视域多摄像机人体目标跟踪方法
CN101833771A (zh) * 2010-06-03 2010-09-15 北京智安邦科技有限公司 解决多目标交汇遮挡的跟踪装置及方法
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN103927763A (zh) * 2014-03-24 2014-07-16 河海大学 一种图像序列多目标跟踪轨迹识别处理方法
CN104794731A (zh) * 2015-05-12 2015-07-22 成都新舟锐视科技有限公司 用于球机控制策略的多目标检测跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181453A1 (en) * 2005-03-17 2008-07-31 Li-Qun Xu Method of Tracking Objects in a Video Sequence

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142593A (zh) * 2005-03-17 2008-03-12 英国电讯有限公司 跟踪视频序列中的目标的方法
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN101141633A (zh) * 2007-08-28 2008-03-12 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
CN101226640A (zh) * 2007-12-21 2008-07-23 西北工业大学 基于多双目立体视觉的运动捕获方法
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN101616309A (zh) * 2009-07-16 2009-12-30 上海交通大学 无重叠视域多摄像机人体目标跟踪方法
CN101833771A (zh) * 2010-06-03 2010-09-15 北京智安邦科技有限公司 解决多目标交汇遮挡的跟踪装置及方法
CN102436662A (zh) * 2011-11-29 2012-05-02 南京信息工程大学 一种非重叠视域多摄像机网络中的人体目标跟踪方法
CN103927763A (zh) * 2014-03-24 2014-07-16 河海大学 一种图像序列多目标跟踪轨迹识别处理方法
CN104794731A (zh) * 2015-05-12 2015-07-22 成都新舟锐视科技有限公司 用于球机控制策略的多目标检测跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tracking multi objects with different size based on data association;Xue Tingting et al.;《ICSP2012 Proceedings》;20130404;第1123-1126页 *
基于双目视觉的运动目标跟踪与三维测量;吴亚鹏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080815;第2008年卷(第8期);第I138-614页 *

Also Published As

Publication number Publication date
CN107292916A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107238834B (zh) 用于自动车辆的使用雷达/视觉融合的目标跟踪系统
Gupte et al. Detection and classification of vehicles
US8406472B2 (en) Method and system for processing image data
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN111399492A (zh) 一种机器人及其障碍物感知方法和装置
US8860815B2 (en) Apparatus, method and computer program for image-based tracking of surveillance objects
JP2016148962A (ja) 物体検知装置
CN101344965A (zh) 基于双目摄像的跟踪系统
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
US10692225B2 (en) System and method for detecting moving object in an image
Muresan et al. Multi-object tracking of 3D cuboids using aggregated features
CN111797727A (zh) 一种检测路面抛洒物的方法、装置及存储介质
Bashar et al. Multiple object tracking in recent times: A literature review
CN107292916B (zh) 目标关联方法、存储设备、直录播互动终端
Kim Vehicle detection and speed estimation for automated traffic surveillance systems at nighttime
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
GB2520243A (en) Image processor
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
Diaz-Ruiz et al. Vision-only 3d tracking for self-driving cars
CN110458017B (zh) 目标跟踪的尺度估计方法以及相关装置
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
US7773771B2 (en) Video data tracker
US9183448B2 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
CN113962338B (zh) 一种rfid辅助多摄像头检测跟踪的室内监控方法及系统
CN115909219A (zh) 一种基于视频分析的场景变更检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant