CN113470081B - 一种车辆跟踪方法、装置、计算机设备及存储介质 - Google Patents
一种车辆跟踪方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113470081B CN113470081B CN202110826092.9A CN202110826092A CN113470081B CN 113470081 B CN113470081 B CN 113470081B CN 202110826092 A CN202110826092 A CN 202110826092A CN 113470081 B CN113470081 B CN 113470081B
- Authority
- CN
- China
- Prior art keywords
- region
- target
- candidate
- area
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000004927 fusion Effects 0.000 claims abstract description 177
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000012216 screening Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种车辆跟踪方法、装置、计算机设备及存储介质,用于解决跟踪车辆的准确性较低的问题。该方法包括:对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果。基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合。基于所述各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域,以及分别确定所述各个融合目标区域各自的融合标识。基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种车辆跟踪方法、装置、计算机设备及存储介质。
背景技术
随着科技的发展,越来越多的设备可以跟踪视频中包含的车辆。例如,智慧停车场景下,设备可以通过跟踪视频包含的车辆,来为车辆提供停车引导服务等。
跟踪视频包含的车辆的方法通常是,将车辆作为目标,对视频进行目标跟踪处理。然而,在实际中,可能由于天气、光照、物体遮挡等原因,使得同一个车辆在不同的视频帧中被确定为不同的车辆。可见,传统的跟踪车辆的方法跟踪准确性较低。
发明内容
本申请实施例提供一种车辆跟踪方法、装置、计算机设备及存储介质,用于解决跟踪车辆的准确性较低的问题。
第一方面,提供一种车辆跟踪方法,包括:
对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果,其中,所述初始跟踪结果至少包括所述待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,所述候选区域包括候选车辆区域和候选车牌区域;
基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合;
基于所述各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域;
基于所述各个融合目标区域各自对应的目标车辆区域的区域标识、所述各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及所述各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定所述各个融合目标区域各自的融合标识;
基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,其中,所述车辆跟踪结果用于表征所述待跟踪视频帧包含的车辆。
可选的,基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,包括:
若确定所述各个候选区域中包括其他候选区域,则基于其他候选区域的区域标识,以及其他候选区域关联的历史区域标识,确定所述各个候选区域中包括的其他候选区域的融合标识,其中,所述其他候选区域是所述各个候选区域中,除了所述各个目标车辆区域和各个目标车牌区域以外,且关联了历史区域标识的候选区域;
基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识、获得的其他候选区域和获得的其他候选区域的融合标识,获得所述待跟踪视频帧的车辆跟踪结果。
可选的,基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合,包括:
基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,其中,所述参考车辆区域是基于预设的区域扩充策略,对候选车辆区域进行区域扩充处理获得的;
将对应的参考车辆区域内包含候选车牌区域的候选车辆区域,作为目标车辆区域,并基于目标车辆区域对应的参考车辆区域内包含的候选车牌区域,建立目标车辆区域关联的候选车辆区域集合;
基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足所述主关联条件的候选车牌区域,作为所述各个目标车辆区域各自关联的主车牌区域;
针对所述各个目标车辆区域,分别执行:基于所述各个目标车辆区域中的一个目标车辆区域关联的主车牌区域,以及,所述一个目标车辆区域关联候选车牌区域集合中除了各个主车牌区域以外的候选车牌区域,建立所述一个目标车辆区域关联的目标车牌区域集合。
可选的,基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,包括:
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的中心位置;或者,
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的各个区域边界。
可选的,基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足所述主关联条件的候选车牌区域,作为所述各个目标车辆区域各自关联的主车牌区域,包括:
针对所述各个目标车辆区域,分别执行以下操作:
确定所述各个目标车辆区域中的一个目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与所述一个目标车辆区域的指定区域边界的中心位置之间的距离;
将距离最小的候选车牌区域确定为所述一个目标车辆区域关联的主车牌区域。
可选的,在基于各个融合目标区域、各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果之前,还包括:
针对所述各个目标车辆区域,分别执行以下操作:
获得所述各个目标车辆区域中的一个目标车辆区域的历史区域标识;
基于所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识。
可选的,若区域标识的数据类型为数值型,区域标识按照生成时刻的先后顺序,从零到预设的指定数值依次递增,则基于所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识,包括:
针对所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识中的第一区域标识和第二区域标识,分别执行以下操作:
确定第二区域标识与第一区域标识之间的标识差值;
若确定所述标识差值大于零,且所述标识差值小于所述指定数值,则确定第一区域标识的生成时刻早于第二区域标识的生成时刻;
将获得的生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识。
第二方面,提供一种车辆跟踪装置,包括:
第一处理模块:用于对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果,其中,所述初始跟踪结果至少包括所述待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,所述候选区域包括候选车辆区域和候选车牌区域;
第二处理模块:用于基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合;
所述第二处理模块还用于:基于所述各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域;
所述第二处理模块还用于:基于所述各个融合目标区域各自对应的目标车辆区域的区域标识、所述各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及所述各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定所述各个融合目标区域各自的融合标识;
所述第二处理模块还用于:基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,其中,所述车辆跟踪结果用于表征所述待跟踪视频帧包含的车辆。
可选的,所述第二处理模块具体用于:
若确定所述各个候选区域中包括其他候选区域,则基于其他候选区域的区域标识,以及其他候选区域关联的历史区域标识,确定所述各个候选区域中包括的其他候选区域的融合标识,其中,所述其他候选区域是所述各个候选区域中,除了所述各个目标车辆区域和各个目标车牌区域以外,且关联了历史区域标识的候选区域;
基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识、获得的其他候选区域和获得的其他候选区域的融合标识,获得所述待跟踪视频帧的车辆跟踪结果。
可选的,所述第二处理模块具体用于:
基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,其中,所述参考车辆区域是基于预设的区域扩充策略,对候选车辆区域进行区域扩充处理获得的;
将对应的参考车辆区域内包含候选车牌区域的候选车辆区域,作为目标车辆区域,并基于目标车辆区域对应的参考车辆区域内包含的候选车牌区域,建立目标车辆区域关联的候选车辆区域集合;
基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足所述主关联条件的候选车牌区域,作为所述各个目标车辆区域各自关联的主车牌区域;
针对所述各个目标车辆区域,分别执行:基于所述各个目标车辆区域中的一个目标车辆区域关联的主车牌区域,以及,所述一个目标车辆区域关联候选车牌区域集合中除了各个主车牌区域以外的候选车牌区域,建立所述一个目标车辆区域关联的目标车牌区域集合。
可选的,所述第二处理模块具体用于:
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的中心位置;或者,
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的各个区域边界。
可选的,所述第二处理模块具体用于:
针对所述各个目标车辆区域,分别执行以下操作:
确定所述各个目标车辆区域中的一个目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与所述一个目标车辆区域的指定区域边界的中心位置之间的距离;
将距离最小的候选车牌区域确定为所述一个目标车辆区域关联的主车牌区域。
可选的,所述第二处理模块还用于:
在基于各个融合目标区域、各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果之前,针对所述各个目标车辆区域,分别执行以下操作:
获得所述各个目标车辆区域中的一个目标车辆区域的历史区域标识;
基于所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识。
可选的,若区域标识的数据类型为数值型,区域标识按照生成时刻的先后顺序,从零到预设的指定数值依次递增,则所述第二处理模块具体用于:
针对所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识中的第一区域标识和第二区域标识,分别执行以下操作:
确定第二区域标识与第一区域标识之间的标识差值;
若确定所述标识差值大于零,且所述标识差值小于所述指定数值,则确定第一区域标识的生成时刻早于第二区域标识的生成时刻;
将获得的生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识。
第三方面,提供一种计算机设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面所述的方法。
第四方面,提供一种计算机可读存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的方法。
本申请实施例中,通过多目标跟踪的方式,可以同时获得待跟踪视频帧包含的候选车辆区域和候选车牌区域,提高了获得候选车辆区域和候选车牌区域的效率。进一步的,从车体和车牌两个角度对待跟踪视频帧中包含的车辆进行跟踪,并将目标车辆区域与目标车牌区域集合进行关联,可以在一个待跟踪视频帧中,准确地确定出一个车辆。同时,通过将目标车辆区域的区域标识、目标车辆区域关联的目标车牌区域的区域标识,以及目标车辆区域关联的历史区域标识融合,获得的融合标识,可以在整个视频中,唯一的表征每辆车,提高了跟踪车辆的准确性。
附图说明
图1为本申请实施例提供的车辆跟踪方法的一种应用场景;
图2为本申请实施例提供的车辆跟踪方法的一种原理示意图;
图3为本申请实施例提供的车辆跟踪方法的一种流程示意图;
图4为本申请实施例提供的车辆跟踪装置的一种结构示意图二;
图5为本申请实施例提供的车辆跟踪装置的一种结构示意图三。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面对本申请实施例提供的车辆跟踪方法的应用领域进行简单介绍。
随着科技的发展,越来越多的场所可以通过拍摄装置来采集包含车辆的视频或图片,从而可以自动化的为车辆提供服务。例如,在一些场所的出入口设置的拍摄装置,又例如,在停车场内设置的拍摄装置等。
设备可以通过跟踪视频中出现的车辆来为拍摄装置所拍摄的场景内出现的车辆提供服务。例如,智慧停车场景下,设备可以通过跟踪视频包含的车辆,来为车辆提供停车引导服务,实现停车资源的合理调配,缓解停车难、乱停乱放等问题。
跟踪视频包含的车辆的方法通常是,将车辆作为目标,对视频进行目标跟踪处理。然而,在实际中,可能由于天气、光照、物体遮挡等原因,使得同一个车辆在不同的视频帧中被确定为不同的车辆。可见,传统的跟踪车辆的方法跟踪准确性较低。
为了解决跟踪车辆的准确性较低的文本,本申请提出一种车辆跟踪方法。该方法中对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果,其中,初始跟踪结果至少包括待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,候选区域包括候选车辆区域和候选车牌区域。基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合。基于各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域。基于各个融合目标区域各自对应的目标车辆区域的区域标识、各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定各个融合目标区域各自的融合标识。基于各个融合目标区域、各个融合目标区域各自的融合标识,获得待跟踪视频帧的车辆跟踪结果,其中,车辆跟踪结果用于表征待跟踪视频帧包含的车辆。
本申请实施例中,通过多目标跟踪的方式,可以同时获得待跟踪视频帧包含的候选车辆区域和候选车牌区域,提高了获得候选车辆区域和候选车牌区域的效率。进一步的,从车体和车牌两个角度对待跟踪视频帧中包含的车辆进行跟踪,并将目标车辆区域与目标车牌区域集合进行关联,可以在一个待跟踪视频帧中,准确地确定出一个车辆。同时,通过将目标车辆区域的区域标识、目标车辆区域关联的目标车牌区域的区域标识,以及目标车辆区域关联的历史区域标识融合,获得的融合标识,可以在整个视频中,唯一的表征每辆车,提高了跟踪车辆的准确性。
下面对本申请提供的车辆跟踪方法的应用场景进行说明。
请参考图1,为本申请实施例提供的车辆跟踪方法的一种应用场景。该应用场景中包括视频拍摄端101和车辆跟踪端102。视频拍摄端101和车辆跟踪端102之间可以通信,通信方式可以是采用有线通信技术进行通信,例如通过连接网线或串口线进行通信;也可以是采用无线通信技术进行通信,例如通过蓝牙或无线保真(wireless fidelity,WIFI)等技术进行通信,具体不做限制。
视频拍摄端101泛指可以为车辆跟踪端102提供待跟踪视频帧的设备,例如,服务器、终端设备、终端设备可以访问的第三方应用程序或终端设备可以访问的网页等。服务器包括但不限于云服务器或本地服务器等。终端设备包括但不限于手机、电脑或平板等。车辆跟踪端102泛指可以对待跟踪视频帧进行车辆跟踪的设备,例如,服务器、终端设备等。视频拍摄端101和车辆跟踪端102均可以采用云计算,以减少本地计算资源的占用;同样也可以采用云存储,以减少本地存储资源的占用。
作为一种实施例,视频拍摄端101和车辆跟踪端102可以是同一个设备,本申请实施例中,以视频拍摄端101和车辆跟踪端102分别为不同的设备为例进行介绍。
下面基于图1,对本申请实施例提供的车辆跟踪方法进行具体介绍。
请参考图2,为本申请实施例提供的车辆跟踪方法的原理示意图。在对获得的待跟踪视频帧进行目标跟踪处理之后,获得初始跟踪结果。基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域。基于对应的参考车辆区域内包含候选车牌区域的候选车辆区域,建立目标车辆区域关联的候选车辆区域集合。基于各个目标车辆区域各自关联的主车牌区域,确定各个目标车辆区域各自关联的目标车牌区域集合。基于各个目标车辆区域各自关联的目标车牌区域集合,融合处理后得到各个融合目标区域。基于各个融合目标区域各自对应的目标车辆区域的区域标识、各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,融合处理后得到各个融合目标区域各自的融合标识。基于各个融合目标区域、各个融合目标区域各自的融合标识,获得待跟踪视频帧的车辆跟踪结果,其中,车辆跟踪结果用于表征待跟踪视频帧包含的车辆。在获得车辆跟踪结果的时候,还有一种情况可以是,如果各个候选区域中包括其他候选区域,那么基于各个融合目标区域、各个融合目标区域各自的融合标识、各个其他候选区域和各个其他候选区域各自的融合标识,获得待跟踪视频帧的车辆跟踪结果。
请参考图3,为本申请实施例提供的车辆跟踪方法的流程示意图。
S301,对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果。
车辆跟踪端102在对获得的待跟踪视频帧进行目标跟踪处理之前,可以先获得待跟踪视频帧。车辆跟踪端102获得待跟踪视频帧的方法有多种,例如,车辆跟踪端102接收视频拍摄端101发送的待跟踪视频帧,每接收一个待跟踪视频帧时,对接收的待跟踪视频帧进行车辆跟踪。又例如,车辆跟踪端102接收视频拍摄端101发送的视频数据包,视频数据包中包括多个待跟踪视频帧,车辆跟踪端102在接收多个待跟踪视频帧之后,可以依次对每个待跟踪视频帧进行车辆跟踪,或者,可以从多个待跟踪视频帧抽取指定数量的待跟踪视频帧,对抽取出的待跟踪视频帧进行车辆跟踪。又例如,车辆跟踪端102可以读取预先存储的待跟踪视频,从多个待跟踪视频中抽取指定数量的待跟踪视频帧,对抽取出的待跟踪视频帧进行车辆跟踪等。
车辆跟踪端102在获得待跟踪视频帧之后,可以对获得的待跟踪视频帧进行目标跟踪处理。车辆跟踪端102对待跟踪视频帧进行目标跟踪处理的方法有多种,例如,车辆跟踪端102采用已训练的深度学习模型对待跟踪视频帧进行目标跟踪处理,又例如,车辆跟踪端102采用边缘跟踪技术对待跟踪视频帧进行目标跟踪处理等。已训练的深度学习模型可以是采用已标记了样本车辆区域和样本车牌区域的样本图像进行训练得到的。
车辆跟踪端102对待跟踪视频帧进行目标跟踪处理之后,可以获得初始跟踪结果。初始跟踪结果至少包括待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,候选区域包括候选车辆区域和候选车牌区域,区域标识用于表征每个区域。由于跟踪候选车辆区域时,候选车辆区域并未受限于候选车牌区域,同样,跟踪候选车牌区域时,候选车牌区域并未受限于候选车辆区域,因此,获得的候选区域包括车辆清晰度较低,而车牌清晰可见的候选车牌区域,还包括没有挂车牌的候选车辆区域等。
S302,基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合。
由于候选车辆区域和候选车牌区域的数量是不确定的,但是区域标识通常无法按照候选车辆区域和候选车牌区域的数量无限增长,因此通常区域标识的数据类型设置为数值型,区域标识通常设置为按照生成时刻的先后顺序,从零到预设的指定数值依次递增。车辆跟踪端102在获得待跟踪视频帧包含的各个候选车辆区域、各个候选车牌区域、各个候选车辆区域各自的区域标识,以及各个候选车牌区域各自的区域标识之后,可以将表征同一辆车的候选车辆区域和候选车牌区域进行关联,并采用统一的区域标识来表征。
下面对车辆跟踪端102关联车辆区域和车牌区域的过程进行介绍。
车辆跟踪端102可以直接确定各个候选车牌区域内是否包含候选车牌区域,或者,由于跟踪出的候选车辆区域相对于车辆实际所占区域来说较小,因此车辆跟踪端102可以先确定各个候选车牌区域各自对应的参考车辆区域,再确定各个参考车辆区域内是否包含候选车牌区域。
参考车辆区域是基于预设的区域扩充策略,对候选车辆区域进行区域扩充处理获得的。对候选车辆区域进行区域扩充处理的方法有多种,例如,基于候选车辆区域的面积,按照预设面积比例对候选车辆区域进行扩充处理,扩充后的参考车辆区域的面积与候选车辆区域的面积之比为预设面积比例。
又例如,基于候选车牌区域的区域边界长度,增加候选车辆区域的区域边界长度。以候选车牌区域和候选车辆区域均为矩形区域为例,候选车辆区域的四个顶点坐标为[Vxleft,Vytop,Vxright,Vybottom],候选车牌区域的四个顶点坐标为[PLxleft,PLytop,PLxright,PLybottom]。将候选车辆区域的长边增加四分之一倍的候选车牌区域的长边的长度,将候选车辆区域的短边增加四分之一倍的候选车牌区域的短边的长度,请参考公式(1)和公式(2)。
其中,扩展处理后得到的参考车辆区域的四个顶点坐标为[Axleft,Aytop,Axright,Aybottom]。
作为一种实施例,在针对每个候选车牌区域,确定是否包含在候选车辆区域对应的参考车辆区域内时,可以基于每个候选车牌区域的区域边界长度,分别确定一个参考车辆区域,再确定相应候选车牌区域是否包含在相应的参考车辆区域内。或者,也可以基于待跟踪视频帧包含的各个候选车牌区域的平均区域边界长度,确定一个参考车辆区域,再确定每个候选车牌区域是否包含在该参考车辆区域内等。
车辆跟踪端102基于各个候选车辆区域与各个候选车牌区域在待跟踪视频帧中的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域。确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的方法有多种,例如,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的中心位置,请参考公式(3)。
其中,候选车牌区域的中心位置的坐标为[PLCx,PLCy]。
如果候选车牌区域的中心位置在参考车辆区域内,那么可以确定候选车牌区域在参考车辆区域内。可以采用标签flagin对在参考车辆区域内的候选车牌区域进行标记,请参考公式(4)。
flagin=(Axleft≤PLCx≤Axright)∩(Aytop≤PLCy≤Aybottom) (4)
其中,在候选车牌区域的中心位置在参考车辆区域内时,flagin的取值为1,在候选车牌区域的中心位置不在参考车辆区域内时,flagin的取值为0。
又例如,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的各个区域边界,即候选车辆区域整个在参考车辆区域内时,确定候选车辆区域在参考车辆区域内,否则,确定候选车辆区域不在参考车辆区域内。
又例如,分别确定候选车辆区域对应的参考车辆区域与候选车牌区域的重叠面积占候选车牌区域的比例,如果比例大于预设比例阈值,那么确定候选车辆区域在参考车辆区域内,否则,确定候选车辆区域不在参考车辆区域内。
在确定了各个候选车牌区域是否在各个候选车辆区域各自对应参考车辆区域内之后,将对应的参考车辆区域内包含候选车牌区域的候选车辆区域,作为目标车辆区域。基于目标车辆区域对应的参考车辆区域内包含的候选车牌区域,建立目标车辆区域关联的候选车辆区域集合。
目标车辆区域与候选车辆区域集合的关联关系可以采用标签idassociate进行标记,请参考表1。
表1
区域类型 | 区域标识 | 标签flagin | 标签idassociate |
候选车牌区域 | 1 | 1 | 3 |
候选车牌区域 | 2 | 1 | 3 |
候选车辆区域 | 3 | 1 | 1、2 |
区域标识为3的候选车辆区域对应的参考车辆区域内包含候选车牌区域,因此,将区域标识为3的候选车辆区域确定为目标车辆区域。该目标车辆区域关联了区域标识为1的候选车牌区域和区域标识为2的候选车牌区域,因此,将区域标识为1的候选车牌区域和区域标识为2的候选车牌区域确定为两个目标车牌区域,建立目标车辆区域关联的目标车牌区域集合。
由于一个候选车牌区域可能会在多个候选车辆区域对应的参考车辆区域内,因此,可以基于预设的主关联条件,确定每个目标车辆区域关联的主车牌区域,在关联了主车牌区域之后,该主车牌区域如果还关联了其他目标车辆区域,就可以从其他目标车辆区域关联的目标车牌区域集合中剔除,避免一个候选车牌区域同时关联多个候选车辆区域的情况。
下面对目标车辆区域关联主车牌区域的过程进行介绍。
车辆跟踪端102基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足主关联条件的候选车牌区域,作为各个目标车辆区域各自关联的主车牌区域。
选出满足主关联条件的候选车牌区域的方法有多种,针对各个目标车辆区域中的一个目标车辆区域进行示例说明,针对每个目标车辆区域执行的过程相同,在此不再赘述。
例如,车辆跟踪端102确定目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与目标车辆区域的指定区域边界的中心位置之间的距离。将距离最小的候选车牌区域确定为一个目标车辆区域关联的主车牌区域。由于车牌通常位于车辆的下方,因此指定区域边界可以设置为矩形区域的底边等,具体不限制指定区域边界的位置。请参考公式(5),目标车辆区域的指定区域边界的中心位置的坐标为[AreaBCx,AreaBCy]。
候选车牌区域的中心位置,与目标车辆区域的指定区域边界的中心位置之间的距离,可以参考公式(6)。
将对应计算出的距离最小的候选车牌区域确定为主车牌区域,并将主车牌区域的区域标识更新在目标车辆区域的标签idassociate中,将目标车辆区域的区域标识更新在主车牌区域的标签idassociate中。
又例如,车辆跟踪端102确定目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与目标车辆区域的中心位置之间的距离。将距离最小的候选车牌区域确定为一个目标车辆区域关联的主车牌区域。
又例如,车辆跟踪端102确定目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与目标车辆区域的中心轴之间的垂直距离。将垂直距离最小的候选车牌区域确定为一个目标车辆区域关联的主车牌区域。
在目标车辆区域关联了主车牌区域之后,可以采用flagassociate对目标车辆区域和主车牌区域进行标记,目标车辆区域的flagassociate取值为1时,表示目标车辆区域已关联主车牌区域,目标主车牌区域的flagassociate取值为1时,表示目标主车牌区域作为主车牌区域已关联目标车辆区域。
在目标主车牌区域作为主车牌区域已关联目标车辆区域,其他目标车辆区域关联的候选车牌区域集合中,将剔除该目标主车牌区域。基于目标车辆区域关联的主车牌区域,以及,目标车辆区域关联候选车牌区域集合中除了所有主车牌区域以外的候选车牌区域,建立目标车辆区域关联的目标车牌区域集合。
请参考表2,对于标车辆区域关联候选车牌区域集合中,满足flagin∩!(flagassociate)=1的条件的候选车牌区域,作为目标车牌区域,建立目标车辆区域关联的目标车牌区域集合。
表2
区域标识为1的候选车牌区域作为主车牌区域关联了区域标识为4的候选车辆区域。区域标识为3的候选车牌区域作为主车牌区域关联了区域标识为5的候选车辆区域。区域标识为2的候选车牌区域满足flagin∩!(flagassociate)=1的条件,因此区域标识为2的候选车牌区域为目标车辆区域关联的目标车牌区域,因此,可以获得目标车辆区域与目标车牌区域集合的关联关系,此时,标签flagassociate可以用于表征目标车辆区域是否关联了候选车牌区域,以及候选车牌区域是否关联了目标车辆区域,请参考表3。
表3
可以新增是否为/关联主车牌区域标签,表征候选车牌区域是否为主车牌区域,取值为1时,表示候选车牌区域为主车牌区域,或已经关联了主车牌区域,取值为0时,表示候选车牌区域不是主车牌区域,或未关联了主车牌区域。
S303,基于各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域。
以各个目标车辆区域中的一个目标车辆区域为例,对确定各个融合目标区域的过程进行介绍,针对各个目标车辆区域执行的过程相同,在此不再赘述。目标车辆区域和该目标车辆区域关联的目标车牌区域集合中的各个目标车牌区域可以进行区域融合处理,获得目标车辆区域对应的融合目标区域,融合目标区域可以是目标车辆区域和各个目标车牌区域融合后的一个区域,也可以是目标车辆区域和各个目标车牌区域关联在一起的多个区域,具体融合形式不做限制。
S304,基于各个融合目标区域各自对应的目标车辆区域的区域标识、各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定各个融合目标区域各自的融合标识。
在确定各个融合目标区域之后,可以确定各个融合目标区域各自的融合标识。从而,表征同一辆车的车辆区域和车牌区域可以具有相同的区域标识,避免由于跟踪出的候选区域较多,区域标识的数据类型设置为数值型时,区域标识按照生成时刻的先后顺序,从零到预设的指定数值依次递增后,造成区域标识的取值不够用,从而出现重复的区域标识的情况,也避免了由于天气、光照、物体遮挡等原因,使得同一个车辆在不同的视频帧中被确定为不同的车辆,使得每个区域的区域标识可以唯一的表征该区域,后续在提取相应的区域时,避免提取错误的情况。
下面以各个目标车辆区域中的一个目标车辆区域为例对确定各个融合目标区域各自的融合标识的过程进行介绍,针对各个目标车辆区域执行的过程相同,在此不再赘述。
基于目标车辆区域的历史区域标识、目标车辆区域的区域标识,以及,目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为目标车辆区域对应的融合目标区域的融合标识。
例如,目标车辆区域的历史区域标识为3,目标车辆区域的区域标识为3,目标车牌区域的区域标识分别为1和2,由于目标车辆区域的区域标识生成时刻最早,那么可以将目标车辆区域与目标车牌区域集合融合后的融合目标区域的融合标识设置为3。
在针对一个待跟踪视频帧确定了一辆车对应的目标车辆区域,及其关联的目标车牌区域集合之后,在对下一个待跟踪视频帧进行跟踪时,可能同样会在下一个待跟踪视频帧中追踪到这辆车,因此,在针对一个待跟踪视频帧确定了这辆车对应的融合标识之后,可以采用标记IDlast记录这一个待跟踪视频帧中这辆车对应的融合标识,作为这辆车的目标车辆区域关联的历史区域标识。在对下一个待跟踪视频帧进行跟踪时,可以通过比较针对下一个待跟踪视频帧获得的这辆车对应的各个区域标识,与标记IDlast所记录的历史区域标识的生成时刻,将其中生成时刻最早的标识作为这辆车对应的融合标识。如果新获得的融合标识与标记IDlast所记录的历史区域标识相同,那么不对标记IDlast进行更改,如果新获得的融合标识与标记IDlast所记录的历史区域标识不同,那么,基于新获得的融合标识更新标记IDlast。标记IDlast的初始值为0,表示该待跟踪视频帧为第一个待跟踪视频帧。
具体的,如果一个目标车辆区域关联了历史区域标识,历史区域标识为基于待跟踪视频帧之前的视频帧获得的一个目标车辆区域对应的融合标识,那么在确定当前待跟踪视频帧中该一个目标车辆区域对应的目标车辆区域,及其关联的目标车牌区域集合之后,可以先获得各个目标车辆区域中的一个目标车辆区域的历史区域标识。基于历史区域标识、一个目标车辆区域的区域标识,以及,一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为一个目标车辆区域对应的融合目标区域的融合标识。从而,可以避免每个视频帧确定出的同一辆车的标识不同,造成标识无法唯一标记一辆车的情况,避免后续在提取同一辆车的相关信息时,提取过程复杂或提取错误的情况。也避免了区域标识的数据类型设置为数值型,区域标识可能按照生成时刻的先后顺序,从零到指定数值依次递增,并在增加到指定数值后,再从零开始循环,而造成无法从区域标识的大小来判断区域标识的先后顺序的情况。
以目标车辆区域的历史区域标识、目标车辆区域的区域标识,以及,目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识中的第一区域标识和第二区域标识为例,对比较两个区域标识的生成先后顺序的过程进行介绍,任意两个区域标识的比较过程相同,在此不再赘述。
车辆跟踪端102确定第二区域标识与第一区域标识之间的标识差值,如果确定标识差值大于零,且标识差值小于预设数值,那么确定第一区域标识的生成时刻早于第二区域标识的生成时刻。预设数值可以是区域标识可循环增加的最大数值,即前文介绍的指定数值,也可以是指定数值的一半等,具体不做限制。请参考公式(7),为确定标识差值iddistance的公式。id_inner1为第一区域标识,id_inner2为第二区域标识。
iddistance=id_inner2-id_inner1 (7)
如果标识差值iddistance满足公式(8),那么可以确定第一区域标识的生成时刻早于第二区域标识的生成时刻。
(iddistance>0)∩(iddistance<Maxid/2) (8)
在比较了每两个区域标识的生成时刻之后,可以将获得的生成时刻最早的区域标识,作为一个目标车辆区域对应的融合目标区域的融合标识。
S305,基于各个融合目标区域、各个融合目标区域各自的融合标识,获得待跟踪视频帧的车辆跟踪结果。
在将表征同一辆车的目标车辆区域和目标车牌区域进行了关联,获得各个融合目标区域和各个融合目标区域各自的融合标识之后,可以基于各个融合目标区域、各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,车辆跟踪结果用于表征待跟踪视频帧包含的车辆,可以更加准确地追踪待跟踪视频帧中包含的车辆,避免了可能由于天气、光照、物体遮挡等原因,使得同一个车辆在不同的视频帧中被确定为不同的车辆。
对于各个候选区域中,除了目标车辆区域和目标车牌区域集合以外的候选区域,可以将关联了历史区域标识的候选区域确定为其他候选区域,基于其他候选区域的区域标识,以及其他候选区域关联的历史区域标识,确定其他候选区域的融合标识。基于各个融合目标区域、各个融合目标区域各自的融合标识、各个其他候选区域和各个其他候选区域各自的区域表示,获得所述待跟踪视频帧的车辆跟踪结果。
在候选区域关联了历史区域标识的时候,才将候选区域确定为车辆相关的图像,由于历史区域标识表征的是针对每个视频帧进行了目标跟踪处理之后,根据之前的视频帧的车辆跟踪结果获得的之前的视频帧中包含的车辆,如果关联了历史区域标识,说明在之前的视频帧中,将当前待检测视频帧中相应的其他候选区域确定为了车辆,那么在当前待检测视频帧中,即使其他候选区域不是目标车辆区域,也可以识别为车辆。在仅识别出车辆区域或仅识别出车牌区域时,通过区域标识和历史区域标识进行融合的方式,将车辆区域或车牌区域与之前的视频帧获得的目标车辆区域关联起来,避免了将两个视频帧中表征同一辆车的区域确定为不同车辆的情况,也避免了遗漏视频帧包含的车辆的情况,提高了跟踪车辆的准确性。如果没有关联历史区域标识,说明该候选区域可能是误识别为了车辆或车牌,那么舍弃没有关联历史区域标识候选区域,避免了将形似车牌的字符确定为车牌的情况,也避免了将形似车辆的区域确定为车辆的情况,提高了跟踪车辆的准确性。
基于同一发明构思,本申请实施例提供一种车辆跟踪装置,该装置相当于前文论述的车辆跟踪端102,能够实现前述的车辆跟踪方法对应的功能。请参考图4,该装置包括第一处理模块401和第二处理模块402,其中:
第一处理模块401:用于对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果,其中,初始跟踪结果至少包括待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,候选区域包括候选车辆区域和候选车牌区域;
第二处理模块402:用于基于各个候选车辆区域与各个候选车牌区域的位置关系,确定位置关系满足预设位置条件的各个目标车辆区域,以及各个目标车辆区域各自关联的目标车牌区域集合;
第二处理模块402还用于:基于各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域;
第二处理模块402还用于:基于各个融合目标区域各自对应的目标车辆区域的区域标识、各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定各个融合目标区域各自的融合标识;
第二处理模块402还用于:基于各个融合目标区域、各个融合目标区域各自的融合标识,获得待跟踪视频帧的车辆跟踪结果,其中,车辆跟踪结果用于表征待跟踪视频帧包含的车辆。
在一种可能的实施例中,第二处理模块402具体用于:
若确定各个候选区域中包括其他候选区域,则基于其他候选区域的区域标识,以及其他候选区域关联的历史区域标识,确定各个候选区域中包括的其他候选区域的融合标识,其中,其他候选区域是各个候选区域中,除了各个目标车辆区域和各个目标车牌区域以外,且关联了历史区域标识的候选区域;
基于各个融合目标区域、各个融合目标区域各自的融合标识、获得的其他候选区域和获得的其他候选区域的融合标识,获得待跟踪视频帧的车辆跟踪结果。
在一种可能的实施例中,第二处理模块402具体用于:
基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,其中,参考车辆区域是基于预设的区域扩充策略,对候选车辆区域进行区域扩充处理获得的;
将对应的参考车辆区域内包含候选车牌区域的候选车辆区域,作为目标车辆区域,并基于目标车辆区域对应的参考车辆区域内包含的候选车牌区域,建立目标车辆区域关联的候选车辆区域集合;
基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足主关联条件的候选车牌区域,作为各个目标车辆区域各自关联的主车牌区域;
针对各个目标车辆区域,分别执行:基于各个目标车辆区域中的一个目标车辆区域关联的主车牌区域,以及,一个目标车辆区域关联候选车牌区域集合中除了各个主车牌区域以外的候选车牌区域,建立一个目标车辆区域关联的目标车牌区域集合。
在一种可能的实施例中,第二处理模块402具体用于:
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的中心位置;或者,
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的各个区域边界。
在一种可能的实施例中,第二处理模块402具体用于:
针对各个目标车辆区域,分别执行以下操作:
确定各个目标车辆区域中的一个目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与一个目标车辆区域的指定区域边界的中心位置之间的距离;
将距离最小的候选车牌区域确定为一个目标车辆区域关联的主车牌区域。
在一种可能的实施例中,第二处理模块402还用于:
在基于各个融合目标区域、各个融合目标区域各自的融合标识,获得待跟踪视频帧的车辆跟踪结果之前,针对各个目标车辆区域,分别执行以下操作:
获得各个目标车辆区域中的一个目标车辆区域的历史区域标识;
基于历史区域标识、一个目标车辆区域的区域标识,以及,一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为一个目标车辆区域对应的融合目标区域的融合标识。
在一种可能的实施例中,若区域标识的数据类型为数值型,区域标识按照生成时刻的先后顺序,从零到预设的指定数值依次递增,则第二处理模块402具体用于:
针对历史区域标识、一个目标车辆区域的区域标识,以及,一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识中的第一区域标识和第二区域标识,分别执行以下操作:
确定第二区域标识与第一区域标识之间的标识差值;
若确定标识差值大于零,且标识差值小于指定数值,则确定第一区域标识的生成时刻早于第二区域标识的生成时刻;
将获得的生成时刻最早的区域标识,作为一个目标车辆区域对应的融合目标区域的融合标识。
基于同一发明构思,本申请实施例提供一种计算机设备,下面对该计算机设备500进行介绍。
请参照图5,上述车辆跟踪装置可以运行在计算机设备500上,数据存储程序的当前版本和历史版本以及数据存储程序对应的应用软件可以安装在计算机设备500上,该计算机设备500包括显示单元540、处理器580以及存储器520,其中,显示单元540包括显示面板541,用于显示由用户交互操作界面等。
在一种可能的实施例中,可以采用液晶显示器(Liquid Crystal Display,LCD)或有机发光二极管OLED(Organic Light-Emitting Diode)等形式来配置显示面板541。
处理器580用于读取计算机程序,然后执行计算机程序定义的方法,例如处理器580读取数据存储程序或文件等,从而在该计算机设备500上运行数据存储程序,在显示单元540上显示对应的界面。处理器580可以包括一个或多个通用处理器,还可包括一个或多个DSP(Digital Signal Processor,数字信号处理器),用于执行相关操作,以实现本申请实施例所提供的技术方案。
存储器520一般包括内存和外存,内存可以为随机存储器(RAM),只读存储器(ROM),以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器520用于存储计算机程序和其他数据,该计算机程序包括各客户端对应的应用程序等,其他数据可包括操作系统或应用程序被运行后产生的数据,该数据包括系统数据(例如操作系统的配置参数)和用户数据。本申请实施例中程序指令存储在存储器520中,处理器580执行存储其中520中的程序指令,实现前文图论述的任意的一种车辆跟踪方法。
上述显示单元540用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势,以及产生与计算机设备500的用户设置以及功能控制有关的信号输入等。具体地,本申请实施例中,该显示单元540可以包括显示面板541。显示面板541例如触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板541上或在显示面板541的操作),并根据预先设定的程式驱动相应的连接装置。
在一种可能的实施例中,显示面板541可包括触摸跟踪装置和触摸控制器两个部分。其中,触摸跟踪装置跟踪玩家的触摸方位,并跟踪触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸跟踪装置上接收触摸信息,并将它转换成触点坐标,再送给处理器580,并能接收处理器580发来的命令并加以执行。
其中,显示面板541可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元540,计算机设备500还可以包括输入单元530,输入单元530可以包括图形输入设备531和其他输入设备532,其中其他输入设备可以但不限于包括物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
除以上之外,计算机设备500还可以包括用于给其他模块供电的电源590、音频电路560、近场通信模块570和RF电路510。计算机设备500还可以包括一个或多个传感器550,例如加速度传感器、光传感器、压力传感器等。音频电路560具体包括扬声器561和麦克风562等,例如计算机设备500可以通过麦克风562采集用户的声音,进行相应的操作等。
作为一种实施例,处理器580的数量可以是一个或多个,处理器580和存储器520可以是耦合设置,也可以是相对独立设置。
作为一种实施例,图5中的处理器580可以用于实现如图4中的第一处理模块401和第二处理模块402的功能。
作为一种实施例,图5中的处理器580可以用于实现前文论述的待车辆跟踪设备对应的功能或第三方车辆跟踪设备对应的功能。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种车辆跟踪方法,其特征在于,包括:
对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果,其中,所述初始跟踪结果至少包括所述待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,所述候选区域包括候选车辆区域和候选车牌区域;
基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,其中,所述参考车辆区域是基于预设的区域扩充策略,对候选车辆区域进行区域扩充处理获得的;
将对应的参考车辆区域内包含候选车牌区域的候选车辆区域,作为目标车辆区域,并基于目标车辆区域对应的参考车辆区域内包含的候选车牌区域,建立目标车辆区域关联的候选车辆区域集合;
基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足所述主关联条件的候选车牌区域,作为所述各个目标车辆区域各自关联的主车牌区域;
针对所述各个目标车辆区域,分别执行:基于所述各个目标车辆区域中的一个目标车辆区域关联的主车牌区域,以及,所述一个目标车辆区域关联候选车牌区域集合中除了各个主车牌区域以外的候选车牌区域,建立所述一个目标车辆区域关联的目标车牌区域集合;
基于所述各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域;
基于所述各个融合目标区域各自对应的目标车辆区域的区域标识、所述各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及所述各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定所述各个融合目标区域各自的融合标识;
基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,其中,所述车辆跟踪结果用于表征所述待跟踪视频帧包含的车辆。
2.根据权利要求1所述的方法,其特征在于,基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,包括:
若确定所述各个候选区域中包括其他候选区域,则基于其他候选区域的区域标识,以及其他候选区域关联的历史区域标识,确定所述各个候选区域中包括的其他候选区域的融合标识,其中,所述其他候选区域是所述各个候选区域中,除了所述各个目标车辆区域和各个目标车牌区域以外,且关联了历史区域标识的候选区域;
基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识、获得的其他候选区域和获得的其他候选区域的融合标识,获得所述待跟踪视频帧的车辆跟踪结果。
3.根据权利要求1所述的方法,其特征在于,基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,包括:
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的中心位置;或者,
分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域的各个区域边界。
4.根据权利要求1所述的方法,其特征在于,基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足所述主关联条件的候选车牌区域,作为所述各个目标车辆区域各自关联的主车牌区域,包括:
针对所述各个目标车辆区域,分别执行以下操作:
确定所述各个目标车辆区域中的一个目标车辆区域关联的候选车牌区域集合包括的各个候选车牌区域的中心位置,与所述一个目标车辆区域的指定区域边界的中心位置之间的距离;
将距离最小的候选车牌区域确定为所述一个目标车辆区域关联的主车牌区域。
5.根据权利要求1~4任一项所述的方法,其特征在于,在基于各个融合目标区域、各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果之前,还包括:
针对所述各个目标车辆区域,分别执行以下操作:
获得所述各个目标车辆区域中的一个目标车辆区域的历史区域标识;
基于所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识。
6.根据权利要求5所述的方法,其特征在于,若区域标识的数据类型为数值型,区域标识按照生成时刻的先后顺序,从零到预设的指定数值依次递增,则基于所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识,筛选生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识,包括:
针对所述历史区域标识、所述一个目标车辆区域的区域标识,以及,所述一个目标车辆区域关联的目标车牌区域集合包含的目标车牌区域的区域标识中的第一区域标识和第二区域标识,分别执行以下操作:
确定第二区域标识与第一区域标识之间的标识差值;
若确定所述标识差值大于零,且所述标识差值小于所述指定数值,则确定第一区域标识的生成时刻早于第二区域标识的生成时刻;
将获得的生成时刻最早的区域标识,作为所述一个目标车辆区域对应的融合目标区域的融合标识。
7.一种车辆跟踪装置,其特征在于,包括:
第一处理模块:用于对获得的待跟踪视频帧进行目标跟踪处理,获得初始跟踪结果,其中,所述初始跟踪结果至少包括所述待跟踪视频帧包含的各个候选区域和各个候选区域各自的区域标识,所述候选区域包括候选车辆区域和候选车牌区域;
第二处理模块:用于基于各个候选车辆区域与各个候选车牌区域的位置关系,分别确定各个候选车辆区域各自对应的参考车辆区域内是否包含候选车牌区域,其中,所述参考车辆区域是基于预设的区域扩充策略,对候选车辆区域进行区域扩充处理获得的;
所述第二处理模块还用于:将对应的参考车辆区域内包含候选车牌区域的候选车辆区域,作为目标车辆区域,并基于目标车辆区域对应的参考车辆区域内包含的候选车牌区域,建立目标车辆区域关联的候选车辆区域集合;
所述第二处理模块还用于:基于预设的主关联条件,在各个目标车辆区域各自关联的候选车牌区域集合中,分别筛选出满足所述主关联条件的候选车牌区域,作为所述各个目标车辆区域各自关联的主车牌区域;
所述第二处理模块还用于:针对所述各个目标车辆区域,分别执行:基于所述各个目标车辆区域中的一个目标车辆区域关联的主车牌区域,以及,所述一个目标车辆区域关联候选车牌区域集合中除了各个主车牌区域以外的候选车牌区域,建立所述一个目标车辆区域关联的目标车牌区域集合;
所述第二处理模块还用于:基于所述各个目标车辆区域各自关联的目标车牌区域集合,分别确定各个融合目标区域;
所述第二处理模块还用于:基于所述各个融合目标区域各自对应的目标车辆区域的区域标识、所述各个融合目标区域各自对应的目标车辆区域关联的目标车牌区域的区域标识,以及所述各个融合目标区域各自对应的目标车辆区域关联的历史区域标识,分别确定所述各个融合目标区域各自的融合标识;
所述第二处理模块还用于:基于所述各个融合目标区域、所述各个融合目标区域各自的融合标识,获得所述待跟踪视频帧的车辆跟踪结果,其中,所述车辆跟踪结果用于表征所述待跟踪视频帧包含的车辆。
8.一种计算机设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如权利要求1~6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1~6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110826092.9A CN113470081B (zh) | 2021-07-21 | 2021-07-21 | 一种车辆跟踪方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110826092.9A CN113470081B (zh) | 2021-07-21 | 2021-07-21 | 一种车辆跟踪方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113470081A CN113470081A (zh) | 2021-10-01 |
CN113470081B true CN113470081B (zh) | 2024-06-04 |
Family
ID=77881697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110826092.9A Active CN113470081B (zh) | 2021-07-21 | 2021-07-21 | 一种车辆跟踪方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113470081B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402294A (zh) * | 2020-03-10 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 |
CN112330715A (zh) * | 2020-10-09 | 2021-02-05 | 深圳英飞拓科技股份有限公司 | 一种跟踪方法、跟踪装置、终端设备及可读存储介质 |
CN112884815A (zh) * | 2021-02-02 | 2021-06-01 | 鹏城实验室 | 一种基于多摄像机的车辆追踪方法 |
CN112905824A (zh) * | 2021-02-08 | 2021-06-04 | 智慧眼科技股份有限公司 | 目标车辆追踪方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11574482B2 (en) * | 2018-05-31 | 2023-02-07 | Sony Group Corporation | Bidirectional statistical consolidation of multi-modal grouped observations |
CN109325967B (zh) * | 2018-09-14 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、介质以及设备 |
-
2021
- 2021-07-21 CN CN202110826092.9A patent/CN113470081B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402294A (zh) * | 2020-03-10 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、计算机可读存储介质和计算机设备 |
CN112330715A (zh) * | 2020-10-09 | 2021-02-05 | 深圳英飞拓科技股份有限公司 | 一种跟踪方法、跟踪装置、终端设备及可读存储介质 |
CN112884815A (zh) * | 2021-02-02 | 2021-06-01 | 鹏城实验室 | 一种基于多摄像机的车辆追踪方法 |
CN112905824A (zh) * | 2021-02-08 | 2021-06-04 | 智慧眼科技股份有限公司 | 目标车辆追踪方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于计算机视觉的违章停车智能监控系统;汤一平;陈耀宇;;计算机测量与控制;20090825(第08期);全文 * |
基于车牌识别的机混车道视频测速算法;隋宗宾;高杨;梁宇;王玉全;;现代电子技术;20150915(第18期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113470081A (zh) | 2021-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140233800A1 (en) | Method of tracking object and electronic device supporting the same | |
US11373410B2 (en) | Method, apparatus, and storage medium for obtaining object information | |
CN110852332B (zh) | 训练样本的生成方法、装置、存储介质及电子设备 | |
CN104239879B (zh) | 分割字符的方法及装置 | |
CN110796157A (zh) | 一种图像差异识别方法、装置及存储介质 | |
CN110781823B (zh) | 录屏检测方法、装置、可读介质及电子设备 | |
CN106250831A (zh) | 图像检测方法、装置和用于图像检测的装置 | |
CN111291601B (zh) | 车道线识别方法和装置以及电子设备 | |
CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
CN110335313B (zh) | 音频采集设备定位方法及装置、说话人识别方法及系统 | |
CN103270535A (zh) | 用于跟踪脸部部分的方法、装置和计算机程序产品 | |
CN112052778A (zh) | 一种交通标志识别方法以及相关装置 | |
CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
CN111310595B (zh) | 用于生成信息的方法和装置 | |
CN113470081B (zh) | 一种车辆跟踪方法、装置、计算机设备及存储介质 | |
CN111401229A (zh) | 视觉小目标自动标注方法、装置及电子设备 | |
JP6365117B2 (ja) | 情報処理装置、画像判定方法、及びプログラム | |
CN109982243A (zh) | 人物跟踪方法、装置、电子设备及存储介质 | |
CN111783180B (zh) | 图纸拆分方法及相关装置 | |
CN111819567A (zh) | 使用语义特征来匹配图像的方法和装置 | |
CN107831896B (zh) | 音频信息播放方法、装置、存储介质及电子设备 | |
CN113780291A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN114494486A (zh) | 户型图生成方法、设备及存储介质 | |
CN112016609A (zh) | 一种图像聚类方法、装置、设备及计算机存储介质 | |
CN111639640A (zh) | 基于人工智能的车牌识别方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |