CN112905824A - 目标车辆追踪方法、装置、计算机设备及存储介质 - Google Patents
目标车辆追踪方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112905824A CN112905824A CN202110171790.XA CN202110171790A CN112905824A CN 112905824 A CN112905824 A CN 112905824A CN 202110171790 A CN202110171790 A CN 202110171790A CN 112905824 A CN112905824 A CN 112905824A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- video frame
- frame image
- target
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 17
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种目标车辆追踪方法,应用于智能交通技术领域。本发明提供的方法包括:获取目标车辆的信息查询请求,并获取所述信息查询请求中包含的查询条件;基于所述查询条件,对预设数据库中存储的视频帧图像进行检索,得到所述查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息;根据预设判断方式,从所述候选视频帧图像中确定目标视频帧图像;基于每个所述目标视频帧图像和每个所述目标视频帧图像对应的时间戳信息,确定所述目标车辆的运行轨迹,以提高对目标车辆进行跟踪和确定目标车辆的运行轨迹的效率。
Description
技术领域
本发明涉及智能交通技术领域,尤其涉及一种目标车辆追踪方法、装置、计算机设备及存储介质。
背景技术
视频监控是城市安防系统的重要组成部分。安防摄像头可以在发生犯罪活动时提供客观公正的证据。
随着汽车的大范围普及以及城市车辆的增加,给城市交通带来了巨大的压力当发生车辆涉事行为时,需要对涉事车辆进行跟踪时,城市中部署的安防摄像头为侦破此类案件提供了强力支持。但是,每个安防摄像头捕获视频信息的数据量巨大,在视频信息中存在大量车辆,也给寻找涉事车辆带来了干扰。
现有技术基于车辆特征对车辆进行检索,对检索到的目标车辆进行排查、确认目标车辆的运动轨迹时需要耗费大量人力进行调阅和比对,造成效率低下。
发明内容
本发明提供一种目标车辆追踪方法、装置、计算机设备及存储介质,以提高对目标车辆进行定位以及跟踪的效率。
一种目标车辆追踪方法,包括:
获取目标车辆的信息查询请求,并获取该信息查询请求中包含的查询条件;
基于该查询条件,对预设数据库中存储的视频帧图像进行检索,得到该查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息;
根据预设判断方式,从该候选视频帧图像中确定目标视频帧图像;
基于每个该目标视频帧图像和每个该目标视频帧图像对应的时间戳信息,确定该目标车辆的运行轨迹。
一种目标车辆追踪装置,包括:
查询条件获取模块,用于获取目标车辆的信息查询请求,并获取该信息查询请求中包含的查询条件;
候选视频帧图像获取模块,用于基于该查询条件,对预设数据库中存储的视频帧图像进行检索,得到该查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息;
目标视频帧图像确定模块,用于根据预设判断方式,从该候选视频帧图像中确定目标视频帧图像;
车辆运行轨迹确认模块,用于基于每个该目标视频帧图像和每个该目标视频帧图像对应的时间戳信息,确定该目标车辆的运行轨迹。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述目标车辆追踪方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述目标车辆追踪方法的步骤。
上述目标车辆追踪方法、装置、计算机设备及存储介质,通过获取对目标车辆的信息查询请求,根据该信息查询请求在预设数据库中对目标车辆进行检索,得到符合条件的视频帧图像,在视频帧图像中对目标车辆进行定位,根据视频帧图像的时间戳,确定该目标车辆的运行轨迹,从而在大量干扰信息中提高对目标车辆进行定位以及确定其运行轨迹的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中目标车辆追踪方法的一应用环境示意图;
图2是本发明一实施例中目标车辆追踪方法的一流程图;
图3是本发明一实施例中目标车辆追踪方法的一交互流程图;
图4是本发明一实施例中目标车辆追踪装置的结构示意图;
图5是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的目标车辆追踪方法,可应用在如图1的应用环境中,客户端通过网络与服务器进行通信。其中,客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种目标车辆追踪方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤S101至S104:
S101,获取目标车辆的信息查询请求,并获取该信息查询请求中包含的查询条件。
具体的,客户端在需要对车辆的行踪进行追查时,通过给出的查询条件,生成目标车辆的信息查询请求,并发送给服务端,服务端接收该信息查询请求,并获取其中包含的查询条件。
其中,查询条件是指用于对目标车辆进行查询的因子,具体包括但不限于车型、车辆颜色以及车牌等信息指的一种或多种组合。例如,信息查询请求中包括:红色车辆,则将颜色:红色作为查询条件。
S102,基于该查询条件,对预设数据库中存储的视频帧图像进行检索,得到该查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息。
其中,预设数据库为预先设置好的,存储有车辆特征信息以及与所述车辆特征进行关联的视频帧图像的数据库。车辆特征信息指经过车辆特征提取后生成的对车辆特征的表征信息。例如,车辆特征信息为车辆特征向量或与车辆特征对应的语义表述。从查询条件中获取关键词(如颜色关键词、车型关键词),将获取到的关键词转换成对应的特征信息格式与预设数据库中的车辆特征信息进行匹配。例如,查询颜色为红色的车辆,获取颜色为红色的关键词,在预设数据库中检索代表红色的车辆特征信息,根据检索到的车辆特征信息获取与该车辆特征信息对应的初始视频帧图像作为候选视频帧图像。
其中,车辆特征信息指表征车辆的特征因子,例如,车辆颜色,车辆型号等。
作为一种优选方式,根据车辆特征与视频帧图像的关联,生成车辆特征对应的语义特征索引,并将该语义特征索引存储到预设数据库中。在进行查询时,根据语义特征索引、查询条件进行查询,得到与查询条件对应候选视频帧图像。例如,信息查询请求中包括:红色车辆,则在预设数据库中检索出现红色车辆的视频帧图像,将其作为候选视频帧图像。
其中,视频帧图像是指对采集终端采集到的实时视频流进行解析,得到的视频帧中的每一帧图像,视频帧图像指组成视频的每帧数据格式为YUV的图像。图像帧是组成视频的最小单位,视频由多个时间连续的图像帧组成。
作为一种优选方式,视频帧图像将采集终端的位置信息作为该视频帧图像对应的位置信息,将采集终端得到该视频帧图像的时间,作为视频帧对应的时间戳信息。
S103,根据预设判断方式,从该候选视频帧图像中确定目标视频帧图像。
具体的,得到候选视频帧图像后,根据目击者辨认的方式,从候选视频帧图像中对目标车辆进行辨认,得到包含目标车辆的候选视频帧图像,作为目标视频帧图像。
其中,预设判断方式,可以根据实际情形进行设定。
例如,通过客户端用户,从候选视频帧图像中确定一张为包含目标车辆的视频帧图像,进而根据该包含目标车辆的视频帧图像,对候选视频帧图像进行甄选,得到目标视频帧图像。
又例如,在候选视频帧图像中,根据目标车辆的其他特征,其中,其他特征包括但不限于目标车辆的大小、以及目标车料在视频帧图像中的车辆方向等,在候选视频帧图像中进行目标检测,得到符合目标车辆对应的候选视频帧图像,作为最后的目标视频帧图像。
应理解,目标视频帧图像为从候选视频帧图像中选取的,包含该目标车辆的图像。
S104,基于每个该目标视频帧图像和每个该目标视频帧图像对应的时间戳信息,确定该目标车辆的运行轨迹。
具体的,根据多个目标视频帧图像的时间戳信息进行排序,得到目标车辆在一段时间序列内的运行情况,从而确定目标车辆的运行轨迹。
作为一种优选方式,根据采集到目标视频帧图像的采集终端的位置信息,采集终端在发送视频流数据之前,将采集终端的坐标与视频流数据进行关联。在根据时间戳信息的时序进行排序后,根据目标视频帧图像对应的位置信息确定目标车辆的运动轨迹,并基于运动轨迹对其后续到达目标和到达目标的时间点进行预测,根据实际需要进行提前布控。
本申请另一实施例中,如图2所示,步骤S102之前,所述方法还包括如下步骤S1至S4:
S1,接收采集终端发送的实时视频流数据,对该视频流数据进行解码处理,得到初始视频帧图像。
具体的,采集终端具体为安装在街道上的采集前端摄像头,根据RTSP(RealTimeStreamingProtocol,实时流传输协议)协议接收采集终端发送的实时视频流数据。对实时视频流数据进行解码,得到初始视频帧图像。
其中,初始视频帧图像是对视频流数据进行解码后得到的视频帧图像。
作为一种优先方式,通过对视频流数据进行解码得到原始视频帧图像,对原始视频帧图像进行筛选,将原始视频帧图像中没有包括车辆的视频帧图像筛选出去,剩下的视频帧图像作为初始视频帧图像,对原始视频帧图像进行筛选后,以减少待处理的初始视频帧图像的数量,提高处理初始视频帧图像的效率。
S2,针对每个该初始视频帧图像,对该初始视频帧图像进行车辆区域识别,得到车辆区域,并基于该车辆区域对该初始视频帧图像进行图像分割,得到车辆分割图片。
具体的,在本实施例中,采深度学习网络模型对初始视频帧图像中的车辆进行识别、对识别到的车辆进行特征提取,得到车辆特征,并生成与车辆特征对应的语义特征,该语义特征用于对车辆进行检索。通过上述方法可以提高对目标车辆进行定位的效率以及准确率。
在本实施例中,作为一种优选方式,步骤S2还包括步骤S21至步骤S23:
S21,采用深度学习的方式,对该初始视频帧图像中的车辆位置进行识别,得到初始位置。
作为一种优选方式,步骤S21包括如下步骤S211至步骤S213:
S211,采用混合高斯背景建模的方式,提取该初始视频帧图像对应的掩膜图像。
掩膜图像是由0和1组成的二进制图像,通过预先制作的掩膜图像与待处理视频帧图像相乘,得到注意力区图像。注意力区图像内的像素值保持不变,而注意力区图像外的像素值都为0。在后续通过结合掩膜图像,快速进行确定注意力区域,有利于提高确定注意力区域的效率。
具体的,混合高斯背景建模根据初始视频帧图像中每一像素点的值与其中心点的像素值的距离进行数量统计,得到每个像素点与中心像素值的距离分布,且其距离分布呈正态分布。若像素点的值偏离中心值较远,则认为该像素值属于前景,若该像素点的值偏离中心值较近,则该像素点属于背景。
采用混合高斯背景建模的方式,根据上述特点生成由0和1组成的二进制图像,即初始视频帧图像的掩膜图像。
S212,通过预设的生成对抗网络,对该初始视频帧图像进行目标识别,得到跟踪兴趣框。
具体的,预设的生成对抗网络(GAN,GenerativeAdversarialNetworks)分为三个模块:Attention-recurrentNetwork(多重注意力图网络)、DicriminatorNetwork(判别器)和ContextAutoencoder(上下文编码器)。
其中,Attention-recurrentNetwork用于在初始视频帧图像中对车辆进行检测,并在初始视频帧图像中生成车辆的注意力图。
其中,DicriminatorNetwork用于对上一个模块生成的注意力图进行判断,确定该注意力图区域是否为车辆。
在该模块中,用于对初始视频帧图像进行前后景分离,用于区分背景图和前景图,对该背景图和前景图生成标注,根据注意力图和标注计算注意力损失函数,该注意力损失函数用于对注意力图区域进行判断,对应的注意力图区域进行前景图和背景图判断,其中,前景图则指初始视频帧数据中的车辆。
其中,ContextAutoencoder在对前景图即车辆区域进行车辆特征提取,对提取到的车辆特征生成该车辆特征对应的语音信息,生成语义信息可用于后续对目标车辆的查询条件进行对应,以提高在视频帧图像中定位到目标车辆的效率。
具体的,通过GAN网络对车辆对车辆进行检测与识别,得到在初始视频帧图像中车辆的跟踪兴趣框。
S213,对该掩膜图像和该跟踪兴趣框进行融合处理,得到该初始位置。
具体的,对掩膜图像和跟踪兴趣框进行回归融合处理,得到车辆在初始视频帧图像上的初始位置。
在本实施例中,步骤S211至步骤S213通过掩膜图像与跟踪兴趣框,共同确定所述车辆在初始视频帧图像的位置,提高确定车辆在初始视频帧图像中的位置的准确性。
S22,通过均值漂移算法,对该初始视频帧图像中的车辆位置进行预估处理,得到预估位置。
具体的,作为一种优选方式,采用卡尔曼滤波与均值漂移算法对初始视频帧图像中的车辆位置进行预估,得到预估位置,用于进一步提高确定车辆在初始视频帧图像的位置的精确性。
其中,卡尔曼滤波能从一组包含车辆位置的初始视频帧图像序列中预测出目标车辆的坐标位置与速度。卡尔曼滤波在任何包含不确定信息的动态系统中,对系统下一步的走向作出有根据的预测。在本实施例中的应用场景下,在对车辆进行位置预测时,采用卡尔曼滤波得到的车辆预测位置的效果更好,精度更高。
均值漂移算法对初始视频帧图像中的目标车辆位置定义一个矩形窗口,在矩形窗口内运用均值漂移算法,将跟踪目标从背景图中分离出来。当目标车辆移动时,利用倒角距离变换加权内核来提升目标车辆表示和定位的精度。
通过卡尔曼滤波与均值漂移算法结合对车辆位置进行预估,进一步提高预估车辆位置的精度。
S23,对该初始位置、该预估位置进行回归融合,得到该车辆区域。
在本实施例中,步骤S21至步骤S23通过获得车辆在初始视频帧图像上的初始位置和预估位置,根据初始位置与预估位置得到车辆区域,以消除车辆在快速运行导致在视频帧图像中出现抖动,以消除该抖动给确定车辆区域的影响,进一步提高确定车辆区域的精确性。
S3,对每个该车辆分割图片进行特征提取,得到该车辆分割图片中车辆对应的车辆特征。
在本实施例中,采用两种方法对特征进行提取,得到对应的车辆特征。一种方法对车辆的颜色特征进行提取,并采用第二种方法提取车辆的细粒度特征例如车牌号特征、车检标特征,根据车辆特征进行提取,保证提取得到的车辆特征用以表征车辆的效果更好;此外,根据同一辆车辆,提取的车辆特征越多,则针对该车辆特征进行查询时,检索到该车辆的可能越高。
采用方法A提取车辆的颜色特征,方法A包括如下步骤A1至A2:
A1,将同一采集终端的连续视频帧图像对应的该车辆分割图片,作为颜色特征图片序列,并基于该颜色特征图片序列中的每个该车辆分割图片的峰值信噪比和结构相似性进行筛选,得到待处理车辆分割图片;
A2,提取每个该待处理车辆分割图片的颜色直方图,并对该颜色直方图进行加权融合,得到该车辆的颜色特征。
方法A通过对多个视频帧图像的车辆分割图片进行颜色提取,可消除不同光线下对车辆颜色提取的影响,能得到效果更好的车辆颜色特征,提高提取车辆颜色的准确性。
采用方法B提取车辆的细粒度特征,方法B包括步骤B1至B3:
B1,采用深度学习方式,对所述车辆分割图片中的车辆四角关键点进行检测,得到车辆特征点。
具体的,对车辆四角的关键点进行检测,以得到车辆特征点,车辆特征点用以区分车辆的车牌区域、车窗区域以及车体区域。
B2,根据所述车辆特征点对所述车辆分割图片进行划分,得到所述车辆分割图片的车辆局部图片。
具体的,根据车辆的特征点将车辆分割图片进行划分,得到车牌图片、车窗图片以及车体图片等车辆局部图片。
B3,对每个所述车辆局部图片进行特征提取,得到车辆细粒度特征。
对每个车辆局部图片提取对应的车辆特征。例如,对车牌图片提取车牌特征,对车窗图片提取年检标特征等。
方法B通过针对不同属性的车辆局部图片进行对应属性的特征提取,提高提取到车辆细粒度特征的效果。
在本实施例中,步骤S3通过采用提取车辆颜色特征以及车辆细粒度特征,得到用于查询对应车辆的特征条件,针对不同属性的车辆局部图片进行对应属性的特征提取,提高提取到车辆细粒度特征的效果。提取到的车辆特征越多,越能提高查询到目标车辆的可能性。
S4,基于预设方法,生成与该车辆特征对应的语义特征信息,并将该语义特征信息与该初始视频帧图像进行关联,得到语义特征索引;将该语义特征信息、该语义特征索引和该初始视频帧图像存储至该预设数据库。
具体的,在本实施例中,通过预设的GAN网络生成与提取到对车辆特征对应的语义特征信息,并将语义特征信息与提取到与语义特征信息对应的车辆特征的初始视频帧图像进行关联,得到语义特征索引。
在本实施例中,步骤S1至步骤S4通过对初始视频帧图像中的车辆位置进行定位,得到车辆分割图片,并对车辆分割图片中的车辆进行特征提取,得到车辆颜色特征和车辆细粒度特征,生成车辆颜色特征对应的颜色语义信息,车辆细粒度特征对应的车辆细粒度语义信息,将颜色语义信息与车辆细粒度特征与对应的初始视频帧图像进行关联,得到语义特征索引。在对目标车辆进行查询时,根据查询条件与语义特征索引找到目标车辆所在的初始视频帧图像,提高查询到目标车辆出现的初始视频帧图像和确定目标车辆的运行轨迹的效率。
本申请实施例提供的目标车辆追踪方法、装置、计算机设备及存储介质,通过获取对目标车辆的信息查询请求,根据该信息查询请求在预设数据库中对目标车辆进行检索,得到符合条件的视频帧图像,在视频帧图像中对目标车辆进行定位,根据视频帧图像的时间戳,确定该目标车辆的运行轨迹,从而在大量干扰信息中提高对目标车辆进行定位以及确定其运行轨迹的效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种目标车辆追踪装置,该目标车辆追踪装置与上述实施例中目标车辆追踪方法一一对应。如图4所示,该目标车辆追踪装置包括以下模块41至模块44:
查询条件获取模块41,用于获取目标车辆的信息查询请求,并获取该信息查询请求中包含的查询条件。
候选视频帧图像获取模块42,用于基于该查询条件,对预设数据库中存储的视频帧图像进行检索,得到该查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息。
目标视频帧图像确定模块43,用于根据预设判断方式,从该候选视频帧图像中确定目标视频帧图像。
车辆运行轨迹确认模块44,用于基于每个该目标视频帧图像和每个该目标视频帧图像对应的时间戳信息,确定该目标车辆的运行轨迹。
在本实施例中,候选视频帧图像获取模块42包括如下单元:
候选视频帧获取单元,用于在该预设数据库中,根据该语义特征索引和该查询条件进行查询,得到每个该查询条件对应的每个候选视频帧图像。
在本实施例中,目标车辆追踪装置还包括如下模块:
初始视频帧图像获取模块,用于接收采集终端发送的实时视频流数据,对该视频流数据进行解码处理,得到初始视频帧图像。
车辆分割图片获取模块,用于针对每个该初始视频帧图像,对该初始视频帧图像进行车辆区域识别,得到车辆区域,并基于该车辆区域对该初始视频帧图像进行图像分割,得到车辆分割图片。
车辆特征提取模块,用于对每个该车辆分割图片进行特征提取,得到该车辆分割图片中车辆对应的车辆特征。
语义特征索引生成模块,用于基于预设方法,生成与该车辆特征对应的语义特征信息,并将该语义特征信息与该初始视频帧图像进行关联,得到语义特征索引;将该语义特征信息、该语义特征索引和该初始视频帧图像存储至该预设数据库。
在本实施例中,车辆分割图片获取模块还包括如下单元:
初始位置获取单元,用于采用深度学习的方式,对该初始视频帧图像中的车辆位置进行识别,得到初始位置。
预估位置获取单元,用于通过均值漂移算法,对该初始视频帧图像中的车辆位置进行预估处理,得到预估位置。
车辆区域生成单元,用于对该初始位置、该预估位置进行回归融合,得到该车辆区域。
在本实施例中,初始位置获取单元还包括如下子单元:
掩膜图像生成子单元,用于采用混合高斯背景建模的方式,提取该初始视频帧图像对应的掩膜图像。
跟踪兴趣框生成单元,用于生成通过预设的生成对抗网络,对该初始视频帧图像进行目标识别,得到跟踪兴趣框。
初始位置生成子单元,用于对该掩膜图像和该跟踪兴趣框进行融合处理,得到该初始位置。
在本实施例中,车辆特征提取模块包括如下单元:
待处理车辆分割图片获取单元,用于将同一采集终端的连续视频帧图像对应的该车辆分割图片,作为颜色特征图片序列,并基于该颜色特征图片序列中的每个该车辆分割图片的峰值信噪比和结构相似性进行筛选,得到待处理车辆分割图片。
颜色特征获取单元,用于提取每个该待处理车辆分割图片的颜色直方图,并对该颜色直方图进行加权融合,得到该车辆的颜色特征。
在另一实施例中,车辆特征提取模块包括如下单元:
车辆特征点获取单元,用于采用深度学习方式,对该车辆分割图片中的车辆四角关键点进行检测,得到车辆特征点。
车辆局部图片获取单元,用于根据该车辆特征点对该车辆分割图片进行划分,得到该车辆分割图片的车辆局部图片。
车辆细粒度特征提取单元,用于对每个该车辆局部图片进行特征提取,得到车辆细粒度特征。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分,并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式。
关于目标车辆追踪装置的具体限定可以参见上文中对于目标车辆追踪方法的限定,在此不再赘述。上述目标车辆追踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标车辆追踪方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标车辆追踪方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中目标车辆追踪方法的步骤,例如图2所示的步骤S101至步骤S 102及该方法的其它扩展和相关步骤的延伸。或者,处理器执行计算机程序时实现上述实施例中目标车辆追踪装置的各模块/单元的功能,例如图4所示模块41至模块44的功能。为避免重复,这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中,也可以与所述处理器分开设置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中目标车辆追踪方法的步骤,例如图2所示的步骤S101至步骤S104及该方法的其它扩展和相关步骤的延伸。或者,计算机程序被处理器执行时实现上述实施例中目标车辆追踪装置的各模块/单元的功能,例如图4所示模块41至模块44的功能。为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种目标车辆追踪方法,其特征在于,包括:
获取目标车辆的信息查询请求,并获取所述信息查询请求中包含的查询条件;
基于所述查询条件,对预设数据库中存储的视频帧图像进行检索,得到所述查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息;
根据预设判断方式,从所述候选视频帧图像中确定目标视频帧图像;
基于每个所述目标视频帧图像和每个所述目标视频帧图像对应的时间戳信息,确定所述目标车辆的运行轨迹。
2.根据权利要求1所述的目标车辆追踪方法,其特征在于,在所述基于所述查询条件,对预设数据库中存储的视频帧图像进行检索,得到所述查询条件对应的每个候选视频帧图像的步骤之前,所述方法还包括:
接收采集终端发送的实时视频流数据,对所述视频流数据进行解码处理,得到初始视频帧图像;
针对每个所述初始视频帧图像,对所述初始视频帧图像进行车辆区域识别,得到车辆区域,并基于所述车辆区域对所述初始视频帧图像进行图像分割,得到车辆分割图片;
对每个所述车辆分割图片进行特征提取,得到所述车辆分割图片中车辆对应的车辆特征;
基于预设方法,生成与所述车辆特征对应的语义特征信息,并将所述语义特征信息与所述初始视频帧图像进行关联,得到语义特征索引;将所述语义特征信息、所述语义特征索引和所述初始视频帧图像存储至所述预设数据库。
3.根据权利要求2所述的目标车辆追踪方法,其特征在于,所述针对每个所述初始视频帧图像,对所述初始视频帧图像进行车辆区域识别,得到车辆区域的步骤包括:
采用深度学习的方式,对所述初始视频帧图像中的车辆位置进行识别,得到初始位置;
通过均值漂移算法,对所述初始视频帧图像中的车辆位置进行预估处理,得到预估位置;
对所述初始位置、所述预估位置进行回归融合,得到所述车辆区域。
4.根据权利要求3所述的车辆跟踪方法,其特征在于,所述采用深度学习的方式,对所述所述初始视频帧图像中的车辆位置进行识别,得到初始位置步骤包括:
采用混合高斯背景建模的方式,提取所述初始视频帧图像对应的掩膜图像;
通过预设的生成对抗网络,对所述初始视频帧图像进行目标识别,得到跟踪兴趣框;
对所述掩膜图像和所述跟踪兴趣框进行融合处理,得到所述初始位置。
5.根据权利要求2所述的目标车辆追踪方法,其特征在于,所述对每个所述车辆分割图片进行特征提取,得到所述车辆分割图片中车辆对应的车辆特征的步骤包括:
将同一采集终端的连续视频帧图像对应的所述车辆分割图片,作为颜色特征图片序列,并基于所述颜色特征图片序列中的每个所述车辆分割图片的峰值信噪比和结构相似性进行筛选,得到待处理车辆分割图片;
提取每个所述待处理车辆分割图片的颜色直方图,并对所述颜色直方图进行加权融合,得到所述车辆的颜色特征。
6.根据权利要求2所述的目标车辆追踪方法,其特征在于,所述对每个所述车辆分割图片进行特征提取,得到所述车辆分割图片中车辆对应的车辆特征的步骤还包括:
采用深度学习方式,对所述车辆分割图片中的车辆四角关键点进行检测,得到车辆特征点;
根据所述车辆特征点对所述车辆分割图片进行划分,得到所述车辆分割图片的车辆局部图片;
对每个所述车辆局部图片进行特征提取,得到车辆细粒度特征。
7.根据权利要求1至6任一项所述的目标车辆追踪方法,其特征在于,所述基于所述查询条件,对预设数据库中存储的视频帧图像进行检索,得到所述查询条件对应的每个候选视频帧图像的步骤包括:
在所述预设数据库中,根据所述语义特征索引和所述查询条件进行查询,得到每个所述查询条件对应的每个候选视频帧图像。
8.一种目标车辆追踪装置,其特征在于,包括:
查询条件获取模块,用于获取目标车辆的信息查询请求,并获取所述信息查询请求中包含的查询条件;
候选视频帧图像获取模块,用于基于所述查询条件,对预设数据库中存储的视频帧图像进行检索,得到所述查询条件对应的每个候选视频帧图像,其中,每个视频帧图像对应一个时间戳信息;
目标视频帧图像确定模块,用于根据预设判断方式,从所述候选视频帧图像中确定目标视频帧图像;
车辆运行轨迹确认模块,用于基于每个所述目标视频帧图像和每个所述目标视频帧图像对应的时间戳信息,确定所述目标车辆的运行轨迹。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述目标车辆追踪方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述目标车辆追踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110171790.XA CN112905824A (zh) | 2021-02-08 | 2021-02-08 | 目标车辆追踪方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110171790.XA CN112905824A (zh) | 2021-02-08 | 2021-02-08 | 目标车辆追踪方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112905824A true CN112905824A (zh) | 2021-06-04 |
Family
ID=76122723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110171790.XA Pending CN112905824A (zh) | 2021-02-08 | 2021-02-08 | 目标车辆追踪方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112905824A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470081A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种车辆跟踪方法、装置、计算机设备及存储介质 |
CN113723273A (zh) * | 2021-08-26 | 2021-11-30 | 北京易华录信息技术股份有限公司 | 一种车辆轨迹信息确定方法、装置及计算机设备 |
CN114265952A (zh) * | 2022-03-02 | 2022-04-01 | 浙江宇视科技有限公司 | 一种目标检索方法和装置 |
CN114860976A (zh) * | 2022-04-29 | 2022-08-05 | 南通智慧交通科技有限公司 | 一种基于大数据的图像数据查询方法和系统 |
CN115690615A (zh) * | 2022-10-11 | 2023-02-03 | 杭州视图智航科技有限公司 | 一种面向视频流的深度学习目标识别方法及系统 |
CN116069801A (zh) * | 2023-03-06 | 2023-05-05 | 山东华夏高科信息股份有限公司 | 一种交通视频结构化数据生成方法、装置及介质 |
CN116668806A (zh) * | 2023-07-25 | 2023-08-29 | 高新兴智联科技股份有限公司 | 一种播放端添加目标跟踪标记的方法和装置 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329677A (zh) * | 2008-05-07 | 2008-12-24 | 裴亚军 | 基于图像内容的图像搜索引擎 |
CN102254043A (zh) * | 2011-08-17 | 2011-11-23 | 电子科技大学 | 一种基于语义映射的服装图像检索方法 |
CN103112015A (zh) * | 2013-01-29 | 2013-05-22 | 山东电力集团公司电力科学研究院 | 一种适用于工业机器人的操作物位置姿态识别方法 |
CN103942811A (zh) * | 2013-01-21 | 2014-07-23 | 中国电信股份有限公司 | 分布式并行确定特征目标运动轨迹的方法与系统 |
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪系统及方法 |
US20160146615A1 (en) * | 2014-11-21 | 2016-05-26 | Calamp Corp. | Systems and Methods for Driver and Vehicle Tracking |
CN105989610A (zh) * | 2015-01-29 | 2016-10-05 | 中兴通讯股份有限公司 | 目标跟踪方法及装置 |
CN106023242A (zh) * | 2015-04-09 | 2016-10-12 | 广东易富网络科技有限公司 | 一种基于量子均值漂移的抗遮挡多运动车辆追踪方法 |
CN106776943A (zh) * | 2016-12-01 | 2017-05-31 | 中科唯实科技(北京)有限公司 | 一种基于AutoEncoder和属性标签的车辆检索方法 |
CN107729502A (zh) * | 2017-10-18 | 2018-02-23 | 公安部第三研究所 | 一种卡口车辆个性化特征智能检索系统及方法 |
CN107832335A (zh) * | 2017-10-10 | 2018-03-23 | 西安电子科技大学 | 一种基于上下文深度语义信息的图像检索方法 |
CN108229468A (zh) * | 2017-06-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN109657689A (zh) * | 2018-12-07 | 2019-04-19 | 高新兴科技集团股份有限公司 | 一种基于深度学习的车辆关键点的提取方法、装置和设备 |
CN110866455A (zh) * | 2019-10-25 | 2020-03-06 | 南京理工大学 | 一种路面水体检测方法 |
CN111078946A (zh) * | 2019-12-04 | 2020-04-28 | 杭州皮克皮克科技有限公司 | 一种基于多目标区域特征聚合的卡口车辆检索方法及系统 |
CN111340045A (zh) * | 2020-02-12 | 2020-06-26 | 浙江大华技术股份有限公司 | 车牌号码的识别方法、装置及存储介质 |
-
2021
- 2021-02-08 CN CN202110171790.XA patent/CN112905824A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101329677A (zh) * | 2008-05-07 | 2008-12-24 | 裴亚军 | 基于图像内容的图像搜索引擎 |
CN102254043A (zh) * | 2011-08-17 | 2011-11-23 | 电子科技大学 | 一种基于语义映射的服装图像检索方法 |
CN103942811A (zh) * | 2013-01-21 | 2014-07-23 | 中国电信股份有限公司 | 分布式并行确定特征目标运动轨迹的方法与系统 |
CN103112015A (zh) * | 2013-01-29 | 2013-05-22 | 山东电力集团公司电力科学研究院 | 一种适用于工业机器人的操作物位置姿态识别方法 |
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪系统及方法 |
US20160146615A1 (en) * | 2014-11-21 | 2016-05-26 | Calamp Corp. | Systems and Methods for Driver and Vehicle Tracking |
CN105989610A (zh) * | 2015-01-29 | 2016-10-05 | 中兴通讯股份有限公司 | 目标跟踪方法及装置 |
CN106023242A (zh) * | 2015-04-09 | 2016-10-12 | 广东易富网络科技有限公司 | 一种基于量子均值漂移的抗遮挡多运动车辆追踪方法 |
CN106776943A (zh) * | 2016-12-01 | 2017-05-31 | 中科唯实科技(北京)有限公司 | 一种基于AutoEncoder和属性标签的车辆检索方法 |
CN108229468A (zh) * | 2017-06-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN107832335A (zh) * | 2017-10-10 | 2018-03-23 | 西安电子科技大学 | 一种基于上下文深度语义信息的图像检索方法 |
CN107729502A (zh) * | 2017-10-18 | 2018-02-23 | 公安部第三研究所 | 一种卡口车辆个性化特征智能检索系统及方法 |
CN109657689A (zh) * | 2018-12-07 | 2019-04-19 | 高新兴科技集团股份有限公司 | 一种基于深度学习的车辆关键点的提取方法、装置和设备 |
CN110866455A (zh) * | 2019-10-25 | 2020-03-06 | 南京理工大学 | 一种路面水体检测方法 |
CN111078946A (zh) * | 2019-12-04 | 2020-04-28 | 杭州皮克皮克科技有限公司 | 一种基于多目标区域特征聚合的卡口车辆检索方法及系统 |
CN111340045A (zh) * | 2020-02-12 | 2020-06-26 | 浙江大华技术股份有限公司 | 车牌号码的识别方法、装置及存储介质 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113470081A (zh) * | 2021-07-21 | 2021-10-01 | 浙江大华技术股份有限公司 | 一种车辆跟踪方法、装置、计算机设备及存储介质 |
CN113470081B (zh) * | 2021-07-21 | 2024-06-04 | 浙江大华技术股份有限公司 | 一种车辆跟踪方法、装置、计算机设备及存储介质 |
CN113723273A (zh) * | 2021-08-26 | 2021-11-30 | 北京易华录信息技术股份有限公司 | 一种车辆轨迹信息确定方法、装置及计算机设备 |
CN114265952A (zh) * | 2022-03-02 | 2022-04-01 | 浙江宇视科技有限公司 | 一种目标检索方法和装置 |
WO2023165219A1 (zh) * | 2022-03-02 | 2023-09-07 | 浙江宇视科技有限公司 | 目标检索方法、装置及存储介质 |
CN114860976A (zh) * | 2022-04-29 | 2022-08-05 | 南通智慧交通科技有限公司 | 一种基于大数据的图像数据查询方法和系统 |
CN115690615A (zh) * | 2022-10-11 | 2023-02-03 | 杭州视图智航科技有限公司 | 一种面向视频流的深度学习目标识别方法及系统 |
CN115690615B (zh) * | 2022-10-11 | 2023-11-03 | 杭州视图智航科技有限公司 | 一种面向视频流的深度学习目标识别方法及系统 |
CN116069801A (zh) * | 2023-03-06 | 2023-05-05 | 山东华夏高科信息股份有限公司 | 一种交通视频结构化数据生成方法、装置及介质 |
CN116668806A (zh) * | 2023-07-25 | 2023-08-29 | 高新兴智联科技股份有限公司 | 一种播放端添加目标跟踪标记的方法和装置 |
CN116668806B (zh) * | 2023-07-25 | 2023-10-27 | 高新兴智联科技股份有限公司 | 一种播放端添加目标跟踪标记的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112905824A (zh) | 目标车辆追踪方法、装置、计算机设备及存储介质 | |
CN112560999B (zh) | 一种目标检测模型训练方法、装置、电子设备及存储介质 | |
WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
CN109325429B (zh) | 一种关联特征数据的方法、装置、存储介质及终端 | |
WO2022227490A1 (zh) | 行为识别方法、装置、设备、存储介质、计算机程序及程序产品 | |
CN103093201B (zh) | 车标定位识别方法及系统 | |
CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
CN111191533B (zh) | 行人重识别的处理方法、装置、计算机设备和存储介质 | |
CN110795595A (zh) | 基于边缘计算的视频结构化存储方法、装置、设备及介质 | |
CN110826484A (zh) | 车辆重识别的方法、装置、计算机设备及模型训练方法 | |
Molina-Moreno et al. | Efficient scale-adaptive license plate detection system | |
CN113139403A (zh) | 违规行为识别方法、装置、计算机设备和存储介质 | |
Abdulghafoor et al. | A novel real-time multiple objects detection and tracking framework for different challenges | |
CN111091041A (zh) | 一种车辆违法判别方法、装置、计算机设备和存储介质 | |
CN109146923B (zh) | 一种目标跟踪丢断帧的处理方法及系统 | |
CN113963438A (zh) | 行为识别方法及装置、设备和存储介质 | |
CN112651996A (zh) | 目标检测跟踪方法、装置、电子设备和存储介质 | |
CN116844077A (zh) | 视频处理的方法、装置、计算机设备及存储介质 | |
Kiew et al. | Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm | |
CN114429577A (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
Hasan Yusuf et al. | Real-time car parking detection with deep learning in different lighting scenarios | |
Sankaranarayanan et al. | Efficient vehicle detection for traffic video-based intelligent transportation systems applications using recurrent architecture | |
CN111325186B (zh) | 视频处理方法、装置、介质及系统 | |
CN112801048A (zh) | 最优目标图像的识别方法、装置、设备及存储介质 | |
CN116567418A (zh) | 图像处理方法、移动检测系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210604 |
|
RJ01 | Rejection of invention patent application after publication |