CN112633282B - 一种车辆实时跟踪方法及计算机可读存储介质 - Google Patents

一种车辆实时跟踪方法及计算机可读存储介质 Download PDF

Info

Publication number
CN112633282B
CN112633282B CN202110017154.1A CN202110017154A CN112633282B CN 112633282 B CN112633282 B CN 112633282B CN 202110017154 A CN202110017154 A CN 202110017154A CN 112633282 B CN112633282 B CN 112633282B
Authority
CN
China
Prior art keywords
vehicle
camera
coordinate system
license plate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110017154.1A
Other languages
English (en)
Other versions
CN112633282A (zh
Inventor
张凯
郑钊宇
董宇涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110017154.1A priority Critical patent/CN112633282B/zh
Publication of CN112633282A publication Critical patent/CN112633282A/zh
Application granted granted Critical
Publication of CN112633282B publication Critical patent/CN112633282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种车辆实时跟踪方法及计算机可读存储介质,方法包括:获取预先设置地多个摄像头中每个所述摄像头的图像,并获取所述图像中每个车辆的车牌在所述图像中的车牌区域及车牌号码信息;对所述车牌区域进行坐标转换得到所述车辆在世界坐标系中的第一位置;通过所述多个摄像头协同定位得到所述车辆在真实世界中的第二位置;基于所述第二位置实时对所述车辆进行多摄像头协同跟踪。通过将原本独立的摄像头进行多摄像头协同定位,得到更精确的车辆位置,进而实现多摄像头协同跟踪,实时获取车辆信息。

Description

一种车辆实时跟踪方法及计算机可读存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种车辆实时跟踪方法及计算机可读存储介质。
背景技术
随着经济的发展,日常生活中汽车使用量不断增加,这使得交管部门在对车辆进行监管时工作量很大,特别是当需要全程监管某辆或某几辆车时。现如今,道路上监控摄像头数量众多,在某些交通流流量大的区域,甚至整个区域都被监控摄像头视野覆盖,如果能利用好这些摄像头,将能极大地提高监管效率。
近年来机器学习、深度学习的兴起,使得计算机技术迅速发展,许多对人类而言繁琐的工作可以用计算机高效地完成,使用计算机处理、分析通过摄像头获取的图像信息是一个典型实例。
对车辆进行监管,需要车辆的位置和标识ID,获取这两个信息最直接的方式就是对车牌进行检测跟踪,车牌位置代表车辆位置,车牌号码信息代表车辆的标识ID。车牌检测跟踪技术现在已经非常成熟,但是现有技术方案只能跟踪当前摄像头里的目标,当车辆离开当前摄像头视野,进入到一个新的摄像头的视野时,跟踪失败,即使新摄像头重新对车牌进行检测,车辆轨迹也会丢失,这不利于对确定的车辆进行监管。
现有技术中缺乏一种解决车辆运动跨摄像头时车辆跟踪失败、车辆轨迹丢失的问题的技术。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题,提供一种车辆实时跟踪方法及计算机可读存储介质。
为了解决上述问题,本发明采用的技术方案如下所述:
一种车辆实时跟踪方法,包括如下步骤:S1:获取预先设置地多个摄像头中每个所述摄像头的图像,并获取所述图像中每个车辆的车牌在所述图像中的车牌区域及车牌号码信息;S2:对所述车牌区域进行坐标转换得到所述车辆在世界坐标系中的第一位置;S3:通过所述多个摄像头协同定位得到所述车辆在真实世界中的第二位置;S4:基于所述第二位置实时对所述车辆进行多摄像头协同跟踪。
优选地,获取所述图像中车辆的车牌在所述图像中的位置及车牌号码信息包括如下步骤:S11:从所述图像中得到每个所述车牌的边界框信息,所述边界框信息包括(u,v,w,h),其中,u,v表示车牌的中心点在图像中的像素坐标,w,h表示车牌的宽度和高度在图像中所占的像素点数;S12:根据所述边界框信息识别所述车牌的所述车牌区域,得到车牌号码信息及车牌置信度,当所述车牌置信度达到预先设置的阈值时,车牌检测成功;S13:使用核相关滤波算法为每个所述摄像头的所述图像内的每个所述车牌的所述车牌区域生成一个跟踪器,所有所述摄像头的所述图像内的所述车牌的所述车牌区域生成一个跟踪列表;S14:基于所述摄像头的所述图像的像素范围动态更新所述跟踪列表。
优选地,得到所述第一位置包括如下步骤:S21:将所述车牌区域从像素坐标系转换到图像坐标系,像素坐标系和图像坐标系的关系式为:
Figure GDA0004229213030000021
其中,u、v为像素坐标系坐标,x、y为图像坐标系坐标,dx、dy为单位像素的在x、y轴的物理尺寸,u0、v0为图像坐标系原点在像素坐标系的位置;
S22:将所述车牌区域从图像坐标系转化到相机坐标系,图像坐标系和相机坐标系的关系式为:
Figure GDA0004229213030000022
其中,f为相机焦距,Xc,Yc,Zc为相机坐标系坐标;
S23:将所述车牌区域从相机坐标系转换到世界坐标系,相机坐标系和世界坐标系的关系式为:
Figure GDA0004229213030000031
也即,
Figure GDA0004229213030000032
其中,Xw,Yw,Zw为世界坐标系坐标,R为旋转矩阵,t为偏移向量;
S24:得到如下像素坐标系和世界坐标系的关系式:
Figure GDA0004229213030000033
其中,
Figure GDA0004229213030000034
S25:求解上述关系式中的参数u0、v0、fx、fy、Zc、R、t;
S26:获取所述车辆的所述车牌的像素坐标系坐标得到其世界坐标系坐标为:
Figure GDA0004229213030000035
优选地,使用张正友标定法求解参数u0、v0、fx、fy,使用SolvePNP方法求解参数Zc、R、t。
优选地,得到所述第二位置包括如下步骤:S31:依据每个所述摄像头Ci的所述跟踪列表及所述跟踪列表的动态变化过程确定所述车辆出现过的所述摄像头,若所述摄像头出现过所述车辆,则所述摄像头中出现所述车辆的概率Vi=1,否则Vi=0,其中,i=1,2,...,n;S32:获取每一个Vi=1的所述摄像头的图像的像素坐标系坐标并转换到世界坐标系中,所述车辆在世界坐标系的所述第一位置为
Figure GDA0004229213030000036
S33:通过加权的方式计算所述第二位置P,计算公式为,
Figure GDA0004229213030000041
其中,wi为权值系数。
优选地,wi的计算公式为,
Figure GDA0004229213030000042
其中,k1、k2为超参数,Di为图像中点的像素坐标和车辆的像素坐标距离,Ni为摄像头Ci能检测跟踪到车辆的帧数,当摄像头Ci检测跟踪到车辆时,Ni加1,否则Ni减1。
优选地,对所述车辆进行多摄像头协同跟踪包括所述车辆从所述摄像头Ci视野进入另一个摄像头Cj视野时持续跟踪所述车辆,其中,i=1,2,...,n,j=1,2,...,n且j≠i,具体包括如下步骤:S41:获取车辆的所述车牌区域在摄像头Cj下的世界坐标系坐标:Pj=P+rAB,其中,P是车辆的第二位置,Pj是车辆在摄像头j下的世界坐标系坐标,rij是摄像头Ci和摄像头Cj在真实世界的相对距离;S42:将所述车辆的所述车牌区域从摄像头Cj下的世界坐标系坐标转换成摄像头Cj下的像素坐标系坐标;S43:在所述摄像头Cj下创建跟踪器对目标车辆的像素坐标系坐标进行跟踪。
优选地,还包括如下步骤:S5:实时绘制所述车辆的运行轨迹。
优选地,实时绘制所述车辆的运行轨迹包括如下步骤:S51:选取所述车辆的所述图像中的一个点为运行轨迹图的坐标系零点;S52:基于实时获取地所述车辆的第二位置,获取所述第二位置与所述坐标系零点的相对位置关系得到所述车辆在所述运行轨迹图中的坐标;S53:依据所述坐标得到所述车辆的运行轨迹图。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为:提供一种车辆实时跟踪方法及计算机可读存储介质,通过将原本独立的摄像头进行多摄像头协同定位,得到更精确的车辆位置,进而实现多摄像头协同跟踪,实时获取车辆信息。
进一步地,本发明为每个摄像头维护一个跟踪器列表,记录摄像头视野的当前车辆信息,当新的车辆进入时,添加新的跟踪器到跟踪器列表中,当车辆离开摄像头视野时,从跟踪器列表中将其对应的跟踪器移除,更好的实现对车辆的跟踪。
更进一步地,本发明通过利用摄像头各自的参数、摄像头之间的相对位置关系及每个摄像头维护的跟踪器列表,实现多摄像头协同跟踪,实时输出车辆信息。
附图说明
图1是本发明实施例中第一种车辆实时跟踪方法的示意图。
图2是本发明实施例中取所述图像中车辆的车牌在所述图像中的位置及车牌号码信息的方法示意图。
图3是本发明实施例中得到所述第一位置的方法示意图。
图4是本发明实施例中得到所述第二位置的方法示意图。
图5是本发明实施例中基于所述第二位置实时对所述车辆进行多摄像头协同跟踪的方法示意图。
图6是本发明实施例中第二种车辆实时跟踪方法的示意图。
图7是本发明实施例中实时绘制所述车辆的运行轨迹的方法示意图。
图8是本发明实施例中第一种车辆实时跟踪方法的流程示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
如图1所示,本发明提供一种车辆实时跟踪方法,包括如下步骤:
S1:获取预先设置地多个摄像头中每个所述摄像头的图像,并获取所述图像中每个车辆的车牌在所述图像中的车牌区域及车牌号码信息;
S2:对所述车牌区域进行坐标转换得到所述车辆在世界坐标系中的第一位置;
S3:通过所述多个摄像头协同定位得到所述车辆在真实世界中的第二位置;
S4:基于所述第二位置实时对所述车辆进行多摄像头协同跟踪。
本发明提供的车辆实时跟踪方法将原本独立的摄像头进行多摄像头协同定位,得到更精确的车辆位置,进而实现多摄像头协同跟踪,实时获取车辆信息。
可以理解的是,多个摄像头的设置是基于固定区域的全覆盖设置,所以具体数量基于不同的区域而不同。
如图2所示,在本发明的一种实施例中,获取所述图像中车辆的车牌在所述图像中的位置及车牌号码信息包括如下步骤:
S11:从所述图像中得到每个所述车牌的边界框信息,所述边界框信息包括(u,v,w,h),
其中,u,v表示车牌的中心点在图像中的像素坐标,w,h表示车牌的宽度和高度在图像中所占的像素点数;
具体的,使用Harr级联检测器从图像中得到车牌的边界框。
S12:根据所述边界框信息识别所述车牌的所述车牌区域,得到车牌号码信息及车牌置信度,当所述车牌置信度达到预先设置的阈值时,车牌检测成功;
具体的,使用SEQ2SEQ网络模型识别车牌区域,得到车牌号码信息及车牌置信度,车牌置信度的取值范围为0到1,车牌置信度越高,说明车牌区域含有车牌以及车牌信息正确的可能性越高,当车牌置信度大于预先设置的阈值比如0.9时,则可以认为车牌检测成功。
S13:使用核相关滤波算法为每个所述摄像头的所述图像内的每个所述车牌的所述车牌区域生成一个跟踪器,所有所述摄像头的所述图像内的所述车牌的所述车牌区域生成一个跟踪列表;
可以使用KCF(Kernelized Correlation Filter,核相关滤波算法)为每个车牌区域生成一个跟踪器,每个跟踪器初始化所需信息为车牌边界框和车牌号码信息(由于每个车牌号码都是唯一的,因此跟踪器与车牌一一对应),将全部跟踪器添加到跟踪器列表中进行维护。
S14:基于所述摄像头的所述图像的像素范围动态更新所述跟踪列表。
本发明为每个摄像头维护一个跟踪器列表,记录摄像头视野的当前车辆信息,当新的车辆进入时,添加新的跟踪器到跟踪器列表中,当车辆离开摄像头视野时,从跟踪器列表中将其对应的跟踪器移除,更好的实现对车辆的跟踪。
对于每个摄像头内的车辆是动态变化的,所以可以对车辆的车牌实时检测,当车牌检测成功时,如果该车牌信息不在跟踪器列表中,则使用KCF算法为其创建一个跟踪器并添加到跟踪器列表中,如果该车牌信息在跟踪器列表中,则对该车牌所对应的跟踪器参数进行更新;使用跟踪器预测车牌下一时刻的边界框位置;当跟踪器预测的车牌边界框像素位置在超出摄像头获取的图像的像素范围时,从跟踪器列表中将此跟踪器移除。
如图3所示,在本发明的一种实施例中得到所述第一位置包括如下步骤:
S21:将所述车牌区域从像素坐标系转换到图像坐标系,像素坐标系和图像坐标系的关系式为:
Figure GDA0004229213030000071
其中,u、v为像素坐标系坐标,x、y为图像坐标系坐标,dx、dy为单位像素的在x、y轴的物理尺寸,u0、v0为图像坐标系原点在像素坐标系的位置;
S22:将所述车牌区域从图像坐标系转化到相机坐标系,图像坐标系和相机坐标系的关系式为:
Figure GDA0004229213030000081
其中,f为相机焦距,Xc,Yc,Zc为相机坐标系坐标;
S23:将所述车牌区域从相机坐标系转换到世界坐标系,相机坐标系和世界坐标系的关系式为:
Figure GDA0004229213030000082
也即,
Figure GDA0004229213030000083
其中,Xw,Yw,Zw为世界坐标系坐标,R为旋转矩阵,t为偏移向量;
S24:得到如下像素坐标系和世界坐标系的关系式:
Figure GDA0004229213030000084
其中,
Figure GDA0004229213030000085
S25:求解上述关系式中的参数u0、v0、fx、fy、Zc、R、t;
S26:获取所述车辆的所述车牌的像素坐标系坐标得到其世界坐标系坐标为:
Figure GDA0004229213030000086
在一种具体的实施例中,使用张正友标定法求解参数u0、v0、fx、fy,使用SolvePNP方法求解参数Zc、R、t。
如图4所示,在本发明的一种实施例中得到所述第二位置包括如下步骤:
S31:依据每个所述摄像头Ci的所述跟踪列表及所述跟踪列表的动态变化过程确定所述车辆出现过的所述摄像头,若所述摄像头出现过所述车辆,则所述摄像头中出现所述车辆的概率Vi=1,否则Vi=0,其中,i=1,2,...,n;
具体判断方法为:如果该摄像头的跟踪器列表中出现过该车辆,则认为该摄像头能检测跟踪到该车辆。
S32:获取每一个Vi=1的所述摄像头的图像的像素坐标系坐标并转换到世界坐标系中,得到世界坐标系坐标为
Figure GDA0004229213030000091
S33:通过加权的方式计算所述第二位置P,计算公式为,
Figure GDA0004229213030000092
其中,wi为权值系数。
在一种具体的实施例中,wi的计算公式为,
Figure GDA0004229213030000093
其中,k1、k2为超参数,Di为图像中点的像素坐标和车辆的像素坐标距离,Ni为摄像头Ci能检测跟踪到车辆的帧数,当摄像头Ci检测跟踪到车辆时,Ni加1,否则Ni减1。
本发明将原本独立的摄像头进行多摄像头协同定位,得到更精确的车辆位置。
如图5所示,在本发明的一种实施例中,对所述车辆进行多摄像头协同跟踪包括所述车辆从所述摄像头Ci视野进入另一个摄像头Cj视野时持续跟踪所述车辆,其中,i=1,2,...,n,j=1,2,...,n且j≠i,具体包括如下步骤:
S41:获取车辆的所述车牌区域在摄像头Cj下的世界坐标系坐标:Pj=P+rAB,其中,P是车辆的第二位置,Pj是车辆在摄像头j下的世界坐标系坐标,rij是摄像头Ci和摄像头Cj在真实世界的相对距离;
S42:将所述车辆的所述车牌区域从摄像头Cj下的世界坐标系坐标转换成摄像头Cj下的像素坐标系坐标;
S43:在所述摄像头Cj下创建跟踪器对目标车辆的像素坐标系坐标进行跟踪。
本发明通过利用摄像头各自的参数、摄像头之间的相对位置关系及每个摄像头维护的跟踪器列表,实现多摄像头协同跟踪,实时输出车辆信息。
如图6所示,本发明的方法还包括如下步骤:
S5:实时绘制所述车辆的运行轨迹。
如图7所示,在一种具体的实施例中,实时绘制所述车辆的运行轨迹包括如下步骤:
S51:选取所述车辆的所述图像中的一个点为运行轨迹图的坐标系零点;
S52:基于实时获取地所述车辆的第二位置,获取所述第二位置与所述坐标系零点的相对位置关系得到所述车辆在所述运行轨迹图中的坐标;
S53:依据所述坐标得到所述车辆的运行轨迹图。
如图8所示,基于本申请方法的流程示意图,本实施例在自行搭建的简易版系统上进行测试,操作系统为Windows10,处理器为Intel(R)Core(TM)i5-6200U CPU,所用编程语言为python,选择两个720P摄像头分别为camera1和camera2置于高处,两个摄像头视野有部分重叠(为了方便看,放了一个标识物体在视野交叠处),车辆信息使用手机里的车牌图片,通过移动手机模拟车辆运动。
实验的效果如下:
首先,检测识别效果方面,每个摄像头视野的车辆车牌检测得到的边界框和车牌真实边界框基本重合,车牌号码识别信息也和真实车牌号码信息完全一致。
其次,跟踪效果方面,通过选取过程中三帧图像可以看到,车辆移动过程中,预测的边界框和真实的车牌边界框基本重合,可见跟踪的整体效果比较好。
再次,整体效果方面,当目标车辆从camera1视野移动到camera2视野,最开始只有camera1视野里有目标,接着车辆移动到camera1和camera2的视野重叠区域,最后移动到camera2的单独视野里。通过不同时刻的摄像头视角画出了车辆运动的轨迹。可以看到,当车辆在camera1的单独视野时,camera2中无目标车辆信息,当车辆进入camera1和camera2的视野重叠区域,此时camera2中也出现了目标车辆并能自动进行跟踪,最后目标车辆进入只有camera2的单独视野,整个过程中目标车辆的位置信息准确,并且运动的轨迹也很平滑,可见本申请方法在解决车辆运动跨摄像头时车辆跟踪失败、车辆轨迹丢失的问题上是有效的。
本申请实施例还提供一种控制装置,包括处理器和用于存储计算机程序的存储介质;其中,处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质,用于存储计算机程序,该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器,所述处理器执行计算机程序,至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random Access Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM,Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (8)

1.一种车辆实时跟踪方法,其特征在于,包括如下步骤:
S1:获取预先设置地多个摄像头中每个所述摄像头的图像,并获取所述图像中每个车辆的车牌在所述图像中的车牌区域及车牌号码信息;
S2:对所述车牌区域进行坐标转换得到所述车辆在世界坐标系中的第一位置;
S3:基于所述第一位置通过所述多个摄像头协同定位得到所述车辆在真实世界中的第二位置;
S4:基于所述第二位置实时对所述车辆进行多摄像头协同跟踪;
获取所述图像中车辆的车牌在所述图像中的位置及车牌号码信息包括如下步骤:
S11:从所述图像中得到每个所述车牌的边界框信息,所述边界框信息包括(u,v,w,h),
其中,u,v表示车牌的中心点在图像中的像素坐标,w,h表示车牌的宽度和高度在图像中所占的像素点数;
S12:根据所述边界框信息识别所述车牌的所述车牌区域,得到车牌号码信息及车牌置信度,当所述车牌置信度达到预先设置的阈值时,车牌检测成功;
S13:使用核相关滤波算法为每个所述摄像头的所述图像内的每个所述车牌的所述车牌区域生成一个跟踪器,所有所述摄像头的所述图像内的所述车牌的所述车牌区域生成一个跟踪列表;
S14:基于所述摄像头的所述图像的像素范围动态更新所述跟踪列表;
得到所述第二位置包括如下步骤:
S31:依据每个所述摄像头Ci的所述跟踪列表及所述跟踪列表的动态变化过程确定所述车辆出现过的所述摄像头,若所述摄像头出现过所述车辆,则所述摄像头中出现所述车辆的概率Vi=1,否则Vi=0,其中,i=1,2,...,n;
S32:获取每一个Vi=1的所述摄像头的图像的像素坐标系坐标并转换到世界坐标系中,所述车辆在世界坐标系的所述第一位置为
Figure FDA0004217653280000011
S33:通过加权的方式计算所述第二位置P,计算公式为,
Figure FDA0004217653280000021
其中,wi为权值系数。
2.如权利要求1所述的车辆实时跟踪方法,其特征在于,得到所述第一位置包括如下步骤:
S21:将所述车牌区域从像素坐标系转换到图像坐标系,像素坐标系和图像坐标系的关系式为:
Figure FDA0004217653280000022
其中,u、v为像素坐标系坐标,x、y为图像坐标系坐标,dx、dy为单位像素的在x、y轴的物理尺寸,u0、v0为图像坐标系原点在像素坐标系的位置;
S22:将所述车牌区域从图像坐标系转化到相机坐标系,图像坐标系和相机坐标系的关系式为:
Figure FDA0004217653280000023
其中,f为相机焦距,Xc,Yc,Zc为相机坐标系坐标;
S23:将所述车牌区域从相机坐标系转换到世界坐标系,相机坐标系和世界坐标系的关系式为:
Figure FDA0004217653280000024
也即,
Figure FDA0004217653280000025
其中,Xw,Yw,Zw为世界坐标系坐标,R为旋转矩阵,t为偏移向量;
S24:得到如下像素坐标系和世界坐标系的关系式:
Figure FDA0004217653280000031
其中,
Figure FDA0004217653280000032
S25:求解上述关系式中的参数u0、v0、fx、fy、Zc、R、t;
S26:获取所述车辆的所述车牌的像素坐标系坐标得到其世界坐标系坐标为:
Figure FDA0004217653280000033
3.如权利要求2所述的车辆实时跟踪方法,其特征在于,使用张正友标定法求解参数u0、v0、fx、fy,使用SolvePNP方法求解参数Zc、R、t。
4.如权利要求1所述的车辆实时跟踪方法,其特征在于,wi的计算公式为,
Figure FDA0004217653280000034
其中,k1、k2为超参数,Di为图像中点的像素坐标和车辆的像素坐标距离,Ni为摄像头Ci能检测跟踪到车辆的帧数,当摄像头Ci检测跟踪到车辆时,Ni加1,否则Ni减1。
5.如权利要求4所述的车辆实时跟踪方法,其特征在于,对所述车辆进行多摄像头协同跟踪包括所述车辆从所述摄像头Ci视野进入另一个摄像头Cj视野时持续跟踪所述车辆,其中,i=1,2,...,n,j=1,2,...,n且j≠i,具体包括如下步骤:
S41:获取车辆的所述车牌区域在摄像头Cj下的世界坐标系坐标:Pj=P+rAB,其中,P是车辆的第二位置,Pj是车辆在摄像头j下的世界坐标系坐标,rij是摄像头Ci和摄像头Cj在真实世界的相对距离;
S42:将所述车辆的所述车牌区域从摄像头Cj下的世界坐标系坐标转换成摄像头Cj下的像素坐标系坐标;
S43:在所述摄像头Cj下创建跟踪器对目标车辆的像素坐标系坐标进行跟踪。
6.如权利要求1-5任一所述的车辆实时跟踪方法,其特征在于,还包括如下步骤:
S5:实时绘制所述车辆的运行轨迹。
7.如权利要求6所述的车辆实时跟踪方法,其特征在于,实时绘制所述车辆的运行轨迹包括如下步骤:
S51:选取所述车辆的所述图像中的一个点为运行轨迹图的坐标系零点;
S52:基于实时获取地所述车辆的第二位置,获取所述第二位置与所述坐标系零点的相对位置关系得到所述车辆在所述运行轨迹图中的坐标;
S53:依据所述坐标得到所述车辆的运行轨迹图。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一所述方法的步骤。
CN202110017154.1A 2021-01-07 2021-01-07 一种车辆实时跟踪方法及计算机可读存储介质 Active CN112633282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110017154.1A CN112633282B (zh) 2021-01-07 2021-01-07 一种车辆实时跟踪方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110017154.1A CN112633282B (zh) 2021-01-07 2021-01-07 一种车辆实时跟踪方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112633282A CN112633282A (zh) 2021-04-09
CN112633282B true CN112633282B (zh) 2023-06-20

Family

ID=75291045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110017154.1A Active CN112633282B (zh) 2021-01-07 2021-01-07 一种车辆实时跟踪方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112633282B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256691A (zh) * 2021-05-11 2021-08-13 广州织点智能科技有限公司 一种目标跟踪方法、装置、设备和存储介质
CN113516687A (zh) * 2021-07-09 2021-10-19 东软睿驰汽车技术(沈阳)有限公司 目标跟踪方法、装置、设备及存储介质
CN113255633B (zh) * 2021-07-16 2023-04-14 深圳市赛菲姆科技有限公司 基于目标跟踪的摄像头调节控制方法、装置、系统和介质
CN115412668A (zh) * 2022-07-04 2022-11-29 浙江大华技术股份有限公司 跟踪拍摄方法、装置及计算机可读存储介质
CN114973208B (zh) * 2022-08-02 2022-11-29 所托(杭州)汽车智能设备有限公司 车辆盲区监测预警方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997624A (zh) * 2014-05-21 2014-08-20 江苏大学 重叠域双摄像头目标跟踪系统及方法
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110706259A (zh) * 2019-10-12 2020-01-17 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
CN111815675A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 目标对象的跟踪方法及装置、电子设备和存储介质
CN111860352A (zh) * 2020-07-23 2020-10-30 上海高重信息科技有限公司 一种多镜头车辆轨迹全跟踪系统及方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997624A (zh) * 2014-05-21 2014-08-20 江苏大学 重叠域双摄像头目标跟踪系统及方法
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN110706259A (zh) * 2019-10-12 2020-01-17 四川航天神坤科技有限公司 一种基于空间约束的可疑人员跨镜头追踪方法及装置
CN111027462A (zh) * 2019-12-06 2020-04-17 长沙海格北斗信息技术有限公司 跨多摄像头的行人轨迹识别方法
CN111815675A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 目标对象的跟踪方法及装置、电子设备和存储介质
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN111860352A (zh) * 2020-07-23 2020-10-30 上海高重信息科技有限公司 一种多镜头车辆轨迹全跟踪系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多摄像头协同的目标跟踪方法研究;卓松;《中国优秀硕士学位论文全文数据库 信息科技辑》;第1-51页 *

Also Published As

Publication number Publication date
CN112633282A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112633282B (zh) 一种车辆实时跟踪方法及计算机可读存储介质
Chen et al. AI-empowered speed extraction via port-like videos for vehicular trajectory analysis
US20170213080A1 (en) Methods and systems for automatically and accurately detecting human bodies in videos and/or images
EP2345999A1 (en) Method for automatic detection and tracking of multiple objects
CN108491827B (zh) 一种车辆检测方法、装置及存储介质
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN102708571B (zh) 视频中剧烈运动的检测方法及其装置
CN108447078A (zh) 基于视觉显著性的干扰感知跟踪算法
CN104823444A (zh) 用于视频监控系统的图像稳定技术
JP2004534315A (ja) 移動対象物を監視する方法およびシステム
JP2004531842A (ja) サーベイランスシステムおよび監視システムに関する方法
JP2004537790A (ja) 移動対象物評価システムおよび方法
CN111627049B (zh) 高空抛物的确定方法、装置、存储介质及处理器
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN103929592A (zh) 全方位智能监控设备及方法
US20130335571A1 (en) Vision based target tracking for constrained environments
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
US20160117821A1 (en) Apparatus and method for registering images
US20220020158A1 (en) System and method for 3d object detection and tracking with monocular surveillance cameras
CN112947419A (zh) 避障方法、装置及设备
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
CN114067428A (zh) 多视角多目标的跟踪方法、装置、计算机设备和存储介质
CN114742112A (zh) 一种对象关联方法、装置及电子设备
Liu et al. Multi-view vehicle detection and tracking in crossroads
Elassal et al. Unsupervised crowd counting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant