CN111696365A - 一种车辆跟踪系统 - Google Patents

一种车辆跟踪系统 Download PDF

Info

Publication number
CN111696365A
CN111696365A CN201910179394.4A CN201910179394A CN111696365A CN 111696365 A CN111696365 A CN 111696365A CN 201910179394 A CN201910179394 A CN 201910179394A CN 111696365 A CN111696365 A CN 111696365A
Authority
CN
China
Prior art keywords
vehicle
cameras
monitoring
coordinate system
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910179394.4A
Other languages
English (en)
Inventor
沈卓民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910179394.4A priority Critical patent/CN111696365A/zh
Publication of CN111696365A publication Critical patent/CN111696365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种车辆跟踪系统。其中系统包括所述多个相机,用于:间隔地设置在一个监控路段上拍摄监控图像,并且每个相机拍摄所述监控路段不同的监控子路段,序号相邻的相机所监控的监控子路段存在重叠区域;将拍摄到的监控图像发送给所述终端服务器;所述终端服务器,用于:接收来自所述多个相机发送的监控图像,获取所述各个监控图像中存在的车辆的车辆信息;基于车辆信息的相似度,在所述多个相机的图像存在的所有车辆中确定出目标车辆;获取所述多个相机拍摄到所述目标车辆时,所述目标车辆在全局坐标系中所处的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。可以实现长距离连续性车辆轨迹跟踪。

Description

一种车辆跟踪系统
技术领域
本发明涉及智能视频监控技术领域,特别是涉及一种车辆跟踪系统。
背景技术
为了提高道路交通的安全性,可以通过相机拍摄车辆行驶的道路的画面,并由服务器从画面中识别出车辆,以对识别出的车辆进行监控。相比于传统的人工监管,可以有效降低道路交通监测的人工成本。
但是单个相机的监控范围有限,当车辆驶出一个相机的监控范围,则无法继续对该车辆进行跟踪。现有技术中,可以在一个相机丢失目标车辆后,启用另外一个相机继续跟踪该车辆,但是切换相机需要花费一定时间,可能造成跟踪得到的驾驶轨迹不连续。
发明内容
本发明实施例的目的在于提供一种车辆跟踪系统,以实现长距离连续性的车辆轨迹跟踪。具体技术方案如下:
在本发明实施例的第一方面,提供了一种车辆跟踪系统,所述系统包括多个相机和终端服务器;
所述多个相机,用于:
所述多个相机按照所监控的子路段被预先进行排序,所述多个相机中序号相邻的相机所监控的子路段相邻,序号不相邻的相机所监控的子路段不相邻;
间隔地设置在一个监控路段上拍摄监控图像,并且每个相机拍摄所述监控路段不同的监控子路段,序号相邻的相机所监控的监控子路段存在重叠区域,所述多个相机所监控的监控子路段的并集为所述监控路段;
将拍摄到的监控图像发送给所述终端服务器;
所述终端服务器,用于:
接收来自所述多个相机发送的监控图像,获取所述各个监控图像中存在的车辆的车辆信息,其中车辆信息包括车牌号、车型、车身颜色中的一个或多个;
基于车辆信息的相似度,在所述多个相机的图像存在的所有车辆中确定出目标车辆,所述目标车辆对应的车辆信息同时存在于所述多个相机的拍摄的监控图像中;
获取所述多个相机拍摄到所述目标车辆时,所述目标车辆在全局坐标系中所处的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。
结合第一方面,在第一种可能的实现方式中,所述终端服务器具体用于,获取所述目标车辆在所述多个相机各自的局部坐标系下的坐标,作为局部坐标;
根据所述多个相机各自的局部坐标系与预设的全局坐标系的坐标映射关系,分别将所述局部坐标映射到所述全局坐标系下,得到所述全局坐标系下该局部坐标对应的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。
结合第一方面,在第二种可能的实现方式中,所述多个相机中的每个相机还用于,对拍摄到的监控图像进行车辆识别,确定拍摄到的监控图像中存在的每个车辆在该相机的局部坐标系下的局部坐标;基于该相机的局部坐标系与预设的全局坐标系的坐标映射关系,将所述每个车辆的局部坐标映射到所述全局坐标系下,得到所述全局坐标系下所述每个车辆的全局坐标;向所述终端服务器发送所述全局坐标;
所述终端服务器具体用于,分别获取多个相机发送的所述目标车辆的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述多个相机中的每个相机还用于,向所述终端发送所述局部坐标;
所述终端服务器还用于,分别基于所述多个相机发送的局部坐标,从所述多个相机发送的监控图像中提取各个监控图像中存在的车辆的车辆图像。
结合第一方面的第三种可能的实现方式,在第四种可能的实现方式中,所述终端服务器还用于,如果两个序号相邻的相机在同一时刻拍摄到的监控图像中存在车辆图像相似度高于预设相似度阈值的多个车辆,将所述多个车辆识别为同一个车辆。
结合第一方面,在第五种可能的实现方式中,所述多个相机中的每个相机,具体用于对拍摄到的监控图像,以及基于监控图像识别到的车辆信息进行编码,得到监控视频流,所述监控视频流中叠加有所述车辆信息;
向所述终端服务器发送所述监控视频流;
所述终端服务器具体用于,从接收到的所述监控视频流中获取所述多个相机拍摄到的监控图像,以及各个监控图像中存在的车辆的车辆信息。
结合第一方面,在第六种可能的实现方式中,所述终端服务器还用于基于所述目标车辆在所述全局坐标系下的轨迹,与所述全局坐标系中预设的道路线之间的位置关系,确定所述标车辆是否发生违章事件。
结合第一方面的第六种可能的实现方式,在第七种可能的实现方式中,所述终端服务器具体用于,如果所述目标车辆在所述全局坐标系中的轨迹,与所述全局坐标系中预设的白实线相交,确定所述目标车辆违章变道。
结合第一方面的第七种可能的实现方式,在第八种可能的实现方式中,所述终端服务器还用于,在确定所述目标车辆发生违章事件后,向预设终端发送违章报警信息,所述违章报警信息中包括所述目标车辆的车辆信息。
本发明实施例提供的车辆跟踪系统,可以通过多个相机拓展监控范围,并利用终端服务器通过比较相邻子路段的监控画面中的车辆图像的相似度,避免目标车辆被重复识别,可以实现长距离连续性的车辆轨迹跟踪。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1所示为本发明实施例提供的车辆跟踪系统的一种结构示意图;
图2所示为本发明实施例提供的车辆跟踪系统中相机布局的一种示意图;
图3所示为本发明实施例提供的车辆跟踪系统中终端服务器用于车辆跟踪的一种示意图;
图4a所示为本发明实施例提供的车辆跟踪系统中终端服务器得到车辆信息的一种示意图;
图4b所示为本发明实施例提供的车辆跟踪系统中相机车得到车辆信息的的另一种示意图;
图5所示为本发明实施例提供的车辆跟踪系统中终端服务器获取车辆的全局坐标的一种示意图;
图6所示为本发明实施例提供的车辆跟踪系统中局部坐标系与全局坐标系映射关系确定的一种示意图;
图7所示为本发明实施例提供的车辆跟踪系统中终端服务器基于车辆轨迹进行违章检测的一种示意图;
图8所示为本发明实施例提供的车辆跟踪系统中车辆轨迹界面展示的一种示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1所示为本发明实施例提供的车辆跟踪系统的一种结构示意图,可以包括:多个相机110,终端服务器120。
多个相机110用于同步拍摄监控路段,并且每个相机用于拍摄该监控路段不同的监控子路段。子路段的划分可以根据相机110的监控范围,由于不同的相机110的成像参数以及安装俯仰角不同,监控范围可以不同,因此不同的子路段所包括的范围可以不同。多个相机是按照所监控的子路段被预先进行排序的,其中,序号相邻的相机所监控的监控子路段在空间上相邻。根据应用场景的不同,多个相机110中所包含的相机的数量可以不同,示例性的,在本实施例中,可以包括相机1(110a)、相机2(110b)…相机n(110c)。
示例性的,假设监控路段为长度500米的八车道直线路段,将监控路段起始位置记为S=0米处,终点位置记为S=500米处,如果一个相机110的水平视场角(水平方向为监控路段的宽的方向)可以覆盖八个车道,垂直视场角可以覆盖从S=100米到S=160米之间的60米的路段,则可以将该八个车道从S=100米到S=160米内的路段,作为监控路段的一个监控子路段,并由该相机110拍摄该子路段。又如果一个相机110的水平视场角只可以覆盖八个车道中第一车道到第四车道,垂直视场角(垂直方向为监控路段的走向)可以覆盖从S=100米到S=160米之间的60米的路段,则可以将第一车道到第四车道,这四个车道从S=100米到S=160米内的路段,作为监控路段的一个监控子路段,并由该相机110拍摄该子路段。
并且,在本发明实施例中,相邻的监控子路段存在重叠区域,重叠区域的大小可以根据实际需求进行设置,可以理解的是,如果车辆位于两个监控子路段的重叠区域时,该车辆会在这两个子路段的监控画面中出现。根据实际情况的不同,可以是完整地出现在其中一个子路段的监控画面中,并部分地出现于另外一个监控子路段的监控画面中,也可以是部分地或者均完整地出现于这两个监控子路段的监控画面中。
两个监控子路段的重叠区域越大,则车辆至少完整地出现于在一个监控子路段的监控画面中的概率越高,而车辆完整地出现于一个监控画面中,有助于提高该车辆被识别出的概率,因此两个监控子路段重叠区域越大,轨迹跟踪系统的准确性可能越高。两个监控子路段重叠区域越小,则在这两个监控子路段的覆盖范围不变的情况下,这两个子路段的并集的覆盖范围越大,因此可能只需要部署较少的相机110就能够完全范围监控路段,即重叠区域越小,轨迹跟踪系统的设备成本可能越低。
可以理解的是,监控路段等于所有监控子路段的并集,即监控路段中任意一个位置,至少属于一个监控子路段。出于设备成本考虑,本发明实施例中,每个监控子路段中至少有一个位置,不属于其他任意监控子路段,在其他实施例中,也可以是存在所有位置均属于其他监控子路段的子路段。如果一个监控子路段中所有位置均属于其他子路段,则即使不利用相机拍摄该监控子路段的监控图像,也可以实现对监控路段所有位置上的车辆的监控。
终端服务器120与多个相机110之间根据实际需求,可以是通过网线相连接的,也可以是通过预设无线网相连接的,还可以是通过数据总线相连接的。终端服务器120用于接受来自多个相机110发送的监控图像,获取各个监控图像中存在的车辆的车辆信息。基于车辆信息的相似度,在多个相机的图像存在的所有车辆中确定出目标车辆,获取多个相机110拍摄到目标车辆时,目标车辆在全局坐标系中所处的全局坐标,用于在全局全坐标系中显示目标车辆的轨迹。其中,车辆信息根据实际应用场景的不同所包括的信息可以不同,在本实施例中,可以包括车牌号、车型、车身颜色中的一个或多个。
全局坐标系的设置根据应用场景的不同也可以不同,不同的全局坐标系只是具体的数值不同,原理是相同的,因此为讨论方便下面将以全局坐标系为一个归一化坐标系为例进行说明。
为更清楚的对本发明实施例提供的车辆跟踪系统进行描述,下面将结合应用场景,对车辆跟踪系统中终端服务器120的运行原理进行说明,可以参见图2,图2所示为本发明实施例提供的相机安装位置的一种布局示意图,其中,监控路段200被划分为多个子路段210,每个子路段对应于一个相机110,该相机110的监控范围(图中以由一个相机110引出的四条虚线表示该相机110的监控范围)正好覆盖所对应的子路段210,相邻的两个子路段210之间存在重叠区域(即图中的阴影区域),下面将以该应用场景为例进行说明。
参见图3,图3所示为本发明实施例提供的终端服务器的一种原理示意图,该实施例中,多个相机110按照所监控的监控子路段被预先进行排序,并且多个相机110中序号相邻的相机所监控的监控子路段相邻,序号不相邻的相机所监控的监控子路段不相邻。示例性,可以将图2中的多个相机110从自左向右依次排序,其中最左边的相机110的序号为1。为讨论方便,下面将以该排序方式为例进行说明,步骤可以包括:
S301,接受来自多个相机发送的监控图像,获取各个监控图像中存在的车辆的车辆信息。
车辆信息可以是通过对监控图像进行车辆识别得到的,在一种可选的实施例中,可以是由相机110在拍摄监到监控图像后,对监控图像进行车辆识别,以获取车辆信息,并将车辆信息发送至终端服务器120的。在另一种可选的实施例中,也可以是相机110在拍摄到监控图像后,将监控图像发送至终端服务器120,并由终端服务器对监控图像进行车辆识别,以获取车辆信息。
S302,基于车辆信息的相似度,在多个相机的图像存在的所有车辆中确定出目标车辆。
其中,目标车辆可以为一个车辆也可以为多个车辆,当目标车辆为多个车辆时对于每个目标车辆的确定方法,与目标车辆为一个车辆时的确定方法相同,因此为讨论方便,下面以目标车辆为一个车辆的情况进行说明。
示例性的,可以将各个监控图像中存在的车辆中,车辆信息相似度高于预设相似度阈值的多个车辆,识别为同一个目标车辆。例如,在相机A拍摄到的一个监控图像中存在车辆A,在相机B拍摄到的一个监控图像中存在车辆B,车辆A和车辆B的车牌号相同,则可以将车辆A和车辆B识别为同一个目标车辆。
S303,获取多个相机拍摄到目标车辆时,目标车辆在全局坐标系中所处的全局坐标。
关于全局坐标的计算方式将在下文进行陈述,在此不做过多讨论。根据实际应用场景的不同,全局坐标可以是由相机计算得到并发送至终端服务器的,也可以是由终端服务器计算得到的,本实施例对此不做限制。
S304,在全局坐标系中显示目标车辆的轨迹。
可以是将目标车辆的全局坐标按照时间先后顺序连接,以在全局坐标系中显示目标车辆的轨迹。先后顺序可以由得到该全局坐标所基于的监控图像的拍摄时间决定(拍摄时间可以通过监控图像的时间戳确定)。例如,相机A在t=0S时拍摄到目标车辆,此时目标车辆的全局坐标为(0,0.5),并在t=10S时拍摄到目标车辆,此时目标车辆的全局坐标为(0.5,0.5),并且在t=0S到t=10S之间没有其他相机拍摄到目标车辆,则可以确定目标车辆在t=0S到t=10S这一时间段内的轨迹为从(0,0.5)到(0.5,0.5)的线段。
如前述分析,在一些应用场景中,目标车辆可能在某一时刻同时被两个不同的相机拍摄到,可能导致目标车辆在该时刻被识别到两次,影响确定得到的轨迹的准确性。有鉴于此,在一种可选的实施例中,终端服务器可以获取每个监控子路段的监控图像中存在的车辆的车辆图像;如果获取到的车辆图像中,存在分别位于多个相邻监控子路段的监控图像并且车辆图像的相似度高于预设相似度阈值的多个车辆,将这多个车辆识别为一个车辆,直至未识别的车辆中任意两个车辆均不满足:分别位于两个相邻的监控子路段并且车辆图像的相似度高于预设相似度阈值。
选用该实施例,可以通过对相机进行预先排序,以将监控相邻的监控子路段的相机相邻排序,有利于终端服务器对数据的管理。示例性的,如果没有预先对相机按照所监控的监控子路段进行排序,则终端服务器可能难以确定不同相机所处位置之间的相对关系,而本实施例中,可以通过车辆图像相机序号确定确定不同相机所处位置之间的相对关系,例如终端服务器获取到的两个监控图像,分别为相机序号为2、3的相机拍摄得到的,则终端服务器可以确定这两个监控图像为相邻监控子路段的监控凸显,又例如终端服务器获取到的两个监控图像,分别为相机序号为2、4的相机拍摄得到的,则终端服务器可以确定这两个监控图像为不相邻的两个监控子路段的监控图像。可以理解的是,如果两个监控子路段不相邻,理论上同一个车辆不可能同时出现在这两个监控子路段上。
参见图4a,图4a为本发明实施例提供的相机-终端服务器交互的一种原理示意图,可以包括:
S401,多个相机同步拍摄得到各自监控的监控子路段的监控图像。
其中,同步拍摄是指多个相机在同一个时间段内拍摄各自对应的子路段的监控画面,该时间段的长短可以根据实际需求选取不同的值,该时间段越长,则对这多个相机的同步性要求可能越低,该时间段越短,则对这多个相机的同步性要求可能越高。可以理解的是,如果两个相机拍摄间隔足够小,可以近似认为这两个相机是在同一个时刻拍摄到监控画面的。
S402,多个相机将给各自拍摄得到的监控图像发送至终端服务器。
S403,终端服务器在接收到多个相机发送的多个监控图像后,分别对多个监控图像进行车辆识别,得到多个监控图像中存在的车辆的车辆信息。
为了区分不同相机发送的监控图像,终端服务器可以将不同的相机发送的监控图像存储至不同的存储路径,也可以是对从不同的相机接收的监控图像添加不同的标识信息(如相机的设备标识信息)。
进一步的,进行车辆识别可以是利用预先经过深度学习得到的车辆识别神经网络,确定出监控画面中存在车辆的区域,并基于该区域的图像确定车辆信息,作为该区域对应的车辆的车辆信息。例如,可以对该区域的图像进行车牌号识别,以获取该车辆的车牌号,又例如可以提取该区域的图像的颜色,以获取该车辆的颜色。
选用该实施例,多个相机只需要负责拍摄监控图像,由终端服务器负责提取车辆信息,因此对相机的性能要求较低,可以有效节省相机成本,但是如果监控图像数量较多,可能导致终端服务器承担过大的计算负载,因此对终端服务器的性能要求较高。
参见图4b,图4b为本发明实施例提供的相机-终端服务器交互的另一种原理示意图,可以包括:
S401,多个相机同步拍摄得到各自监控的监控子路段的监控图像。
S404,多个相机分别对各自拍摄得到的监控图像进行车辆识别,得到监控图像中存在的车辆的车辆信息。
关于车辆识别可以参见S403中的描述,在此不再赘述。
S405,多个相机分别将各自得到的车辆信息和监控图像发送至终端服务器。
车辆信息可以是和监控图像分别发送的,也可以是和监控图像同时发送的。示例性的,可以是对监控图像和车辆信息进行编码,得到得加有车辆信息的监控视频流,并将该监控视频流发送至终端服务器。
选用该实施例,由于车辆信息由各个相机负责提取,因此可以有效降低终端服务器的计算负载,但是对相机的计算性能有一定要求。
参见图5,图5所示为本发明实施例提供的全局坐标确定方法的一种原理示意图,如前述说明,全局坐标可以是由相机计算得到的,也可以是由终端服务器计算得到的,为讨论方便下面将以相机计算得到的情况为例进行说明,可以包括:
S501,对拍摄到的监控图像进行车辆识别,确定拍摄到的监控图像中存在的每个车辆在该相机的局部坐标系下的局部坐标。
为讨论方便,下面将以监控图像只存在一个车辆为例进行说明,对于监控图像中存在多个车辆的情况原理相同。其中,局部坐标系根据实际应用场景的不同可以不同,示例性的,可以是以相机的图像传感器的扫描方向为x轴,扫描方向的正交方向为y轴建立的坐标系,下文将以该坐标系为例进行说明。
在本实施例中,每个车辆在监控图像中所处的位置可以用一个矩形区域表示,车辆在该相机的局部坐标系下的局部坐标,可以是该矩形区域的四个顶点的局部坐标,也可以是该矩形区域中心点的局部坐标。示例性的,假设用于表示车辆所处的位置的矩形区域的四个顶点的局部坐标分别为A(x1,y1)、B(x2,y2)、C(x3,y3)、D(x4,y4),则该车辆的局部坐标按照下式计算得到:
Figure BDA0001990751520000101
Figure BDA0001990751520000102
其中,xo和yo分别为车辆局部横坐标和局部纵坐标。
S502,根据该相机的局部坐标系与预设的全局坐标系的坐标映射关系,将局部坐标映射到全局坐标系下,得到全局坐标系下该局部坐标对应的全局坐标。
可以理解的是,由于不同的相机的成像参数、安装位置、安装俯仰角均可能不一致,而全局坐标系作是一个预设的坐标系,因此不同的相机的局部坐标系与全局坐标系之间的坐标映射关系可能不一致。示例性的,以图2为例,对于最左边的阴影区域中的一个位置,位于最左侧的相机和左数第二个相机均能拍摄得到该位置,但是在最左侧的相机拍摄得到的监控图像中,该位置将处于监控画面靠近顶端的区域,而在左数第二个相机拍摄得到的监控图像中,该位置将处于监控画面靠近底部的区域。
不同的相机对应的坐标映射关系可以是用户预先输入至各个相机的(对于终端服务器计算全局坐标的情况,可以是用户预先将各个相机对应的坐标映射关系输入至终端服务器)。
关于如何确定一个相机对应的坐标映射关系可以参见图6,图6所示为一个相机拍摄得到的监控图像的示意图,虚线为车道线(虽然示意图中以虚线表示,但是所表示的车道线可以为虚黄线、虚白线,也可以是实黄线、实白线,还可以是双白线、双黄线),矩形为车辆在该监控图像中所处的位置,圆形为两个标定点所处的位置,标定点为监控画面中已知对应的全局坐标的位置。获取监控画面中两个标定点的局部坐标以及全局坐标。标定点的全局坐标可以是按照以下方式确定的:
在该相机的监控场景内某个指定的位置分别放置标记物,在实际空间中确定这个标记物的全局坐标,利用该相机拍摄监控图像,在监控图像中找到该标记物对应的图像,将该图像所处的位置作为标定点,并将所确定的全局坐标作为该标定点的全局坐标。
假设车辆的局部坐标为(X,Y),两个标定点的局部坐标为(X1,Y1)、(X2,Y2),并且两个标定点对应的全局坐标为(U1,V1)、(U2,V2),在局部坐标系中过点(X,Y)做与纵轴夹角成α的直线,与两个标定点的连线相交于一点,记为点k(Xk,Yk),α为全局坐标系相对像素坐标系的偏转角度,可以由下式计算得到:
Figure BDA0001990751520000111
由于过点(X,Y)所做的与纵轴夹角成α的直线转换至全局坐标系中时与全局坐标系的纵轴平行(或重合),因此点(X,Y)的全局横坐标U和点k的全局横坐标相同,而点k的全局横坐标可以由线性变化公式计算得到,故有:
Figure BDA0001990751520000112
Figure BDA0001990751520000113
Figure BDA0001990751520000114
其中,c为两个标定点之间在局部坐标系下的距离,m为点k与标定点(X1,Y1)之间在局部坐标系下的距离。关于点k的坐标(Xk,Yk)可以通过联立前述过点(X,Y)所作的直线的直线方程,以及两个标定点连线的直线方程求解得到,在此不再展开讨论。可以理解的是,由于(X,Y)可以是局部坐标系中的任一点,因此上式即像素坐标系到全局坐标系的横坐标的转换关系。关于像素坐标系到全局坐标系的纵坐标的转换关系,可以同理计算得到,进一步的,在确定局部坐标系到全局坐标系的纵坐标的映射关系可以基于(X1,Y1)、(X2,Y2)以外的两个标定点,也可以是基于(X1,Y1)、(X2,Y2)这两个标定点,还可以是基于(X1,Y1)、(X2,Y2)中的一个标定点以及(X1,Y1)、(X2,Y2)以外的一个标定点。
在一种可选的实施例中,为简化计算可以通过选择特定的标定点,使得(X1,Y1)和(X2,Y2)在全局坐标系中的纵坐标相等,即V2=V1,此时过点(X,Y)做与纵轴夹角成α的直线,等同于过点(X,Y)做两个标定点连线的垂线,点k为垂足。由勾股定理可知,点k落在两个标定点之间时(可以通过选取合适的标定点满足该关系),可以得到:
Figure BDA0001990751520000121
Figure BDA0001990751520000122
Figure BDA0001990751520000123
其中,a为点(X,Y)与点(X1,Y1)之间的在局部坐标系下的距离,h为以(X,Y)(X1,Y1)、(X2,Y2)为顶点的三角形(以下称三角形A)中以(X1,Y1)(X2,Y2)为底边的高,S为三角形A的面积,S可以由如下所示的海伦公式计算得到:
Figure BDA0001990751520000124
Figure BDA0001990751520000125
Figure BDA0001990751520000126
其中,p为三角形A的半周长,b为点(X,Y)与(X2,Y2)之间在局部坐标系下的距离。通过选取合适的标定点使得U1=0时,则横坐标转换关系可以进一步简化为:
Figure BDA0001990751520000131
下面将以图7为例,对如何选取合适的标定点进行描述。可以将监控路段(假设监控路段为直线路段,对于不为直线路段的监控路段,可以通过建立合适的全局坐标系,使得监控路段在全局坐标系中呈直线路段,原理相同,因此不再赘述)左边缘和右边缘中的一个设定为全局坐标系中的纵轴,并将另外一个设定为全局坐标系中的直线U=1,这里假设以左边缘为纵轴,将标记点(X1,Y1)设置于监控图像中监控子路段的左边缘(此时U1=0),过标记点(X1,Y1)做左边缘的垂线,将该垂线与车辆所处车道的右车道边界的交点设置为标记点(X2,Y2),此时必然满足V2=V1,由于各个车道的宽度可以近似认为相等,假设车辆所处车道为左数第i个车道,则U2=i/n,其中n为车道总数,示例性的,假设车辆所处车道为左数第一个车道,并且一共有四个车道,则U2=0.25,坐标映射关系可以为:
Figure BDA0001990751520000132
关于车辆所处车道,可以由相机基于监控画面智能分析得到。关于局部坐标到全局纵坐标的坐标映射关系,可以类比于上述局部坐标到全局横坐标的坐标映射关系的推导得出,在此不再赘述。选用该实施例,可以实现归一化的全局坐标,并且坐标映射关系较为简单。
参见图7,图7所示为本发明实施例提供的终端服务器违章检测的一种原理示意图,可以包括:
S701,基于目标车辆在多个时间节点上的全局坐标,确定目标车辆的在全局坐标系中的轨迹。
示例性的,可以是在每次接收到目标车辆的全局坐标后,在全局坐标系中标定出该全局坐标对应的坐标点,并将该目标车辆在多个时间节点上所对应的坐标点按照时间节点的时间先后顺序连接,得到目标车辆的行驶轨迹,示例性的,可以参见图8,图8所示为全局坐标系下的轨迹示意图。一个全局坐标所对应的时间节点,可以是计算得到该全局坐标所基于的监控图像的时间戳。
S702,针对每个目标车辆,基于该目标车辆在全局坐标系下的轨迹,与全局坐标系中预设的道路线之间的位置关系,确定目标车辆是否发生违章事件。
行驶轨迹与道路线之间的位置关系可以包括相交、不相交、左侧穿过、右侧穿过等。道路线可以是终端服务器或者相机根据监控画面中的地面交通标识确定得到的,也可以是由用户基于监控图像输入的,示例性的,用户可以是通过客户端访问相机以预览到相机拍摄得到的监控子路段的监控图像,根据监控图像中的地面交通标识,用户在监控画面中利用画图工具拖拽出道路线。进一步的,道路线可以分为多类,在确定是否发发生违章事件时,同时基于行驶轨迹与道路线的位置关系,以及道路线的类型。例如,行驶轨迹与一道路线相交,并且该道路线为白实线,则可以确定该目标车辆发生有违章变道事件,如果行驶轨迹与一道路线相交,并且该道路线为白虚线,则可以确定该目标车辆没有发生违章并道事件。在其他实施例中,根据具体的使用场景,道路线也可以没有分类,在这种情况下,终端服务器仍能实现违章事件的检测,只是适用性较低。
进一步的,在一种可选的实施例中,也可以两个相邻的道路线所形成的车道进行分类,如上行车道、下行车道以区分该车道所允许的行驶方向。当行驶轨迹夹在这两个相邻的道路线之间时,可以通过比较该行驶轨迹的方向与该车道的种类,以检测该行驶轨迹是否发生逆行事件。由于不同地方的交通规则可能存在差异,因此检测方式可以由用户根据实际情况进行设定。
并且在一种可选的实施例中,终端服务器在确定目标车辆发生有违章事件后,可以将对应的目标车辆的车辆信息发送至预设的平台中心,以通知平台中心对违章事件进行记录和/或处理。其中,可以是将所有车辆信息发送至平台中心,也可以是只将部分足够标识车辆的车辆信息发送至平台中心。示例性的,假设车辆信息包括车牌号、车型、颜色,在确定目标车辆发生违章事件后,可以将目标车辆的车牌号、车型以及颜色发送至平台中心,也可以只将目标车辆的车牌号发送至平台中心。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (9)

1.一种车辆跟踪系统,其特征在于,所述系统包括多个相机和终端服务器;
所述多个相机,用于:
所述多个相机按照所监控的子路段被预先进行排序,所述多个相机中序号相邻的相机所监控的子路段相邻,序号不相邻的相机所监控的子路段不相邻;
间隔地设置在一个监控路段上拍摄监控图像,并且每个相机拍摄所述监控路段不同的监控子路段,序号相邻的相机所监控的监控子路段存在重叠区域,所述多个相机所监控的监控子路段的并集为所述监控路段;
将拍摄到的监控图像发送给所述终端服务器;
所述终端服务器,用于:
接收来自所述多个相机发送的监控图像,获取所述各个监控图像中存在的车辆的车辆信息,其中车辆信息包括车牌号、车型、车身颜色中的一个或多个;
基于车辆信息的相似度,在所述多个相机的图像存在的所有车辆中确定出目标车辆,所述目标车辆对应的车辆信息同时存在于所述多个相机的拍摄的监控图像中;
获取所述多个相机拍摄到所述目标车辆时,所述目标车辆在全局坐标系中所处的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。
2.根据权利要求1所述的系统,其特征在于,所述终端服务器具体用于,获取所述目标车辆在所述多个相机各自的局部坐标系下的坐标,作为局部坐标;
根据所述多个相机各自的局部坐标系与预设的全局坐标系的坐标映射关系,分别将所述局部坐标映射到所述全局坐标系下,得到所述全局坐标系下该局部坐标对应的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。
3.根据权利要求1所述的系统,其特征在于,所述多个相机中的每个相机还用于,对拍摄到的监控图像进行车辆识别,确定拍摄到的监控图像中存在的每个车辆在该相机的局部坐标系下的局部坐标;基于该相机的局部坐标系与预设的全局坐标系的坐标映射关系,将所述每个车辆的局部坐标映射到所述全局坐标系下,得到所述全局坐标系下所述每个车辆的全局坐标;向所述终端服务器发送所述全局坐标;
所述终端服务器具体用于,分别获取多个相机发送的所述目标车辆的全局坐标,用于在所述全局坐标系中显示所述目标车辆的轨迹。
4.根据权利要求3所述的系统,其特征在于,所述多个相机中的每个相机还用于,向所述终端发送所述局部坐标;
所述终端服务器还用于,分别基于所述多个相机发送的局部坐标,从所述多个相机发送的监控图像中提取各个监控图像中存在的车辆的车辆图像。
5.根据权利要求4所述的系统,其特征在于,所述终端服务器还用于,如果两个序号相邻的相机在同一时刻拍摄到的监控图像中存在车辆图像相似度高于预设相似度阈值的多个车辆,将所述多个车辆识别为同一个车辆。
6.根据权利要求1所述的系统,其特征在于,所述多个相机中的每个相机,具体用于对拍摄到的监控图像,以及基于监控图像识别到的车辆信息进行编码,得到监控视频流,所述监控视频流中叠加有所述车辆信息;
向所述终端服务器发送所述监控视频流;
所述终端服务器具体用于,从接收到的所述监控视频流中获取所述多个相机拍摄到的监控图像,以及各个监控图像中存在的车辆的车辆信息。
7.根据权利要求1所述的系统,其特征在于,所述终端服务器还用于基于所述目标车辆在所述全局坐标系下的轨迹,与所述全局坐标系中预设的道路线之间的位置关系,确定所述标车辆是否发生违章事件。
8.根据权利要求7所述的系统,其特征在于,所述终端服务器具体用于,如果所述目标车辆在所述全局坐标系中的轨迹,与所述全局坐标系中预设的白实线相交,确定所述目标车辆违章变道。
9.根据权利要求7所述的系统,其特征在于,所述终端服务器还用于,在确定所述目标车辆发生违章事件后,向预设终端发送违章报警信息,所述违章报警信息中包括所述目标车辆的车辆信息。
CN201910179394.4A 2019-03-11 2019-03-11 一种车辆跟踪系统 Pending CN111696365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910179394.4A CN111696365A (zh) 2019-03-11 2019-03-11 一种车辆跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910179394.4A CN111696365A (zh) 2019-03-11 2019-03-11 一种车辆跟踪系统

Publications (1)

Publication Number Publication Date
CN111696365A true CN111696365A (zh) 2020-09-22

Family

ID=72474451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179394.4A Pending CN111696365A (zh) 2019-03-11 2019-03-11 一种车辆跟踪系统

Country Status (1)

Country Link
CN (1) CN111696365A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870551A (zh) * 2021-08-16 2021-12-31 清华大学 一种能够鉴别危险和非危险驾驶行为的路侧监控系统
CN114222041A (zh) * 2021-12-06 2022-03-22 山东省地质矿产勘查开发局八〇一水文地质工程地质大队 一种地下空间安全防控系统及方法
CN114419555A (zh) * 2022-01-19 2022-04-29 广东飞达交通工程有限公司 一种基于深度卷积神经网络的道路交通目标跟踪方法
CN116091899A (zh) * 2023-04-12 2023-05-09 中国铁塔股份有限公司 车辆跟踪方法、系统、装置、电子设备及可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816764A (ja) * 1994-06-29 1996-01-19 Omron Corp 画像処理方法およびその装置
US20040218052A1 (en) * 2001-08-17 2004-11-04 Didomenico John Method and system for video capture of vehicle information
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN102073853A (zh) * 2011-01-14 2011-05-25 华南理工大学 基于马尔可夫蒙特卡洛算法的多目标车辆跟踪方法
CN102129785A (zh) * 2011-03-18 2011-07-20 沈诗文 大场景停车场智能管理系统
CN102176246A (zh) * 2011-01-30 2011-09-07 西安理工大学 一种多相机目标接力跟踪系统的相机接力关系确定方法
CN102521983A (zh) * 2011-12-23 2012-06-27 北京易华录信息技术股份有限公司 一种基于高清视频技术的车辆违章检测系统及方法
CN102903239A (zh) * 2012-09-27 2013-01-30 安科智慧城市技术(中国)有限公司 交通路口车辆左右违章转向检测方法和系统
CA2998175A1 (en) * 2012-03-02 2013-09-06 Leddartech Inc. System and method for multipurpose traffic detection and characterization
CN103778786A (zh) * 2013-12-17 2014-05-07 东莞中国科学院云计算产业技术创新与育成中心 一种基于显著车辆部件模型的交通违章检测方法
CN106791710A (zh) * 2017-02-10 2017-05-31 北京地平线信息技术有限公司 目标检测方法、装置和电子设备
CN107134172A (zh) * 2017-07-12 2017-09-05 嘉兴寰知科技有限公司 停车场停车监控识别系统及其方法
CN107657813A (zh) * 2017-09-21 2018-02-02 中交第二公路勘察设计研究院有限公司 基于行车轨迹的高速公路交通执法判别方法
CN108288386A (zh) * 2018-01-29 2018-07-17 深圳信路通智能技术有限公司 基于视频的路内停车跟踪方法
CN108734967A (zh) * 2017-04-20 2018-11-02 杭州海康威视数字技术股份有限公司 违章车辆监控方法、装置及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816764A (ja) * 1994-06-29 1996-01-19 Omron Corp 画像処理方法およびその装置
US20040218052A1 (en) * 2001-08-17 2004-11-04 Didomenico John Method and system for video capture of vehicle information
CN101277429A (zh) * 2007-03-27 2008-10-01 中国科学院自动化研究所 监控中多路视频信息融合处理与显示的方法和系统
CN102073853A (zh) * 2011-01-14 2011-05-25 华南理工大学 基于马尔可夫蒙特卡洛算法的多目标车辆跟踪方法
CN102176246A (zh) * 2011-01-30 2011-09-07 西安理工大学 一种多相机目标接力跟踪系统的相机接力关系确定方法
CN102129785A (zh) * 2011-03-18 2011-07-20 沈诗文 大场景停车场智能管理系统
CN102521983A (zh) * 2011-12-23 2012-06-27 北京易华录信息技术股份有限公司 一种基于高清视频技术的车辆违章检测系统及方法
CA2998175A1 (en) * 2012-03-02 2013-09-06 Leddartech Inc. System and method for multipurpose traffic detection and characterization
CN102903239A (zh) * 2012-09-27 2013-01-30 安科智慧城市技术(中国)有限公司 交通路口车辆左右违章转向检测方法和系统
CN103778786A (zh) * 2013-12-17 2014-05-07 东莞中国科学院云计算产业技术创新与育成中心 一种基于显著车辆部件模型的交通违章检测方法
CN106791710A (zh) * 2017-02-10 2017-05-31 北京地平线信息技术有限公司 目标检测方法、装置和电子设备
CN108734967A (zh) * 2017-04-20 2018-11-02 杭州海康威视数字技术股份有限公司 违章车辆监控方法、装置及系统
CN107134172A (zh) * 2017-07-12 2017-09-05 嘉兴寰知科技有限公司 停车场停车监控识别系统及其方法
CN107657813A (zh) * 2017-09-21 2018-02-02 中交第二公路勘察设计研究院有限公司 基于行车轨迹的高速公路交通执法判别方法
CN108288386A (zh) * 2018-01-29 2018-07-17 深圳信路通智能技术有限公司 基于视频的路内停车跟踪方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870551A (zh) * 2021-08-16 2021-12-31 清华大学 一种能够鉴别危险和非危险驾驶行为的路侧监控系统
CN114222041A (zh) * 2021-12-06 2022-03-22 山东省地质矿产勘查开发局八〇一水文地质工程地质大队 一种地下空间安全防控系统及方法
CN114419555A (zh) * 2022-01-19 2022-04-29 广东飞达交通工程有限公司 一种基于深度卷积神经网络的道路交通目标跟踪方法
CN116091899A (zh) * 2023-04-12 2023-05-09 中国铁塔股份有限公司 车辆跟踪方法、系统、装置、电子设备及可读存储介质
CN116091899B (zh) * 2023-04-12 2023-06-23 中国铁塔股份有限公司 车辆跟踪方法、系统、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN111696365A (zh) 一种车辆跟踪系统
US20180204335A1 (en) System for tracking object, and camera assembly therefor
CN104951775B (zh) 基于视频技术的铁路道口防护区域安全智能识别方法
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
US7889232B2 (en) Method and system for surveillance of vessels
CN108091142A (zh) 用于高速公路大场景下车辆违法行为跟踪识别和自动抓拍的方法
JP4363295B2 (ja) ステレオ画像による平面推定方法
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN104506800B (zh) 一种多方向电警摄像机场景合成及综合监控方法和装置
KR20200064873A (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
CN111914592B (zh) 多相机联合取证方法、装置及系统
KR102177655B1 (ko) Mvs 기반의 무인항공기를 갖춘 객체 추적 시스템
EP1560160A2 (en) A multiple camera system for obtaining high resolution images of objects
JP2010504711A (ja) 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法
KR101032495B1 (ko) 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和系统
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
KR20160109761A (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
CN110414392A (zh) 一种障碍物距离的确定方法及装置
CN112488022A (zh) 一种环视全景监控方法、装置及系统
JP4150223B2 (ja) 踏切監視装置および踏切監視方法
CN113420726B (zh) 基于俯视图像的区域去重客流统计方法
JP7274298B2 (ja) 撮像装置、撮像方法及び撮像プログラム
KR20230020184A (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922

RJ01 Rejection of invention patent application after publication