CN112037159B - 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统 - Google Patents

一种跨相机道路空间融合及车辆目标检测跟踪方法及系统 Download PDF

Info

Publication number
CN112037159B
CN112037159B CN202010742528.1A CN202010742528A CN112037159B CN 112037159 B CN112037159 B CN 112037159B CN 202010742528 A CN202010742528 A CN 202010742528A CN 112037159 B CN112037159 B CN 112037159B
Authority
CN
China
Prior art keywords
scene
image
camera
coordinates
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010742528.1A
Other languages
English (en)
Other versions
CN112037159A (zh
Inventor
王伟
唐心瑶
宋焕生
穆勃辰
李聪亮
梁浩翔
张文涛
雷琪
刘莅辰
戴喆
云旭
侯景严
贾金明
赵锋
余宵雨
靳静玺
王滢暄
崔子晨
赵春辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongtian Zhikong Technology Holding Co ltd
Original Assignee
Zhongtian Zhikong Technology Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongtian Zhikong Technology Holding Co ltd filed Critical Zhongtian Zhikong Technology Holding Co ltd
Priority to CN202010742528.1A priority Critical patent/CN112037159B/zh
Publication of CN112037159A publication Critical patent/CN112037159A/zh
Application granted granted Critical
Publication of CN112037159B publication Critical patent/CN112037159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，该方法进行两个交通场景的背景图像提取及场景标定，获得标定参数；分别划分场景拼接区域，设置长度、宽度方向像素距离比参数组，生成空白空间融合图像；将分场景中像素取出放入空白空间融合图像中，获得带有空间信息的融合图像；利用针对车辆数据集训练的深度神经网络Yolov3，在连续的图像序列中，对车辆目标进行检测获得二维包络模型参数，结合空间融合信息，完成跨相机车辆目标检测跟踪。本发明可适应包含公共区域的连续道路交通场景，利用摄像机标定完成跨相机道路空间融合，并结合深度神经网络提取场景中大量车辆目标完成跨相机车辆目标检测跟踪，实现简单且具有较高的通用性。

Description

一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
技术领域
本发明属于智能交通技术领域，具体涉及一种跨相机道路空间融合及车辆目标检测跟踪方法及系统。
背景技术
跨相机道路空间融合目前在虚拟现实和计算机视觉等领域得到了广泛应用，常见融合方法主要有专业设备采集和图像处理。前者能够得到较好的融合效果，但是设备昂贵，操作复杂，不利于推广；后者通过相机采集多幅包含公共区域的图像，运用图像融合等技术完成空间融合，这种方法成本低，融合效果较好，具有较好的应用型，是目前空间融合的主要方法。
图像融合技术通常需要依赖图像灰度、频域和特征信息。灰度信息实现简单，但是计算量较大，算法效率较低；频域信息对于场景之间仅存在平移的情况适应性较好，如果场景之间有旋转，会大大降低算法的效率；特征信息需要通过对场景之间寻找特征点对获得，算法效率与精度与提取的特征点对数量和准确定有很大关系。
发明内容
针对现有技术中的缺陷和不足，本发明提供了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，克服现有摄像头传感器监控范围有限等缺陷。
为达到上述目的，本发明采取如下的技术方案：
一种跨相机道路空间融合及车辆目标检测跟踪方法，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；
具体包括如下步骤：
步骤1，输入场景1和场景2交通场景背景图像p1和p2，视频帧图像序列组s1和s2；
步骤2，构建坐标系和模型，完成相机标定：从步骤1得到的背景图像p1和p2中提取消失点，建立相机模型和坐标系，世界坐标系包含x，y，z轴，图像坐标系包含u，v轴、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H1和H2，H表示二维图像与三维真实世界空间的映射关系矩阵；
步骤3，设置控制点标识道路区域范围：在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标为
Figure BDA0002607224830000021
和/>
Figure BDA0002607224830000022
图像坐标为/>
Figure BDA0002607224830000023
和/>
Figure BDA0002607224830000024
设场景2控制点世界坐标为/>
Figure BDA0002607224830000025
和/>
Figure BDA0002607224830000026
图像坐标为
Figure BDA0002607224830000027
和/>
Figure BDA0002607224830000028
其中/>
Figure BDA0002607224830000029
为场景1和2对应控制点在世界坐标系中x轴上的值，Y1 1，Y2 1，Y1 2，Y2 2为场景1和2对应控制点在世界坐标系中y轴上的值；/>
Figure BDA00026072248300000210
为场景1和2对应控制点在图像坐标系中u轴上的值，/>
Figure BDA00026072248300000211
为场景1和2对应控制点在图像坐标系中v轴上的值；
步骤4，生成带空间信息的道路空间融合图像Mp：
步骤4.1，设置控制参数组，划定Mp中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为rw(像素/mm)，长度方向距离像素比为rl(像素/mm)，生成的空间融合图像Mp的像素宽度为wrw，像素长度为
Figure BDA00026072248300000212
场景1部分对应像素长度为/>
Figure BDA00026072248300000213
场景2部分对应像素长度为/>
Figure BDA00026072248300000214
步骤4.2，生成空间融合图像Mp：分别遍历空间融合图像Mp中场景1部分像素
Figure BDA00026072248300000215
和场景2部分像素/>
Figure BDA00026072248300000216
对应场景1世界坐标/>
Figure BDA00026072248300000217
中取对应像素值至空间融合图场景1部分，对应场景2世界坐标/>
Figure BDA00026072248300000218
中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像Mp的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；
步骤4.3，解析空间信息：
(1)由融合图Mp上任一像素坐标(u，v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：
统一世界坐标：(v/rw，u/rl+Y1 1，0)
场景1世界坐标：
Figure BDA0002607224830000031
场景2世界坐标：
Figure BDA0002607224830000032
(2)由地面任意点世界坐标(X，Y，0)解析其在融合图Mp中图像坐标：
世界坐标在场景1中：
Figure BDA0002607224830000033
世界坐标在场景2中：
Figure BDA0002607224830000034
步骤5，跨相机目标检测：
使用道路车辆数据集训练的目标检测网络Yolov3，对步骤1的视频帧图像序列组s1和s2分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型：
Figure BDA0002607224830000035
上式中，
Figure BDA0002607224830000036
为第t个场景的第i帧图像，S为场景数，F为每个场景下的视频帧数，xtp，ytp分别为二维包围框左上角点在图像坐标u，v轴的值，w为二维包围框在图像中的像素宽度，h为二维包围框在图像中的像素高度，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(xtp+w/2，ytp+h)，先利用步骤2中的H矩阵将其转换为分场景中的世界坐标，再由步骤4转换至Mp中图像坐标，完成跨相机目标检测；
步骤6，跨相机目标跟踪：
在目标检测的基础上，对每个目标提取3个特征点进行跟踪，获得其图像坐标
Figure BDA0002607224830000037
其中，/>
Figure BDA0002607224830000038
为第i个特征点的图像坐标，xf，yf分别为特征点在图像坐标u，v轴的值；在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。
一种跨相机道路空间融合及车辆目标检测跟踪系统，该系统包括：
数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；
相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维-三维变换矩阵；
控制点标识道路区域设置模块，用于在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；
道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；
跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；
结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。
本发明与现有技术相比，有益的技术效果是：
本发明的方法实现简单，可以应用于包含公共区域的跨相机道路空间融合及车辆目标检测跟踪，保证道路监控环境下的通用性，满足智能交通监控系统中准确获取交通参数的需求。使用深度学习的方法对车辆目标进行检测的方法，因为其稳定性和精度都很高，具有较为广泛的应用。
附图说明
图1为本发明提供的跨相机道路空间融合及车辆目标检测跟踪的算法流程；
图2为本发明中摄像机模型的坐标系的示意图；其中，(a)为摄像机模型的世界坐标系的侧视图，(b)为摄像机模型的相机坐标系的俯视图；
图3为本发明中标定条件在坐标系下的表示示意图；其中，(a)为标定条件在世界坐标系下的表示示意图，(b)为标定条件在图像坐标系下的表示示意图；
图4为本发明实施例所采用的跨相机交通图像；
图5为本发明实施例中跨相机道路空间融合图像；
图6为本发明车辆目标二维包络框模型图；
图7为本发明实施例中跨相机车辆目标检测跟踪结果；
具体实施方式
以下对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，对跨相机车辆完成追踪；这些参数在道路环境中很容易获取，这充分保证了此方法在此场景下的通用性。
实施例1：
如图1至图7所示，本发明公开了一种跨相机道路空间融合及车辆目标检测跟踪方法及系统，详细步骤如下：
步骤1，输入场景1和场景2交通场景背景图像p1和p2，视频帧图像序列组s1和s2；其中，背景图像是指图像上不包含车辆目标的图像，视频帧图像是指相机采集的原始视频中提取出来的图像；
步骤2，构建坐标系、模型，完成摄像机标定。从步骤1得到的背景图像p1和p2中提取消失点，建立摄像机模型和坐标系(世界坐标系、图像坐标系)、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H1和H2；
参考论文《A Taxonomy and Analysis of Camera Calibration Methods forTraffic Monitoring Applications》的方法，如图2所示，建立摄像机模型、世界坐标系O-XYZ、相机坐标系O-XCYCZC、图像坐标系O-UV，摄像机模型简化为针孔模型，所建坐标系均为右手系，世界坐标系包含x，y，z轴，原点位于相机在路面的投影点，z轴垂直于地面方向向上，图2的(a)侧视图中可以看出，x轴指向纸内，用
Figure BDA0002607224830000051
表示，y轴垂直于xoz平面，图2的(b)俯视图中可以看出，z轴指向纸外，用⊙表示；相机坐标系包含xc，yc，zc，原点位于相机所处位置，xc轴与世界坐标系下的x轴平行，zc轴正向沿着相机的光轴指向地面，yc轴垂直于xcozc平面指向地面。图中的主点为r点，为zc轴延伸至与地面的交点，根据图2中的角度关系，r点在世界坐标系下的坐标为(0，hcotφ，0)；图像坐标系为图像平面坐标系，以r点为原点，水平向右为u轴，垂直向下为v轴。
相机标定参数为：设相机焦距为f，相机原点距离地面高度为h，相机俯仰角为φ，相机偏转角(相机光轴在路平面投影与道路延伸方向的夹角)为θ，由于相机自旋角可以通过简单的图像旋转进行表示，并且对于标定结果无影响，因此不予考虑。
由论文中的推导可知：
如图3所示，采用单个消失点标定的方法，设沿道路方向消失点坐标为(u0，v0)，垂直道路方向消失点坐标为(u1，v1)，l为道路中的一段物理距离，w为道路的物理宽度，有关于未知参量f的四次方程：
Figure BDA0002607224830000061
其中，为计算方便引入中间变量kV＝δτl/wv0，δ为道路物理宽度w在图像上对应的像素距离，τ＝(vf-v0)(vb-v0)/(vf-vb)，其中，vb和vf分别表示l的两个端点在图像坐标系中v轴对应的坐标值；
Figure BDA0002607224830000062
Figure BDA0002607224830000063
通过上述公式(1)至(3)计算得到相机标定参数。
设图像上任意一点的世界坐标为(x，y，z)，世界坐标系的点与图像坐标系的点的投影关系为：
Figure BDA0002607224830000064
Figure BDA0002607224830000065
Figure BDA0002607224830000066
Figure BDA0002607224830000067
其中，α为比例因子。
最终得到二维图像坐标与三维世界坐标之间的转换关系为：
Figure BDA0002607224830000068
步骤3，设置控制点标识道路区域范围。在p1和p2中分别设定2个控制点标识道路区域范围，控制点通常位于道路中线位置，设场景1控制点世界坐标为
Figure BDA0002607224830000069
和/>
Figure BDA00026072248300000610
图像坐标为/>
Figure BDA00026072248300000611
和/>
Figure BDA00026072248300000612
设场景2控制点世界坐标为/>
Figure BDA00026072248300000613
和/>
Figure BDA00026072248300000614
图像坐标为/>
Figure BDA00026072248300000615
和/>
Figure BDA00026072248300000616
步骤4，生成带空间信息的道路空间融合图像Mp。
步骤4.1，设置控制参数组，划定Mp中对应场景1和场景2部分像素范围。已知道路宽度为w(mm)，宽度方向像素距离比为rw(像素/mm)，长度方向距离像素比为rl(像素/mm)，生成的空间融合图像Mp的像素宽度为wrw，像素长度为
Figure BDA0002607224830000071
场景1部分对应像素长度为/>
Figure BDA0002607224830000072
场景2部分对应像素长度为/>
Figure BDA0002607224830000073
步骤4.2，生成空间融合图像Mp。分别遍历空间融合图像Mp中场景1部分像素
Figure BDA0002607224830000074
和场景2部分像素/>
Figure BDA0002607224830000075
对应场景1世界坐标/>
Figure BDA0002607224830000076
中取对应像素值至空间融合图场景1部分，对应场景2世界坐标/>
Figure BDA0002607224830000077
中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像Mp的生成；
步骤4.3，解析空间信息。
(1)由融合图Mp上任一像素(u，v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：
统一世界坐标：(v/rw，u/rl+Y1 1)
场景1世界坐标：
Figure BDA0002607224830000078
场景2世界坐标：
Figure BDA0002607224830000079
(2)由地面任意点世界坐标(X，Y，0)解析其在融合图Mp中图像坐标：
世界坐标在场景1中：
Figure BDA00026072248300000710
世界坐标在场景2中：
Figure BDA00026072248300000711
步骤5，跨相机目标检测。
使用道路车辆数据集训练的目标检测网络，对步骤1的视频帧图像序列组s1和s2分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型
Figure BDA00026072248300000712
Figure BDA00026072248300000713
表示第t个场景的第i帧图像，S表示场景数，F表示帧数，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(xtp+w/2，ytp+h)，先将其转换为分场景中的世界坐标，再由步骤4转换至Mp中图像坐标，即可完成跨相机目标检测。
步骤6，跨相机目标跟踪。
在目标检测的基础上，对每个目标提取3个特征点进行跟踪，3个特征点使用的是光流法进行特征点跟踪，获得其图像坐标
Figure BDA0002607224830000081
在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。
实施例2：
本实施例提供一种跨相机道路空间融合及车辆目标检测跟踪系统，该系统包括：
数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；
相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维-三维变换矩阵；
控制点标识道路区域设置模块，用于在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；
道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；
跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；
结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。
实施例3：
为了验证本发明所提出方法的有效性，本发明的一个实施例采用了以图4所示的一组实际道路交通场景图像，在此实际交通场景中识别出沿道路方向的单个消失点，并且对摄像机进行了标定。如图5所示，为采用本发明所提方法完成道路空间融合的结果图。在此基础上，通过深度网络的方法对视频帧序列组中的车辆目标进行检测，结合道路空间融合结果，完成跨相机车辆目标检测与跟踪，结果如图7所示。
实验结果表明，通过本方法完成的道路空间融合，具有较高的精度，能够较好的完成跨相机车辆目标检测与跟踪，实验结果如表1所示，实验结果说明本方法完全能够满足跨相机道路交通场景下车辆目标检测与跟踪的任务，该实验在一定程度上证明了本发明所提出方法的有效性。
表1跨相机车辆目标检测与跟踪结果
Figure BDA0002607224830000091

Claims (2)

1.一种跨相机道路空间融合及车辆目标检测跟踪方法，其特征在于，该方法使用相机标定技术对跨相机场景进行标定，利用跨相机场景中的公共区域完成道路空间融合，同时采用深度学习的方法对车辆目标进行检测，完成对跨相机车辆追踪；
具体包括如下步骤：
步骤1，输入场景1和场景2交通场景背景图像p1和p2，视频帧图像序列组s1和s2；
步骤2，构建坐标系和模型，完成相机标定：从步骤1得到的背景图像p1和p2中提取消失点，建立相机模型和坐标系，世界坐标系包含x,y,z轴，图像坐标系包含u,v轴、车辆目标在图像坐标系下的二维包络框模型，并结合消失点进行相机标定，得到相机标定参数H1和H2，H表示二维图像与三维真实世界空间的映射关系矩阵；
步骤3，设置控制点标识道路区域范围：在p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标为
Figure FDA0004023330500000011
和/>
Figure FDA0004023330500000012
图像坐标为/>
Figure FDA0004023330500000013
和/>
Figure FDA0004023330500000014
设场景2控制点世界坐标为/>
Figure FDA0004023330500000015
和/>
Figure FDA0004023330500000016
图像坐标为/>
Figure FDA0004023330500000017
和/>
Figure FDA0004023330500000018
其中/>
Figure FDA0004023330500000019
为场景1和2对应控制点在世界坐标系中x轴上的值，
Figure FDA00040233305000000110
为场景1和2对应控制点在世界坐标系中y轴上的值；/>
Figure FDA00040233305000000111
为场景1和2对应控制点在图像坐标系中u轴上的值，/>
Figure FDA00040233305000000112
为场景1和2对应控制点在图像坐标系中v轴上的值；
步骤4，生成带空间信息的道路空间融合图像Mp：
步骤4.1，设置控制参数组，划定Mp中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为rw(像素/mm)，长度方向距离像素比为rl(像素/mm)，生成的空间融合图像Mp的像素宽度为wrw，像素长度为
Figure FDA00040233305000000113
场景1部分对应像素长度为/>
Figure FDA00040233305000000114
场景2部分对应像素长度为/>
Figure FDA00040233305000000115
步骤4.2，生成空间融合图像Mp：分别遍历空间融合图像Mp中场景1部分像素
Figure FDA0004023330500000021
和场景2部分像素/>
Figure FDA0004023330500000022
对应场景1世界坐标/>
Figure FDA0004023330500000023
中取对应像素值至空间融合图场景1部分，对应场景2世界坐标/>
Figure FDA0004023330500000024
中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像Mp的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；
步骤4.3，解析空间信息：
(1)由融合图Mp上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：
统一世界坐标：(v/rw,u/rl+Y1 1,0)
场景1世界坐标：
Figure FDA0004023330500000025
场景2世界坐标：
Figure FDA0004023330500000026
(2)由地面任意点世界坐标(X,Y,0)解析其在融合图Mp中图像坐标：
世界坐标在场景1中：
Figure FDA0004023330500000027
世界坐标在场景2中：
Figure FDA0004023330500000028
步骤5，跨相机目标检测：
使用道路车辆数据集训练的目标检测网络Yolov3，对步骤1的视频帧图像序列组s1和s2分别进行目标检测，获得目标检测结果在图像坐标下的二维包络框模型：
Figure FDA0004023330500000029
上式中，
Figure FDA00040233305000000210
为第t个场景的第i帧图像，S为场景数，F为每个场景下的视频帧数，xtp,ytp分别为二维包围框左上角点在图像坐标u,v轴的值，w为二维包围框在图像中的像素宽度，h为二维包围框在图像中的像素高度，由二维包络框模型可以计算出车辆下底边中点在分场景中的图像坐标(xtp+w/2,ytp+h)，先利用步骤2中的H矩阵将其转换为分场景中的世界坐标，再由步骤4转换至Mp中图像坐标，完成跨相机目标检测；
步骤6，跨相机目标跟踪：
在目标检测的基础上，对每个目标提取3个特征点进行跟踪，获得其图像坐标
Figure FDA0004023330500000031
其中，/>
Figure FDA0004023330500000032
为第i个特征点的图像坐标，xf,yf分别为特征点在图像坐标u,v轴的值；在跨相机的重叠区域中，通过特征点关联匹配确定同一车辆，完成跨相机目标跟踪。
2.一种跨相机道路空间融合及车辆目标检测跟踪系统，其特征在于，该系统包括：
数据输入模块，用于输入需要拼接的多个交通场景背景图像和与场景对应的包含车辆的视频帧图像序列组；
相机标定模块，用于建立相机模型和坐标系、车辆目标在图像坐标系下的二维包络框模型，进行相机标定，获取相机标定参数和最终的场景二维—三维变换矩阵；
控制点标识道路区域设置模块，用于在背景图像p1和p2中分别设定2个控制点标识道路区域范围，控制点位于道路中线位置，设场景1控制点世界坐标和图像坐标；设场景2控制点世界坐标和图像坐标；
道路空间融合模块：用于在相机标定的基础上，设置场景控制点参数组，生成带有道路空间信息的融合图像；具体包括：
设置控制参数组，划定Mp中对应场景1和场景2部分像素范围；已知道路宽度为w(mm)，宽度方向像素距离比为rw(像素/mm)，长度方向距离像素比为rl(像素/mm)，生成的空间融合图像Mp的像素宽度为wrw，像素长度为
Figure FDA0004023330500000033
场景1部分对应像素长度为
Figure FDA0004023330500000034
场景2部分对应像素长度为/>
Figure FDA0004023330500000035
生成空间融合图像Mp：分别遍历空间融合图像Mp中场景1部分像素
Figure FDA0004023330500000036
和场景2部分像素/>
Figure FDA0004023330500000037
对应场景1世界坐标/>
Figure FDA0004023330500000038
中取对应像素值至空间融合图场景1部分，对应场景2世界坐标/>
Figure FDA0004023330500000039
中取对应像素值至空间融合图场景2部分，如果分场景图中有像素则取出，没有则跳过，直到像素全部取完，即完成道路空间融合图像Mp的生成；其中取像素的方括号内为先u轴后v轴坐标，世界坐标的方括号内为先x轴后y轴坐标；
解析空间信息：
由融合图Mp上任一像素坐标(u,v)解析其在统一世界坐标系、场景1世界坐标系、场景2世界坐标系的世界坐标：
统一世界坐标：(v/rw,u/rl+Y1 1,0)
场景1世界坐标：
Figure FDA0004023330500000041
场景2世界坐标：
Figure FDA0004023330500000042
由地面任意点世界坐标(X,Y,0)解析其在融合图Mp中图像坐标：
世界坐标在场景1中：
Figure FDA0004023330500000043
世界坐标在场景2中：
Figure FDA0004023330500000044
跨相机车辆目标检测跟踪模块，用于使用深度学习目标检测Yolov3对视频帧图像中的车辆目标进行检测，检测结果包括车辆目标在二维包络框模型下的二维坐标信息以及车辆目标的车辆类别；在车辆目标检测的基础上，对目标提取特征点完成跟踪；将单场景目标检测跟踪结果映射至道路空间融合图像，完成跨相机车辆目标检测跟踪；
结果输出模块，将生成带有空间信息的融合图像、车辆目标检测跟踪结果输出，得到跨相机车辆目标检测跟踪结果。
CN202010742528.1A 2020-07-29 2020-07-29 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统 Active CN112037159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010742528.1A CN112037159B (zh) 2020-07-29 2020-07-29 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010742528.1A CN112037159B (zh) 2020-07-29 2020-07-29 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN112037159A CN112037159A (zh) 2020-12-04
CN112037159B true CN112037159B (zh) 2023-06-23

Family

ID=73583445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010742528.1A Active CN112037159B (zh) 2020-07-29 2020-07-29 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN112037159B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409601B (zh) * 2021-07-14 2021-12-31 深圳市广联智通科技有限公司 基于信息智能分析的信号灯控制方法、装置、设备及介质
CN113450389B (zh) * 2021-09-01 2021-12-10 智道网联科技(北京)有限公司 一种目标跟踪方法、装置及电子设备
CN114543680B (zh) * 2022-02-18 2022-12-02 国网湖北省电力有限公司电力科学研究院 一种架空输电线路通道施工车辆现场监测及测距方法
CN114822036B (zh) * 2022-05-16 2024-06-14 山东万物生机械技术有限公司 一种多路况防追尾的车辆智能化调控方法
CN114758511B (zh) * 2022-06-14 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种跑车超速检测系统、方法、电子设备及存储介质
CN115100290B (zh) * 2022-06-20 2023-03-21 苏州天准软件有限公司 交通场景下的单目视觉定位方法及装置、设备、存储介质
CN116402857B (zh) * 2023-04-14 2023-11-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN101950426A (zh) * 2010-09-29 2011-01-19 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
WO2016131300A1 (zh) * 2015-07-22 2016-08-25 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
CN109190508A (zh) * 2018-08-13 2019-01-11 南京财经大学 一种基于空间坐标系的多摄像头数据融合方法
EP3566903A1 (en) * 2018-05-09 2019-11-13 Neusoft Corporation Method and apparatus for vehicle position detection
CN110930365A (zh) * 2019-10-30 2020-03-27 长安大学 一种交通场景下的正交消失点检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN101950426A (zh) * 2010-09-29 2011-01-19 北京航空航天大学 一种多摄像机场景下车辆接力跟踪方法
WO2016131300A1 (zh) * 2015-07-22 2016-08-25 中兴通讯股份有限公司 一种自适应跨摄像机多目标跟踪方法及系统
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
EP3566903A1 (en) * 2018-05-09 2019-11-13 Neusoft Corporation Method and apparatus for vehicle position detection
CN109190508A (zh) * 2018-08-13 2019-01-11 南京财经大学 一种基于空间坐标系的多摄像头数据融合方法
CN110930365A (zh) * 2019-10-30 2020-03-27 长安大学 一种交通场景下的正交消失点检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Real-time scheme for 3-dimensional localizing and tracking of people in multiple camera settings;Moonsub Byeon et al;《2017 17th International Conference on Control, Automation and Systems (ICCAS)》;20171214;全文 *
基于场景模型的多摄像机目标跟踪算法;邓颖娜等;《计算机工程与应用》;20080211(第05期);全文 *
基于相机标定的跨相机场景拼接方法;武非凡等;《计算机系统应用》;20200115(第01期);全文 *

Also Published As

Publication number Publication date
CN112037159A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112037159B (zh) 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110148169B (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN109034047B (zh) 一种车道线检测方法及装置
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
Kurka et al. Applications of image processing in robotics and instrumentation
EP1394761B1 (en) Obstacle detection device and method therefor
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN110307791B (zh) 基于三维车辆边界框的车辆长度及速度计算方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN112902874B (zh) 图像采集装置及方法、图像处理方法及装置、图像处理系统
CN110930365B (zh) 一种交通场景下的正交消失点检测方法
CN111443704B (zh) 用于自动驾驶系统的障碍物定位方法及装置
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
CN112232275A (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
CN110197104B (zh) 基于车辆的测距方法及装置
CN112116644B (zh) 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN111008557A (zh) 一种基于几何约束的车辆细粒度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230529

Address after: Floors 2-14, Building 2, Development Building, No. 66 Lingrong Street, Lingkun Street, Oujiangkou Industrial Cluster Zone, Wenzhou City, Zhejiang Province, 325000

Applicant after: Zhongtian Zhikong Technology Holding Co.,Ltd.

Address before: 710064 No. 126 central section of South Ring Road, Yanta District, Xi'an, Shaanxi

Applicant before: CHANG'AN University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant