CN110555423B - 基于多维运动摄像机的航拍视频的交通参数提取方法 - Google Patents

基于多维运动摄像机的航拍视频的交通参数提取方法 Download PDF

Info

Publication number
CN110555423B
CN110555423B CN201910849652.5A CN201910849652A CN110555423B CN 110555423 B CN110555423 B CN 110555423B CN 201910849652 A CN201910849652 A CN 201910849652A CN 110555423 B CN110555423 B CN 110555423B
Authority
CN
China
Prior art keywords
vehicle
video
frame
equation
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910849652.5A
Other languages
English (en)
Other versions
CN110555423A (zh
Inventor
李志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing East Control Intelligent Transportation Research Institute Co ltd
Original Assignee
Nanjing East Control Intelligent Transportation Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing East Control Intelligent Transportation Research Institute Co ltd filed Critical Nanjing East Control Intelligent Transportation Research Institute Co ltd
Priority to CN201910849652.5A priority Critical patent/CN110555423B/zh
Publication of CN110555423A publication Critical patent/CN110555423A/zh
Application granted granted Critical
Publication of CN110555423B publication Critical patent/CN110555423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于多维运动摄像机的航拍视频的交通参数提取方法。该方法框架包括四个步骤，首先采用时间上强大的全局运动补偿方法来补偿无人机摄相机移动并获得视频中稳定的背景。然后，应用核化相关滤波器快速准确地跟踪车辆。之后，我们使用霍夫线检测来找出视频中的参考标记，并将检测到的参考标记的实际长度映射到无人机视频中的图像长度。最后，使用先前步骤的输出估计交通流中的个体车辆速度，车头时距和车头间距等微观交通参数。将此方法应用于三个不同的航拍视频进行实验。实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果。

Description

基于多维运动摄像机的航拍视频的交通参数提取方法
技术领域
本发明属于图像处理领域，尤其涉及一种基于多维摄像机运动的航拍视频微观交通参数提取的方法。
背景技术
获取高速公路上的交通参数对于交通状况监测，交通流量分析以及实时交通控制和管理非常重要。获取交通数据资源包括环路检测器，交通监控视频，雷达和浮动车法。上述数据收集设备通常部署在固定位置。浮动车的方法也非常耗费人力和时间。
随着无人机的日益普及，无人机提供了一种以更具成本效益的方式提取交通信息的新方法。然而，从无人机视频中提取交通参数的主要挑战在于无人机摄像机可能处于多维度的移动状态，摄像机运动导致图像中相对坐标的改变，这使得难以估计精确的车辆位移。以前的研究采用了不同的方法从无人机视频中提取交通参数，但仅限于无人机做简单的横纵向水平移动和无人机从上到下或以固定的拍摄角度在鸟瞰图中拍摄的情况下适用。当无人机摄像机随着拍摄角度的变化而在其他维度上移动时，先前提出的方法可能无法正常使用。
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供一种基于多维运动摄像机的航拍视频的交通参数提取方法，以实现对具有多维摄像机运动的航拍视频微观交通参数的准确估计。
技术方案：本发明所述基于多维运动摄像机的航拍视频的交通参数提取方法，包括如下步骤：
步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；
a1、关键帧的对齐
给定一组M个无人机视频关键帧，记为i∈K＝{k1，...kM}，基于关键点的关键帧凝固方法，被表述为以下优化问题：
min{pi}∈＝∑i∈k[ei(pi)]Tθ(i)[ei(pi)] (1)
其中：
pi是将第i帧的坐标转换为全局运动补偿坐标的变换参数；ei(pi)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；θ(i)为权矩阵；
在p周围采用一阶泰勒展开来线性化方程式(1)，给定初始p，目标是通过以下方程式估算Δp：
Figure GDA0003336511110000021
其中：
Figure GDA0003336511110000022
是正则化项；正常数β为设置权衡；
使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：
Figure GDA0003336511110000023
Figure GDA0003336511110000024
使用链式法则，有
Figure GDA0003336511110000025
凝固结果具有两个分量，即W＝(Wx，Wy)，其中Wx表示链路起点和终点的变形x坐标，Wy表示链路起点和终点的变形y坐标；已知ei的前半部分只包含x元素，其余只包含y元素，得到方程式(5)：
Figure GDA0003336511110000026
其中1Mi是Mi维向量，且所有元素都是1；0Mi是Mi维向量，且所有元素都是0；对于单应性转换如方程式(6)：
Figure GDA0003336511110000027
在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点，同样，关键帧i上所有链接的终点也会更新；
a2、非关键帧的对齐
对于关键帧ki和ki+1之间的非关键帧j，其对齐是方程式(1)的特殊情况，记K＝{j}，并且链路的终点
Figure GDA0003336511110000028
即只有帧j的pi被更新，而关键帧保持不变，关键帧ki和ki+1之间的每个非关键帧是独立对齐的；
对于无人机视频中的每个关键帧，量化从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐，在对齐误差很小，即
Figure GDA0003336511110000029
Figure GDA00033365111100000210
为每个关键帧i创建一个可靠性图，表示为Ri，将具有
Figure GDA00033365111100000211
和σk＝csk的高斯函数叠加在Ri上：
Figure GDA0003336511110000031
其中：
Figure GDA0003336511110000032
η＞0，且是一个小的常数；
Figure GDA0003336511110000039
参数n和m分别是无人机视频中的帧和关键帧的编号；
对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠；
步骤二：使用核化相关滤波器的方法进行车辆跟踪；
b1、给定来自无人机视频的一组训练车辆模式和标签(xi，yi)，...，(xm，ym)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)，车辆跟踪算子的形式为V(x)＝<t，x>+b，符号<·，·>为点积算子，用于训练车辆跟踪算子的最小化问题，如下式所示：
Figure GDA0003336511110000033
其中：L(y，V(x))为损失函数；λ为控制正则化的数量；
b2、使用函数
Figure GDA0003336511110000034
将输入车辆模式映射到特征空间，函数
Figure GDA0003336511110000035
由核
Figure GDA0003336511110000036
Figure GDA0003336511110000037
定义，方程式(8)的解是输入
Figure GDA0003336511110000038
的线性组合，封闭形式的解如下所示：
α＝(G+λI)-1y (9)
其中：G为具有元素Gij＝g(xi，xj)的核矩阵，参数I为单位矩阵，y为yi的组合；用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为αi；
b3、连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(P′)，由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算；计算式如下所示：
C(p′)q＝F-1(F*(p′)⊙F(q)) (10)
其中：符号⊙是元素乘积运算；F和F-1分别表示傅里叶变换和傅里叶逆变换；符号*为复共轭运算；
b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为xi，如下式表示：
Figure GDA0003336511110000041
其中：P是置换矩阵，每次将向量循环移位一个元素；密集车辆样本xi为单个无人机视频帧x中的所有可能的转化形式；
为得到方程(9)的最优解，定义带元素的向量q，表达式如下所示：
Figure GDA0003336511110000042
其中：用gi简易的表示核矩阵G＝C(g)；
b5、在所有运算被转换为傅里叶域的前提下，在向量p′上以元素方式对形式为C(P′)的矩阵实现运算，得到方程式(9)的最优解，如下式所示：
Figure GDA0003336511110000043
其中，除法运算以元素方式实现；
b6、根据等式(12)和(13)的解，核化相关滤波器算法在每个无人机视频帧中找到目标车辆，确定对分类算子V(x)具有最大响应的图像区域，其作为当前无人机视频帧中的车辆跟踪结果；
步骤三：将图像长度映射成实际长度；
从上述步骤，获得连续帧之间车辆运动的图像长度，使用霍夫变换来检测无人机视频中的车道分离器，作为参考标记，由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，由此建立图像长度和实际长度之间的关系，从每个无人机帧中检测两个车道的边界，记为CC′段和EE′段，以及车道分离器，记为DD′段，由于倾斜的摄像机角度，在无人机视频帧中的两车道边界于某个点处相交，该交点记为点T，从点T处，获得两条线段TC′和TE′，作为新标记的车道边界，再分别在线段TC′和TE′中标记点U和V；
c1、在线段UV中找到DD′投影，记为D′D″，已知了线段DD′的图像长度和实际长度，通过以下方程得到线段D′D″的实际长度：
Figure GDA0003336511110000044
其中：
lenphy(DD′)是线段DD′的实际长度，从道路设计手册中得到；
lenimg(DD′)是线段DD′的图像长度；
lenphy(D′D″)是线段D′D″的实际长度；
lenimg(D′D″)是线段D′D″的图像长度；
c2、根据线段D′D″的实际长度和像素距离，通过以下方程式得到线段UV的实际长度：
Figure GDA0003336511110000051
其中：
lenphy(UV)是线段UV的实际长度；
lenimg(UV)是线段UV的图像长度；
c3、对于任意给定的车辆位置P，找到等腰三角形ΔTU′V′，其中线段U′V′与UV平行，且车辆位置P落在U′V′段，U′V′为ΔTU′V′非等腰边。通过以下方程式获得车辆在P处的像素的实际长度：
Figure GDA0003336511110000052
其中：
lenphy(U′V′)是线段U′V′的实际长度，等于lenphy(UV)；
lenphy(P)是车辆在点P处的像素的实际长度；
步骤四：交通流参数估计；
d1、对于车速的估算，用Pt和Ps分别表示在第t帧和第s帧的车辆位置，车辆移动距离，即图像长度，可以通过方程式(17)计算：
Figure GDA0003336511110000053
其中：
Pt(x)和Pt(y)分别表示第t帧时车辆的x坐标和y坐标；
Ps(x)和Ps(y)分别表示第s帧时车辆的x坐标和y坐标；
d2、获得点Pt和Ps处的实际长度，分别记为lt和ls，车辆移动距离，即实际长度和车速可以通过以下方程式(18)(19)计算：
Figure GDA0003336511110000054
Figure GDA0003336511110000061
其中：
Tf为第t帧和第s帧的时间间隔；
d3、再估计无人机视频中的车头间距时，用
Figure GDA0003336511110000062
和
Figure GDA0003336511110000063
表示两相邻车辆的位置，通过方程式(19)，可以计算出两相邻车辆之间的距离
Figure GDA0003336511110000064
计算
Figure GDA0003336511110000065
和
Figure GDA0003336511110000066
的实际长度，分别记为l1和l2，通过以下方程式(20)估算两相邻车辆的车头间距：
Figure GDA0003336511110000067
d4、通过方程式(19)(20)，获得车辆速度Vf和车头间距Hspace，再通过以下方程式估算两相邻车辆的车头时距：
Figure GDA0003336511110000068
本发明进一步优选的方案为，步骤二中，计算输入无人机视频帧z的分类算子响应的通用公式为：
y′＝∑iαig(xi，z) (22)
在所有位置具有响应的向量由下式给出：
Figure GDA0003336511110000069
其中：
Figure GDA00033365111100000610
为含有元素
Figure GDA00033365111100000611
的向量；向量
Figure GDA00033365111100000612
的最大值是当前无人机帧中的跟踪车辆区域。
作为优选地，步骤三中，在线段TC′和TE′上标记点U和V时，点U和V满足以下两个条件：(1)TU段的图像长度等于TV段的图像长度；(2)点D′落入线段UV上。
作为优选地，步骤三中对于任意给定的车辆位置P，找到的等腰三角形ΔTU′V′，满足以下两个条件：(1)给定的线段U′V′与UV平行；(2)车辆位置P落在U′V′段。
有益效果：本发明提出了一种基于多维摄像机运动的航拍视频微观交通参数提取的方法，该方法包括四个步骤，涉及背景稳定，车辆跟踪，参考标记长度计算和交通参数估算。首先采用时间上强大的全局运动补偿(temporally robust global motioncompensation，TRGMC)方法来补偿无人机摄相机移动并获得视频中稳定的背景，然后，应用核化相关滤波器(kemelized correlation filter，KCF)快速准确地跟踪车辆，之后，使用霍夫(Hough)线检测来找出视频中的参考标记，并将检测到的参考标记的实际长度映射到无人机视频中的图像长度。最后，使用先前步骤的输出估计交通流中的个体车辆速度，车头时距和车头间距等微观交通参数。将此方法应用于三个不同的航拍视频进行实验，实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果，实现对具有多维摄像机运动的航拍视频微观交通参数的准确估计，解决现有技术中当无人机摄像机随着拍摄角度的变化而在其他维度上移动时无法正常获取交通参数的缺陷。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
实施例1：一种基于多维运动摄像机的航拍视频的交通参数提取方法，包括以下几个步骤：
步骤一：使用时间上强大的全局运动补偿(temporally robust global motioncompensation，TRGMC)方法获得视频中的稳定背景。具体步骤为：
a1、关键帧的对齐
给定一组M个无人机视频关键帧，记为i∈K＝{k1，...kM}，基于关键点的关键帧凝固方法，被表述为以下优化问题：
min{pi}∈＝∑i∈k[ei(pi)]Tθ(i)[ei(pi)] (1)
其中：
pi是将第i帧的坐标转换为全局运动补偿坐标的变换参数；
ei(pi)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；
θ(i)为权矩阵；
方程式(1)是一个难以最小化的非线性优化问题。通过在p周围采用一阶泰勒展开来线性化该等式。给定初始p，目标是通过以下方程式估算Δp：
Figure GDA0003336511110000071
其中：
Figure GDA0003336511110000072
是正则化项；
正常数β为设置权衡；
使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：
Figure GDA0003336511110000081
Figure GDA0003336511110000082
使用链式法则，有
Figure GDA0003336511110000083
考虑到凝固结果具有两个分量，即W＝(Wx，Wy)，其中Wx表示链路起点和终点的变形x坐标。Wy与Wx类似。已知ei的前半部分只包含x元素，其余只包含y元素，可以得到方程式(5)如下所示：
Figure GDA0003336511110000084
其中1Mi是Mi维向量，且所有元素都是1；0Mi是Mi维向量，且所有元素都是0。对于单应性转换如下所示：
Figure GDA0003336511110000085
在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点。同样，关键帧i上所有链接的终点也会更新。
a2、非关键帧的对齐
上述步骤的输出提供一组时间上一致的无人机视频运动补偿帧，是对齐非关键帧的基础。分别用上标i和j来指代无人机视频关键帧和非关键帧。对于关键帧ki和ki+1之间的非关键帧j，其对齐是方程式(1)的特殊情况。记K＝{j}，并且链路的终点
Figure GDA0003336511110000086
即只有帧j的pi被更新，而关键帧保持不变。关键帧ki和ki+1之间的每个非关键帧是独立对齐的。
对于无人机视频中的每个关键帧，可以量化了从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐。如果对齐误差很小，即
Figure GDA0003336511110000087
Figure GDA0003336511110000088
则链路k更可能在第i帧的背景上，因此，对非关键帧对齐更可靠。为每个关键帧i创建一个可靠性图，表示为Ri。对于具有
Figure GDA0003336511110000089
的每个链路k，将具有
Figure GDA00033365111100000810
和σk＝csk的高斯函数叠加在Ri上。定义为：
Figure GDA0003336511110000091
其中：
Figure GDA0003336511110000092
η＞0，且是一个小的常数；
Figure GDA0003336511110000099
和
Figure GDA00033365111100000910
参数n和m分别是无人机视频中的帧和关键帧的编号；
对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠。
步骤二：使用核化相关滤波器(kernelized correlation filter，KCF)方法进行车辆跟踪。
具体步骤为：
b1、给定来自无人机视频的一组训练车辆模式和标签(xi，yi)，...，(xm，ym)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)。车辆跟踪算子的形式为V(x)＝<t，x>+b，符号<·，·>为点积算子。用于训练车辆跟踪算子的最小化问题，如下式所示：
Figure GDA0003336511110000093
其中：
L(y，V(x))为损失函数；
λ为控制正则化的数量；
b2、使用函数
Figure GDA0003336511110000094
将输入车辆模式映射到特征空间，函数
Figure GDA0003336511110000095
由核
Figure GDA0003336511110000096
Figure GDA0003336511110000097
定义。方程式(8)的解是输入
Figure GDA0003336511110000098
的线性组合。封闭形式的解如下所示：
α＝(G+λI)-1y (9)
其中：
G为具有元素Gij＝g(xi，xj)的核矩阵，
参数I为单位矩阵，
y为yi的组合；
用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为αi。
b3、为了实现有效的车辆跟踪，通过连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)。由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算。计算式如下所示：
C(p′)q＝F-1(F*(p′)⊙F(q)) (10)
其中：
符号⊙是元素乘积运算；
F和F-1分别表示傅里叶变换和傅里叶逆变换；
符号*为复共轭运算；
b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为xi，如下式表示：
Figure GDA0003336511110000101
其中：
P是置换矩阵，每次将向量循环移位一个元素；
密集车辆样本xi为单个无人机视频帧x中的所有可能的转化形式；
为得到方程(9)的最优解，还定义了带元素的向量g，表达式如下所示：
Figure GDA0003336511110000102
其中：
用gi简易的表示核矩阵G＝C(g)；
b5、在所有运算被转换为傅里叶域的前提下，可以在向量p’上以元素方式对形式为C(p′)的矩阵实现运算(例如乘法和反演)。可以得到方程式(9)的最优解，如下式所示：
Figure GDA0003336511110000103
其中，除法运算以元素方式实现。
b6、根据等式(12)和(13)的解，核化相关滤波器算法可以容易地在每个无人机视频帧中找到目标车辆。具体而言，核化相关滤波器方法能有效且快速地确定对分类算子V(x)具有最大响应的图像区域，其被认为是当前无人机视频帧中的车辆跟踪结果。
步骤三：将图像长度映射成实际长度
从上述步骤，可以获得连续帧之间车辆运动的图像长度。然后，使用霍夫(Hough)变换来检测无人机视频中的车道分离器，即是参考标记。由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，因此可以建立图像长度和实际长度之间的关系。从每个无人机帧中检测两个车道的边界(即CC′段和EE′段)和车道分离器(即DD′段)。尽管在现实中车道边界相互平行，但是由于倾斜的摄像机角度，它们在无人机视频帧中的某个点处相交。将交点记为点T，从点T处，可以获得两条线段TC′和TE′，它们是新标记的车道边界。根据几何知识，可以分别在线段TC′和TE′中找到点U和V。在线段TC′和TE′中找到的点U和V。它们满足以下两个条件：(1)TU段的图像长度等于TV段的图像长度；(2)点D′落入线段UV上。
c1、在线段UV中找到DD′投影，记为D′D″。已知了线段DD′的图像长度和实际长度，通过以下方程得到线段D′D″的实际长度。
Figure GDA0003336511110000111
其中：
lenphy(DD′)是线段DD′的实际长度，从道路设计手册中得到；
lenimg(DD′)是线段DD′的图像长度；
lenphy(D′D″)是线段D′D″的实际长度；
lenimg(D′D″)是线段D′D″的图像长度；
c2、根据线段D′D″的实际长度和像素距离，可以通过以下方程式得到线段UV的实际长度。
Figure GDA0003336511110000112
其中：
lenphy(UV)是线段UV的实际长度；
lenimg(UV)是线段UV的图像长度；
c3、对于任意给定的车辆位置P，可以找到等腰三角形ΔTU′V′，找到的等腰三角形ATU′V′，满足以下三个条件：(1)给定的线段U′V′与UV平行；(2)车辆位置P落在U′V′段；(3)U′V′为ΔTU′V′非等腰边。
可以通过以下方程式获得车辆在P处的像素的实际长度。
Figure GDA0003336511110000113
其中：
lenphy(U′V′)是线段U′V′的实际长度，等于lenphy(UV)；
lenphy(P)是车辆在点P处的像素的实际长度；
步骤四：交通流参数估计
车速，车头时距和车头间距是重要的微观交通参数，通过以下方式进行估算。
d1、对于车速的估算，用Pt和Ps分别表示在第t帧和第s帧的车辆位置。车辆移动距离，即图像长度，可以通过以下方程式计算。
Figure GDA0003336511110000121
其中：
Pt(x)和Pt(y)分别表示第t帧时车辆的x坐标和y坐标；
Ps(x)和Ps(y)分别表示第s帧时车辆的x坐标和y坐标；
d2、通过上述内容，获得点Pt和Ps处的实际长度，分别记为lt和ls。因此，车辆移动距离，即实际长度和车速可以通过以下方程式计算。
Figure GDA0003336511110000122
Figure GDA0003336511110000123
其中：
Tf为第t帧和第s帧的时间间隔；
d3、为了估计无人机视频中的车头间距，用
Figure GDA0003336511110000124
和
Figure GDA0003336511110000125
表示两相邻车辆的位置。通过方程式(19)，可以计算出两相邻车辆之间的距离
Figure GDA0003336511110000126
Figure GDA0003336511110000127
和
Figure GDA0003336511110000128
的实际长度可由上述方法计算，分别记为l1和l2。因此，可以通过以下方程式估算两相邻车辆的车头间距。
Figure GDA0003336511110000129
d4、通过方程式(19)(20)，获得车辆速度Vf和车头间距Hspace。因此能通过以下方程式估算两相邻车辆的车头时距。
Figure GDA00033365111100001210
进一步的，在本发明中，步骤二中计算输入无人机视频帧z的分类算子响应的通用公式为：
y′＝∑iαig(xi，z) (22)
通常在滑动窗口方式中在所有子窗口处评估该公式。但是，可以利用循环结构同时有效地计算所有响应。使用前面讨论的性质，在所有位置具有响应的向量由下式给出：
Figure GDA0003336511110000131
其中：
Figure GDA0003336511110000132
为含有元素
Figure GDA0003336511110000133
的向量；
向量
Figure GDA0003336511110000134
的最大值是当前无人机帧中的跟踪车辆区域。
本发明所提出的方法其框架是在MATLAB 2013平台上开发的。实验测试在具有Intel i5-2310CPU@2.9GHz处理器和6G内存的计算机上运行。
在本发明中，无人机摄像机运动由三个平移和三个旋转运动描述，描述如下：(1)在平行于道路的X轴上向前或向后移动，定义为激增；(2)在垂直于道路的Y轴上向左或向右移动，定义为摇摆；(3)在Z轴上上下移动，定义为起伏；(4)在X轴上左右转动，定义为滚动；(5)在Y轴上向前和向后转动，定义为投掷；(6)在Z轴上左右转动，定义为偏航；
对于实验数据采集，在天气和能见度良好的条件下，在南宁和南京的两条城市高速公路路段上方驾驶无人机进行视频拍摄。收集的视频数据信息如表1所示。
表1无人机航拍视频数据信息
Figure GDA0003336511110000135
为了取得良好的精度，对涉及的参数进行了设定。在背景稳定过程中，在TRGMC方法中测试了各种参数设置，发现其性能非常稳健。在本发明中，使用如下参数设置：帧差Δf＝10，关键点数量T1＝300，关键帧对齐误差τ1＝5×10-4，非关键帧和关键帧之间的对齐误差τ2＝10-4。
在车辆跟踪模块中的参数设置较为复杂。经过初步分析，发现填充因子Pf，内插因子lf和空间带宽Sbwth这三个参数对车辆跟踪模型有显著影响。考虑到精度和计算速度之间的权衡，最终使用以下参数设置：Pf＝1，lf＝2×10-3，Sbwth＝5×10-3。
使用上述部分中提出的方法从无人机视频中提取交通参数。为了验证所提出方法的性能，从无人机视频中手动提取地面真实交通数据。在每个视频帧中手动标记每个车辆实际中心的位置。图像距离由上述方程式计算，并转变为实际距离。利用估算的交通参数和地面实况数据，通过以下方程式计算交通参数估算的精度：
Figure GDA0003336511110000141
精度＝1-ε (25)
其中：
ε为误差；
y估算为估算值；
y实际为实际值；
根据本发明提出的方法框架，通过视频1采集的数据进行每个步骤的结果输出。
首先是获得无人机视频稳定背景。本发明提出的方法成功地补偿了无人机摄像机的运动，并且每帧中的背景像素保持几乎相同。
基于每帧中的跟踪车辆位置和参考标记信息，能从无人机视频中估算交通参数。对视频1中的所有帧执行上述步骤，并以0.5秒的时间间隔估算交通参数。交通参数的估算结果如表2所示。
表2视频1交通参数估算结果
Figure GDA0003336511110000142
同理，如上述步骤所示，以0.5秒的时间间隔估算视频2和视频3的交通参数。交通参数估算结果如表3，表4所示。
表3视频2交通参数估算结果
Figure GDA0003336511110000143
Figure GDA0003336511110000151
表4视频3交通参数估算结果
Figure GDA0003336511110000152
实验结果表明，该方法在估算车速，车头时距和车头间距等交通参数均获得较高的准确率，得到了较好的估算效果。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (3)

1.一种基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，包括如下步骤：
步骤一：使用全局运动补偿方法获得航拍视频中的稳定背景；
a1、关键帧的对齐
给定一组M个无人机视频关键帧，记为i∈K＝{k1,...kM}，基于关键点的关键帧凝固方法，被表述为以下优化问题：
min{pi}∈＝∑i∈k[ei(pi)]Tθ(i)[ei(pi)] (1)
其中：
pi是将第i帧的坐标转换为全局运动补偿坐标的变换参数；ei(pi)为收集关键帧i相对于组中所有其他无人机视频关键帧的成对对齐误差；θ(i)为权矩阵；
在p周围采用一阶泰勒展开来线性化方程式(1)，给定初始p，目标是通过以下方程式(2)估算Δp：
Figure FDA0003336511100000011
其中：
Figure FDA0003336511100000012
是正则化项；正常数β为设置权衡；
使方程式(2)的一阶导数为零，通过方程式(3)和(4)得到Δp的解：
Figure FDA0003336511100000013
Figure FDA0003336511100000014
使用链式法则，有
Figure FDA0003336511100000015
凝固结果具有两个分量，即W＝(Wx,Wy)，其中Wx表示链路起点和终点的变形x坐标，Wy表示链路起点和终点的变形y坐标；已知ei的前半部分只包含x元素，其余只包含y元素，得到方程式(5)：
Figure FDA0003336511100000016
其中1Mi是Mi维向量，且所有元素都是1；0Mi是Mi维向量，且所有元素都是0；对于单应性转换如方程式(6)：
Figure FDA0003336511100000017
在每次迭代时，对于每个无人机视频关键帧i计算Δp，并更新从关键帧i发出的所有链路的起点，同样，关键帧i上所有链接的终点也会更新；
a2、非关键帧的对齐
对于关键帧ki和ki+1之间的非关键帧j，其对齐是方程式(1)的特殊情况，记K＝{j}，并且链路的终点
Figure FDA0003336511100000021
即只有帧j的pi被更新，而关键帧保持不变，关键帧ki和ki+1之间的每个非关键帧是独立对齐的；
对于无人机视频中的每个关键帧，量化从关键帧i发出的链路与其他无人机视频关键帧的对齐程度，因此可以信任与非关键帧对齐，在对齐误差很小，即
Figure FDA0003336511100000022
Figure FDA0003336511100000023
为每个关键帧i创建一个可靠性图，表示为Ri，将具有
Figure FDA0003336511100000024
和σk＝csk的高斯函数叠加在Ri上，方程式(7)如下：
Figure FDA0003336511100000025
其中：
Figure FDA0003336511100000026
η>0，且是一个小的常数；
Figure FDA00033365111000000213
参数n和m分别是无人机视频中的帧和关键帧的编号；
对具有落在可靠性图区域中的终点的链路在相邻帧之间对齐无人机视频非关键帧时更可靠；
步骤二：使用核化相关滤波器的方法进行车辆跟踪；
b1、给定来自无人机视频的一组训练车辆模式和标签(xi，yi),…,(xm，ym)，通过找到最小化正规化风险的参数来训练车辆跟踪算子V(x)，车辆跟踪算子的形式为V(x)＝<t,x>+b，符号<·,·>为点积算子，用于训练车辆跟踪算子的最小化问题，如下式(8)所示：
Figure FDA0003336511100000027
其中：L(y,V(x))为损失函数；λ为控制正则化的数量；
b2、使用函数
Figure FDA0003336511100000028
将输入车辆模式映射到特征空间，函数
Figure FDA0003336511100000029
由核
Figure FDA00033365111000000210
Figure FDA00033365111000000211
定义，方程式(8)的解是输入
Figure FDA00033365111000000212
的线性组合，封闭形式的解如下方程式(9)所示：
α＝(G+λI)-1y (9)
其中：G为具有元素Gij＝g(xi,xj)的核矩阵，参数I为单位矩阵，y为yi的组合；用于车辆跟踪算子的解t由向量α隐性表示，其中α的每个元素为αi；
b3、连接p′的所有可能的循环移位，从n×1向量p′获得n×n循环矩阵C(p′)，由于乘积C(p′)q表示向量p′和q的卷积，因此可以通过在傅立叶域中计算；计算式(10)如下所示：
C(p′)q＝F-1(F*(p′)⊙F(q)) (10)
其中：符号⊙是元素乘积运算；F和F-1分别表示傅里叶变换和傅里叶逆变换；符号*为复共轭运算；
b4、给定单个无人机视频帧x，表示为n×1向量，密集跟踪车辆样本被定义为xi，如下式(11)表示：
Figure FDA0003336511100000031
其中：P是置换矩阵，每次将向量循环移位一个元素；密集车辆样本xi为单个无人机视频帧x中的所有可能的转化形式；
为得到方程(9)的最优解，定义带元素的向量g，表达式(12)如下所示：
Figure FDA0003336511100000032
其中：用gi简易的表示核矩阵G＝C(g)；
b5、在所有运算被转换为傅里叶域的前提下，在向量p′上以元素方式对形式为C(p')的矩阵实现运算，得到方程式(9)的最优解，如下式(13)所示：
Figure FDA0003336511100000033
其中，除法运算以元素方式实现；
b6、根据等式(12)和(13)的解，核化相关滤波器算法在每个无人机视频帧中找到目标车辆，确定对分类算子V(x)具有最大响应的图像区域，其作为当前无人机视频帧中的车辆跟踪结果；
步骤三：将图像长度映射成实际长度；
从上述步骤，获得连续帧之间车辆运动的图像长度，使用霍夫变换来检测无人机视频中的车道分离器，作为参考标记，由于道路上车道分隔器的实际长度是固定的，并且可以从道路设计标准手册中找到，由此建立图像长度和实际长度之间的关系，从每个无人机帧中检测两个车道的边界，记为CC′段和EE'段，以及车道分离器，记为DD'段，由于倾斜的摄像机角度，在无人机视频帧中的两车道边界于某个点处相交，该交点记为点T，从点T处，获得两条线段TC'和TE'，作为新标记的车道边界，再分别在线段TC'和TE'中标记点U和V；
c1、在线段UV中找到DD'投影，记为D'D”，已知了线段DD'的图像长度和实际长度，通过以下方程(14)得到线段D'D”的实际长度：
Figure FDA0003336511100000041
其中：
lenphy(DD′)是线段DD′的实际长度，从道路设计手册中得到；
lenimg(DD′)是线段DD′的图像长度；
lenphy(D′D″)是线段D′D″的实际长度；
lenimg(D′D″)是线段D′D″的图像长度；
c2、根据线段D'D”的实际长度和像素距离，通过以下方程式(15)得到线段UV的实际长度：
Figure FDA0003336511100000042
其中：
lenphy(UV)是线段UV的实际长度；
lenimg(UV)是线段UV的图像长度；
c3、对于任意给定的车辆位置P，找到等腰三角形ΔTU'V'，其中线段U'V'与UV平行，且车辆位置P落在U'V'段，U'V'为ΔTU'V'非等腰边；
通过以下方程式获得车辆在P处的像素的实际长度：
Figure FDA0003336511100000043
其中：
lenphy(U′V′)是线段U'V'的实际长度，等于lenphy(UV)；
lenphy(P)是车辆在点P处的像素的实际长度；
步骤四：交通流参数估计；
d1、对于车速的估算，用Pt和Ps分别表示在第t帧和第s帧的车辆位置，车辆移动距离，即图像长度，可以通过方程式(17)计算：
Figure FDA0003336511100000051
其中：
Pt(x)和Pt(y)分别表示第t帧时车辆的x坐标和y坐标；
Ps(x)和Ps(y)分别表示第s帧时车辆的x坐标和y坐标；
d2、获得点Pt和Ps处的实际长度，分别记为lt和ls，车辆移动距离，即实际长度和车速可以通过以下方程式(18)(19)计算：
Figure FDA0003336511100000052
Figure FDA0003336511100000053
其中：
Tf为第t帧和第s帧的时间间隔；
d3、再估计无人机视频中的车头间距时，用
Figure FDA0003336511100000054
和
Figure FDA0003336511100000055
表示两相邻车辆的位置，通过方程式(19)，可以计算出两相邻车辆之间的距离
Figure FDA0003336511100000056
计算
Figure FDA0003336511100000057
和
Figure FDA0003336511100000058
的实际长度，分别记为l1和l2，通过以下方程式(20)估算两相邻车辆的车头间距：
Figure FDA0003336511100000059
d4、通过方程式(19)(20)，获得车辆速度Vf和车头间距Hspace，再通过以下方程式估算两相邻车辆的车头时距：
Figure FDA00033365111000000510
2.根据权利要求1所述基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，步骤二中，计算输入无人机视频帧z的分类算子响应的通用公式为：
y′＝∑iαig(xi,z) (22)
在所有位置具有响应的向量由下式给出：
Figure FDA0003336511100000061
其中：
Figure FDA0003336511100000062
为含有元素
Figure FDA0003336511100000063
的向量；向量
Figure FDA0003336511100000064
的最大值是当前无人机帧中的跟踪车辆区域。
3.根据权利要求1所述基于多维运动摄像机的航拍视频的交通参数提取方法，其特征在于，步骤三中，在线段TC'和TE'上标记点U和V时，点U和V满足以下两个条件：(1)TU段的图像长度等于TV段的图像长度；(2)点D'落入线段UV上。
CN201910849652.5A 2019-09-09 2019-09-09 基于多维运动摄像机的航拍视频的交通参数提取方法 Active CN110555423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910849652.5A CN110555423B (zh) 2019-09-09 2019-09-09 基于多维运动摄像机的航拍视频的交通参数提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910849652.5A CN110555423B (zh) 2019-09-09 2019-09-09 基于多维运动摄像机的航拍视频的交通参数提取方法

Publications (2)

Publication Number Publication Date
CN110555423A CN110555423A (zh) 2019-12-10
CN110555423B true CN110555423B (zh) 2021-12-21

Family

ID=68739690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910849652.5A Active CN110555423B (zh) 2019-09-09 2019-09-09 基于多维运动摄像机的航拍视频的交通参数提取方法

Country Status (1)

Country Link
CN (1) CN110555423B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161545B (zh) * 2019-12-24 2021-01-05 北京工业大学 基于视频的交叉口区域交通参数统计方法
CN113920731B (zh) * 2021-10-12 2022-09-06 长安大学 一种基于无人机的交通运行风险实时识别方法
CN117830311B (zh) * 2024-03-05 2024-05-28 中山大学 医学影像图片分段和关键帧标识方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1832463B1 (en) * 2006-03-10 2012-08-01 Nissan Motor Co., Ltd. Vehicle headway distance control
CN109444912A (zh) * 2018-10-31 2019-03-08 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN109948582A (zh) * 2019-03-28 2019-06-28 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN110033479A (zh) * 2019-04-15 2019-07-19 四川九洲视讯科技有限责任公司 基于交通监控视频的交通流参数实时检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1832463B1 (en) * 2006-03-10 2012-08-01 Nissan Motor Co., Ltd. Vehicle headway distance control
CN109444912A (zh) * 2018-10-31 2019-03-08 电子科技大学 一种基于协同控制与深度学习的驾驶环境感知系统及方法
CN109948582A (zh) * 2019-03-28 2019-06-28 湖南大学 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN110033479A (zh) * 2019-04-15 2019-07-19 四川九洲视讯科技有限责任公司 基于交通监控视频的交通流参数实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-Speed Tracking with Kernelized Correlation Filters;Rui Caseiro et.al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20150331;第37卷(第3期);第583-596页 *
Temporally Robust Global Motion Compensation by Keypoint-Based Congealing;S. Morteza Safdarnejad et.al;《ECCV2016》;20161231;第101-109页 *

Also Published As

Publication number Publication date
CN110555423A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
CN111753797B (zh) 一种基于视频分析的车辆测速方法
CN109242884B (zh) 基于JCFNet网络的遥感视频目标跟踪方法
CN110555423B (zh) 基于多维运动摄像机的航拍视频的交通参数提取方法
EP2798611B1 (en) Camera calibration using feature identification
CN109919008A (zh) 运动目标检测方法、装置、计算机设备及存储介质
Yu et al. Motion pattern interpretation and detection for tracking moving vehicles in airborne video
WO2008020598A1 (fr) Dispositif et procédé de détection d&#39;un nombre d&#39;objets
CN105913459B (zh) 基于高分辨率连拍图像的运动目标检测方法
CN112329645B (zh) 图像检测方法、装置、电子设备及存储介质
Hinz et al. Car detection in aerial thermal images by local and global evidence accumulation
CN107730889B (zh) 一种基于交通视频的目标车辆检索方法
CN115131420A (zh) 基于关键帧优化的视觉slam方法及装置
US11935249B2 (en) System and method for egomotion estimation
CN111680713A (zh) 一种基于视觉检测的无人机对地目标跟踪与逼近方法
CN106228570A (zh) 一种真值数据确定方法和装置
CN108416798A (zh) 一种基于光流的车辆距离估计方法
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN104217442A (zh) 基于多模型估计的航拍视频运动目标检测方法
Zhao et al. Real-world trajectory extraction from aerial videos-a comprehensive and effective solution
Imad et al. Navigation system for autonomous vehicle: A survey
CN115482483A (zh) 一种交通视频目标跟踪装置、方法及存储介质
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
Li et al. Ground target tracking and trajectory prediction by UAV using a single camera and 3D road geometry recovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant