CN113671480B - 雷达与视频融合交通目标跟踪方法、系统、设备、终端 - Google Patents
雷达与视频融合交通目标跟踪方法、系统、设备、终端 Download PDFInfo
- Publication number
- CN113671480B CN113671480B CN202110781257.5A CN202110781257A CN113671480B CN 113671480 B CN113671480 B CN 113671480B CN 202110781257 A CN202110781257 A CN 202110781257A CN 113671480 B CN113671480 B CN 113671480B
- Authority
- CN
- China
- Prior art keywords
- radar
- target
- video
- data
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000013316 zoning Methods 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 abstract description 2
- 238000004220 aggregation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 33
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于交通目标跟踪技术领域，公开了一种雷达与视频融合交通目标跟踪方法、系统、设备、终端，确定单传感器目标跟踪问题：选择天桥测试场景进行雷达和视频的数据采集和分析；进行时空匹配：选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试；构建基于模糊集理论的雷达与视频融合算法：进行目标分类和模糊评判问题分类，确定目标判决准则。本发明选择两种常用的交通信息采集传感器毫米波雷达和摄像头，并提出基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪。
Description
技术领域
本发明属于交通目标跟踪技术领域，尤其涉及一种雷达与视频融合交通目标跟踪方法、系统、设备、终端。
背景技术
目前，智慧交通系统是通过在复杂环境下对各个道路交通信息进行采集，经过多信息融合，以达到全方位探测、感知及决策的目的。其中，交通信息采集是智慧交通系统的第一步，也是后续数据分析的基础。在交通信息的获取过程中主要需要解决的关键问题之一就是复杂环境下的多目标跟踪，而目标跟踪的准确性直接影响到后续智慧交通系统对交通状态的分析、判断及处理。
在实际的交通场景中，每个传感器在其感知性能上都存在一些优点及局限性。其中，毫米波雷达主要优势是全天候观测，可以在夜间或雨雪雾等复杂天气情况下进行工作，但它所采集的信息形式不直观，如果想要获取所检测目标的形态等更加细节化信息，往往需要更加复杂的信号处理算法，且可视性不强。摄像头的主要优势是获取的图像信息非常丰富，可根据应用需求进行信息提取，但摄像头在采集数据时受天气和光照的影响较大，并且对目标的速度等深度信息的获取能力弱，计算的数据量也较大，其处理速度和效率会相对较慢。
由于信息采集的复杂化，单一传感器数据量单薄无法实现智能交通系统的构建，且由于其自身构造和监测范围限制总会出现误检和漏跟的情况。多传感器融合技术模拟了人类大脑综合分析处理信息的过程，对各个传感器的信息进行排列整合、冗余互补等，最终得到所监测目标全方位、高准确率的观测信息。因此，亟需一种新的雷达与视频融合交通目标跟踪方法、系统、设备、终端。
通过上述分析，现有技术存在的问题及缺陷为：
(1)在交通信息的获取过程中主要需要解决的关键问题之一就是复杂环境下的多目标跟踪，而目标跟踪的准确性直接影响到后续智慧交通系统对交通状态的分析、判断及处理。
(2)毫米波雷达采集的信息形式不直观，如果想要获取所检测目标的形态等更加细节化信息，往往需要更加复杂的信号处理算法，且可视性不强。
(3)摄像头在采集数据时受天气和光照的影响较大，并且对目标的速度等深度信息的获取能力弱，计算的数据量也较大，其处理速度和效率会相对较慢。
(4)单一传感器数据量单薄无法实现智能交通系统的构建，且由于其自身构造和监测范围限制总会出现误检和漏跟的情况。
解决以上问题及缺陷的难度为：目前雷达与视频融合算法主要是通过特定场景进行设定的，不具有通用性，并且在交通管理领域中，对于基于雷达与视频融合的多目标跟踪的相关研究较少，仍处于起步阶段；对于不同维度下的两种传感器所采集的数据，时间空间的准确匹配存在难度；在融合时如何设计决策方案对目标进行准确判决存在难度。
解决以上问题及缺陷的意义为：针对单一传感器所出现的问题，多传感器融合技术不断显现出其中的优势，不仅能够应对海量数据处理的问题，还能对单传感器出现问题进行解决，因此进行信息间的相互辅助是必然的研究趋势，应用前景广阔。
发明内容
针对现有技术存在的问题，本发明提供了一种雷达与视频融合交通目标跟踪方法、系统、设备、终端。
本发明是这样实现的，一种雷达与视频融合交通目标跟踪方法，所述雷达与视频融合交通目标跟踪方法包括：
选择两种常用的交通信息采集传感器毫米波雷达和摄像头，并提出基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪。
进一步，所述雷达与视频融合交通目标跟踪方法包括以下步骤：
步骤一，确定单传感器目标跟踪问题：根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析，得出目标跟踪结果作为后续决策级融合算法的输入和对比数据；
步骤二，进行时空匹配：选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数，匹配完成后的数据能够在同一维度进行显示，保证了后续数据集融合的准确性；
步骤三，构建基于模糊集理论的雷达与视频融合算法：分别进行目标分类和模糊评判问题分类，并确定目标判决准则，根据判决准则解决或改善单传感器跟踪问题。
进一步，步骤二中，所述时空匹配包括时间匹配和空间匹配；其中，所述时间匹配，包括：
在数据测试时，雷达数据采集率为20帧/秒，视频数据采集率为60帧/秒。
在时间匹配方面首先进行起点对齐。混合高斯建模需要前30帧进行训练，因此雷达数据起始时间应晚于视频数据起始时间0.5秒，时间起点对齐后进行数据帧之间的匹配对应。
由于摄像头采集率大于雷达采集率且为整数倍，因此在采集雷达数据的时间戳上每间隔2帧对视频数据进行采样，以达到时间上的匹配。
进一步，所述空间匹配，包括：
空间匹配用于将两个不同维度的数据转换至同一坐标系中；交通目标信息采集时设备一般架设位置较高，会有一定的倾斜角度并向下监测，根据设定场景中的视角，设计空间坐标系转换方法；在空间坐标系转换过程中涉及到五个坐标系之间的转换，最终将雷达坐标系中的数据转换至像素坐标系中。
由于采集数据的场景及设备不同，雷达坐标系转换至世界坐标系的角度转换关系也有所不同，故根据设置的雷达坐标系及设备安装的高度及倾角信息进行两个坐标系的转换。
其中，雷达检测到目标的径向距离为s，角度为γ，则转换至二维雷达坐标系为：
xr＝s·sin(γ)
yr＝s·cos(γ)；
设雷达安装高度为h，雷达波束斜向下发射，设备倾斜角度为α，则θ满足：
假设世界坐标系原点与雷达坐标系相同，Xw轴与雷达坐标系的Xr轴方向相同，世界坐标系的Zw轴与雷达坐标系的Yr轴方向相同，根据几何角度关系，设定世界坐标系Yr轴垂直于雷达发射平面，方向向下，故雷达坐标系至世界坐标系转换关系如下式所示：
xw＝xr
yw＝yrsin(θ)
zw＝yrcos(θ)；
测试设备安装时雷达开发板与摄像机并排放置，偏移量小，世界坐标系与摄像机坐标系之间转换主要通过简单调试得出摄像机外部参数进行转换；其次，通过标定获得的摄像机内部参数进行摄像机坐标系至像素坐标系之间的转换。
在实际单目标测试场景中，传感器离地面高度h＝4.6m，倾斜角度α＝30°，摄像机内参为：
根据所求得参数进行空间坐标系转换。
将雷达数据进行转换后显示在像素坐标系中，雷达数据点迹和视频数据点迹经过匹配后基本重合；在视频画面中显示中，雷达点迹处于视频目标框中；根据匹配结果显示，两组数据集匹配成功，可进行后续融合。
进一步，步骤三中，所述目标分类，包括：
对于交通应用场景，针对测试过程中对某一车辆目标，包括以下三种情况：
(1)同时被雷达和视频画面检测到的目标
首先，如果此车辆目标能够同时被雷达和视频探测到说明此目标的运动区域为雷达和视频探测的重叠区域，雷达探测范围为120度扇面探测区域，摄像机视角为145度，涉及到决策融合问题一定是重叠区域中的雷达和视频数据。
(2)被毫米波雷达检测到的目标
毫米波雷达可探测到的分为有效目标和无效目标和待选择目标三部分。
有效目标主要为视频探测区域之外的目标，由雷达探测距离决定，如果雷达探测距离大于摄像机拍摄画面，则画面之外的目标均可以被雷达所捕获到；其次，在恶劣天气情况或画面抖动时，摄像头性能降低，所得数据不具有参考性；毫米波雷达工作能力不受天气情况影响，因此在雨、雪和雾在内的不良天气下准确的采集数据。
无效目标由周围建筑物、护栏或是树木导致的杂波，而雷达并不能区分探测到的目标是否为车辆目标。
待选择目标是同一辆车的多雷达反射点，需要进行判决选择有效目标信息。
(3)被视频探测到的目标
视频探测到的目标分为有效目标、无效目标和待选择目标。
有效目标主要是由于摄像机视角范围大于雷达，因此可探测到雷达的部分盲区。
无效目标是由于天桥上采集设备的抖动所致，根据视频图像处理时所训练的背景，画面的抖动后会将原本的背景认为是运动目标，因此在某几帧会突然出现大量杂波，而车辆目标的检测由于背景画面的晃动而变得不准确。
待选择目标是由车辆遮挡所造成的，在视频画面中，车辆行驶中画面可能造成重叠，导致图像处理时认为是一个目标，这个目标不能作为输出但有一定的参考价值。
针对三种情况，同时被雷达和视频探测到的目标结果可根据传统模糊集理论数据融合算法进行输出，对于第二种和第三种单传感器探测情况，需要重新进行判断，提取其中有效的目标信息进行输出，故提出一种决策冲突解决方法，即目标判决准则，通过分区域、分情况来对目标信息进行决策融合。
进一步，步骤三中，所述模糊评判问题分类，包括：
单传感器目标跟踪结果进行时空匹配后，作为融合输入的信息为两组传感器目标信息；其中，雷达目标信息包括：帧序号、目标ID、转换后像素坐标(u,v)以及目标速度，视频目标信息包括：帧序号、目标ID、质心坐标(x,y)、跟踪框左上角坐标及长宽；针对三种目标分类情况，以雷达目标点迹为主，计算与所有质心坐标的统计距离，并和统计距离最小的视频进行ID关联；其中，关联结果分为三种：
(a)一个雷达点对应一个视频目标；
(b)多个雷达点对应一个视频目标；
(c)未关联的视频目标。
其中，关联结果(a)即为同时被雷达和视频探测到的情况；关联结果(b)可能是多雷达反射点问题或目标分割问题导致的，一个目标框中出现多个雷达点迹结果；关联结果(c)主要为视频处理中杂波问题所导致。
根据三种关联结果，对所解决的问题进行分类，然后对目标进行决策级判决。对于问题的分类具有模糊性，引入模糊综合评判进行分类；假设因素集为C＝{cradar,ccamera}，即雷达与视频传感器检测准确性，根据多雷达点问题、目标分割问题及视频杂波问题可分为两大类，多对一问题及杂波问题，因此评语集可设为V＝{多对一情况，杂波情况}，然后根据如下步骤进行综合评判：
①针对每一帧数据关联情况，统计一对一关联结果，认为当一个雷达点对应一个视频点且相距较近时，这种结果为正确结果，因此得出其在总的雷达数据和视频数据中占据的比例，作为衡量雷达和视频传感器所占的权重，然后进行归一化处理后可得出模糊子集A；
②将剩下的数据点进行分类，分为多对一情况和杂波情况，多对一情况包括多雷达反射点问题及目标分割问题，计算出现此类问题的数据占总数中的比例，作为第i个传感器ui的单因素模糊评价ri＝(ri1,ri2,…,rin)，并根据单因素模糊评价可获得综合评价矩阵为R；
③求出模糊综合评价集B；
④根据隶属度最大原则选择评判结果，然后根据后续决策分类对所有数据进行判决得出最终结果；
根据综合评判的方式对每一帧所出现的问题进行区分，然后在进入不同的判决分支进行目标决策。
进一步，步骤三中，所述目标判决准则，包括：
根据目标数据关联时的模糊综合评判结果，融合决策时通过以下三个方面进行考虑：
(1)一个雷达点对应一个跟踪框的情况
由于在目标关联时是以雷达点迹为主对视频跟踪框进行关联的，遵循最小统计距离原则，因此可能会出现雷达杂波点关联有效跟踪框的情况，故根据隶属函数的确定原则，引入一种常用的模糊分布Z型隶属函数，将统计距离数值进行模糊化。
其中，d为统计距离，uij为雷达数据第i个目标和视频数据第j个目标统计距离的隶属函数，uij∈[0,1]，表示为：
当d∈[0,a)时，隶属函数uij＝1，两个车辆目标统计距离较近，则确定雷达和视频分别测得的这两个目标为同一目标；当d∈[a,b]时，隶属函数随着统计距离d的增大而减小，曲线拐点为x＝(a+b)/2处，此时隶属函数uij＝1/2，因此如果隶属函数小于1/2时，统计距离已经较远，不能进行关联，以排除雷达杂波关联视频跟踪框的情况；对于可关联的点迹，将两者的目标ID号进行标记，并转至下一帧进行计算，如果在后续三帧仍出现同样被标记的目标ID号组，则认为这组雷达和视频检测出的目标为同一目标，并对视频结果的目标跟踪框及雷达跟踪结果的目标ID和速度进行输出。
(2)多个雷达点对应一个跟踪框的情况
这类情况包括多雷达点问题和目标分割问题，根据设定距离阈值及速度阈值来区分这两类情况；多雷达反射点问题中，两个雷达点迹信息距离及速度相差不多，而目标分割问题中，两个雷达点迹距离相距较远，且速度值相差较大，因此根据设定两级综合阈值可对这两类问题进行判断，然后分别进行处理。
①多雷达反射点
针对目标反射的多个雷达点问题，若多个雷达点迹同时关联同一个跟踪框，计算多个雷达点与跟踪框对应的质心点之间的统计距离隶属度，根据隶属度的大小决定哪一点为真实有效的雷达点迹，然后对所有点迹对应的速度取平均值，输出此点迹ID序号及平均速度值作为此目标的信息结果，并将此雷达ID序号和视频ID序号进行关联，在多雷达点情况消失后仍保持此ID序号进行输出，直至目标消失在视频检测范围中。
②目标分割
针对车辆较近的目标分割问题，计算雷达点与质心点的统计距离隶属度，根据隶属度对视频矩形框的大小进行权重分配，并以雷达点迹为中心，视频数据框长度和宽度乘以权重作为目标框的长度和宽度，作融合后的目标跟踪框，目标ID序号以雷达监测结果进行输出。
(3)未关联的目标
未关联的目标主要包括视频数据杂波以及雷达杂波，由于雷达数据处理结果较好，因此出现雷达杂波的问题较少，是由于视频画面抖动而导致的视频杂波问题；针对此类问题，将已无参考价值的视频处理结果进行删除，并将雷达目标跟踪处理结果作为输出；以雷达点为中心作矩形框，矩形框的大小根据画面远近程度及视角进行调整，将雷达点迹ID序号及速度信息作为输出，并将此ID序号保留至目标离开雷达检测范围时，避免后续视频帧无杂波时目标ID序号改变的情况。
进行目标决策时，首先对所输入的雷达数据和视频数据进行目标数据关联，当关联结果为一一对应的情况时，根据所设定的统计距离隶属函数和1/2阈值对数据进行判断，判断成功输出融合结果；判断失败，转至综合评判模块；在进行综合模块评判后，对此帧所出现的问题进行分类，如果出现多对一情况则根据综合阈值判决对多雷达反射点及目标分割问题进行确定，然后根据目标判决准则，对目标结果进行输出；如果是视频杂波问题，则仅输出雷达数据结果。
本发明的另一目的在于提供一种应用所述的雷达与视频融合交通目标跟踪方法的雷达与视频融合交通目标跟踪系统，所述雷达与视频融合交通目标跟踪系统包括：
目标跟踪问题确定模块，用于确定单传感器目标跟踪问题，根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；
时空匹配模块，用于选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；
融合算法构建模块，用于构建基于模糊集理论的雷达与视频融合算法，分别进行目标分类和模糊评判问题分类，并确定目标判决准则。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
选择两种常用的交通信息采集传感器毫米波雷达和摄像头，并提出基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的雷达与视频融合交通目标跟踪系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的雷达与视频融合交通目标跟踪方法，选择了两种常用的交通信息采集传感器毫米波雷达和摄像头，并提出了一种基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪。
实验表明，测试场景1中，由于雷达对速度移动较慢的行人识别不精确，因此总体跟踪准确率较低，但由于目标较为分散且设备安装平台稳定无抖动，除去跟踪间断目标，视频跟踪准确率较高，根据融合算法排除少量目标遮挡情况，融合后跟踪准确率有所提升。测试场景2中，车辆目标行驶较为平稳，速度较快，且车辆行驶密集情况较少，雷达检测结果较为准确，由于天桥地面有轻微晃动导致视频数据无法使用，视频跟踪结果相比于雷达跟踪结果准确率较低，根据融合算法解决单传感器跟踪问题后跟踪率有所提升。测试场景3中，由于车辆密集程度较高，目标遮挡较为严重，因此，视频和雷达跟踪率都有所下降，融合算法跟踪率相比于前两个测试场景有所下降，但整体效果比单传感器跟踪效果好。根据以上三种测试场景的跟踪结果可以看出，融合算法相比于单传感器跟踪算法精确度较高且可靠性较强。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的雷达与视频融合交通目标跟踪方法流程图。
图2是本发明实施例提供的雷达与视频融合交通目标跟踪系统结构框图；
图中：1、目标跟踪问题确定模块；2、时空匹配模块；3、融合算法构建模块。
图3是本发明实施例提供的多雷达点问题示意图。
图4是本发明实施例提供的画面抖动杂波问题示意图。
图5(a)、图5(b)是本发明实施例提供的目标分割问题显示图像，其中图5(a)是距离较近情况示意图，图5(b)是二值化图像。
图6是本发明实施例提供的时空配准示意图。
图7是本发明实施例提供的坐标系转换关系示意图。
图8是本发明实施例提供的雷达-世界坐标系转换示意图。
图9是本发明实施例提供的测试设备示意图。
图10(a)、图10(b)是本发明实施例提供的匹配结果显示示意图，其中图10(a)是像素坐标系显示示意图，图10(b)是视频画面显示示意图。
图11是本发明实施例提供的雷达摄像头融合系统检测区域示意图。
图12是本发明实施例提供的目标信息示意图。
图13是本发明实施例提供的Z型隶属函数示意图。
图14是本发明实施例提供的改进的目标决策流程图。
图15是本发明实施例提供的天桥测试场景示意图。
图16(a)、图16(b)和图16(c)是本发明实施例提供的三种测试场景示意图，其中图16(a)是场景1示意图，图16(b)是场景2示意图，图16(c)是场景3示意图。
图17是本发明实施例提供的总体算法设计流程图。
图18(a)、图18(b)是本发明实施例提供的慢目标跟踪问题处理前后对比示意图，其中图18(a)是慢目标跟踪问题融合前的结果示意图，图18(b)是慢目标跟踪问题融合后的结果示意图。
图19(a)、图19(b)是本发明实施例提供的多雷达点问题处理前后对比示意图，其中图19(a)是多雷达点问题融合前的结果示意图，图19(b)是多雷达点问题融合后的结果示意图。
图20(a)、图20(b)是本发明实施例提供的视频杂波问题处理前后对比示意图，其中图20(a)是视频杂波问题融合前的结果示意图，图20(b)是视频杂波问题融合后的结果示意图。
图21(a)、图21(a)是发明实施例提供的目标分割问题处理前后对比示意图，其中图21(a)是目标分割问题融合前的结果示意图，图21(b)是目标分割问题融合后的结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种雷达与视频融合交通目标跟踪方法、系统、设备、终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的雷达与视频融合交通目标跟踪方法包括以下步骤：
S101，确定单传感器目标跟踪问题：根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；
S102，进行时空匹配：选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；
S103，构建基于模糊集理论的雷达与视频融合算法：分别进行目标分类和模糊评判问题分类，并确定目标判决准则。
如图2所示，本发明实施例提供的雷达与视频融合交通目标跟踪系统包括：
目标跟踪问题确定模块1，用于确定单传感器目标跟踪问题，根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；
时空匹配模块2，用于选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；
融合算法构建模块3，用于构建基于模糊集理论的雷达与视频融合算法，分别进行目标分类和模糊评判问题分类，并确定目标判决准则。
下面结合实施例对本发明的技术方案作进一步描述。
1、本发明选择了两种常用的交通信息采集传感器毫米波雷达和摄像头，并提出了一种基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪。
2、单传感器目标跟踪问题
根据本发明交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析。雷达和摄像头采集数据均为俯视角度，斜向下对交通道路上的车辆、非机动车、行人等交通目标进行监测。在单传感器采集数据进行目标跟踪时，观察到一些单传感器雷达或视频处理时存在的问题。
2.1单雷达目标跟踪问题
(1)可视化
雷达数据处理阶段可得到目标的位置、速度、角度等，但如果想要得知目标的形态及大小等信息，只通过对雷达数据进行处理是无法实现的，需要对雷达原始回波信号进行分析处理，往往需要更复杂的算法来进行实现。因此，如果想在已经获取雷达目标信息的基础上得到目标形态和大小等信息，可通过摄像头进行辅助。
(2)多反射点问题
在目标较大或较近的情况下，可能会出现多个雷达回波信息，如图3所示，此车辆目标视频处理结果由蓝色矩形框表示，目标ID为7，而雷达处理得到两个目标ID号13和8，速度相差不大且周围无其他目标，说明这两组雷达处理结果为同一目标的多雷达反射结果。
2.2单视频目标跟踪问题
(1)画面抖动杂波问题
在测试时由于桥面抖动造成画面出现大量杂波，主要原因是在进行背景训练时提取出的背景，在设备抖动时背景发生微小偏移，因此会将一些背景像素认为是前景目标进行框选，如图4所示，在视频画面右下角显示出多个非目标杂波。
(2)目标分割问题
由于摄像机视角的限制，在车辆出现阴影遮挡时，图像处理时形态学滤波消除了目标之间的细小连接，将两个前景区域连通为一个区域，如图5(b)所示，因此识别为同一个目标。如图5(a)所示，ID为75号的视频跟踪框框选了两辆车辆目标。
3、时空匹配
在多传感器融合系统中，需要对不同帧率及坐标系的数据进行时空匹配，以此将不同数据放置在同一个维度下进行后续的比较及融合。为了得到两个传感器之间准确的转换参数，本发明选择较为空旷且有高测试位置的场地，并对目标数量进行控制，采用单目标测试场景数据来进行坐标系匹配的调试。
3.1时间匹配
在数据测试时，雷达数据采集率为20帧/秒，视频数据采集率为60帧/秒。
在时间匹配方面首先需要进行起点对齐。混合高斯建模需要前30帧进行训练，因此雷达数据起始时间应晚于视频数据起始时间0.5秒。时间起点对齐后进行数据帧之间的匹配对应，数据帧匹配示意图如图6所示，三角图标表示视频时间戳，圆形图标表示雷达时间戳，菱形点标记部分为融合时间点。
由图6可知，由于摄像头采集率大于雷达采集率且为整数倍，因此在采集雷达数据的时间戳上每间隔2帧对视频数据进行采样，以达到时间上的匹配。
3.2空间匹配
空间匹配主要是为了将两个不同维度的数据转换至同一坐标系中。交通目标信息采集时设备一般架设位置较高，会有一定的倾斜角度并向下监测，根据设定场景中的视角，设计空间坐标系转换方法。在空间坐标系转换过程中主要涉及到五个坐标系之间的转换，最终将雷达坐标系中的数据转换至像素坐标系中，如图7所示。
由于采集数据的场景及设备不同，雷达坐标系转换至世界坐标系的角度转换关系也有所不同，因此，根据本发明设置的雷达坐标系及设备安装的高度及倾角等信息进行两个坐标系的转换，空间示意图如图8所示。
其中，雷达检测到目标的径向距离为s，角度为γ，则转换至二维雷达坐标系为：
xr＝s·sin(γ)
yr＝s·cos(γ)
设雷达安装高度为h，雷达波束斜向下发射，设备倾斜角度为α，则θ满足：
假设世界坐标系原点与雷达坐标系相同，Xw轴与雷达坐标系的Xr轴方向相同，世界坐标系的Zw轴与雷达坐标系的Yr轴方向相同，根据几何角度关系，设定世界坐标系Yr轴垂直于雷达发射平面，方向向下。因此，雷达坐标系至世界坐标系转换关系如下式所示：
xw＝xr
yw＝yr sin(θ)
zw＝yr cos(θ)
测试设备安装时雷达开发板与摄像机并排放置，偏移量小，如图9所示，世界坐标系与摄像机坐标系之间转换主要通过简单调试得出摄像机外部参数进行转换。其次，通过标定获得的摄像机内部参数进行摄像机坐标系至像素坐标系之间的转换。
在实际单目标测试场景中，传感器离地面高度h＝4.6m，倾斜角度α＝30°。摄像机内参为：
根据所求得参数进行空间坐标系转换，如图10(a)、图10(b)所示。
将雷达数据进行转换后显示在像素坐标系中，如图10(a)所示，红色点迹为雷达数据点迹，蓝色点迹为视频数据点迹，两条轨迹经过匹配后基本重合。如图10(b)所示，在视频画面中显示中，黄色矩形框为视频数据处理后的目标跟踪框，红色点迹为转换后的雷达点迹显示在画面的结果，雷达点迹处于视频目标框中。根据匹配结果显示，可认为两组数据集匹配成功，可进行后续融合。
4、基于模糊集理论的雷达与视频融合算法
4.1目标分类
对于交通应用场景，在测试过程中对某一车辆目标来说，可能会出现以下三种情况：
(1)同时被雷达和视频画面检测到的目标
首先，如果此车辆目标能够同时被雷达和视频探测到说明此目标的运动区域为雷达和视频探测的重叠区域，如图11中A区域所示，雷达探测范围为120度扇面探测区域，摄像机视角为145度。涉及到决策融合问题一定是重叠区域中的雷达和视频数据。
(2)被毫米波雷达检测到的目标
毫米波雷达可探测到的可以分为有效目标和无效目标和待选择目标这三个部分。
有效目标主要为视频探测区域之外的目标，如图11中B区域所示。主要由雷达探测距离决定，如果雷达探测距离大于摄像机拍摄画面，则画面之外的目标均可以被雷达所捕获到。其次，在恶劣天气情况或画面抖动时，摄像头性能降低，所得数据不具有参考性。毫米波雷达工作能力不受天气情况影响，因此可以在雨、雪、雾等不良天气下准确的采集数据。
无效目标主要是由周围建筑物、护栏或是树木导致的杂波，而雷达并不能区分探测到的目标是否为车辆目标。
待选择目标主要是同一辆车的多雷达反射点，需要进行判决选择有效目标信息。
(3)被视频探测到的目标
视频探测到的目标主要分为有效目标、无效目标和待选择目标。
有效目标主要是由于摄像机视角范围大于雷达，因此可探测到雷达的部分盲区，如图11中C区域所示。
无效目标主要是由于天桥上采集设备的抖动所致，根据视频图像处理时所训练的背景，画面的抖动后会将原本的背景认为是运动目标，因此在某几帧会突然出现大量杂波，而车辆目标的检测由于背景画面的晃动而变得不准确。
待选择目标主要是由车辆遮挡所造成的，在视频画面中，车辆行驶中画面可能造成重叠，导致图像处理时认为是一个目标，这个目标不能作为输出但有一定的参考价值。
针对以上三种情况，同时被雷达和视频探测到的目标结果可根据传统模糊集理论数据融合算法进行输出，对于第二种和第三种单传感器探测情况，需要重新进行判断，提取其中有效的目标信息进行输出。因此，本发明提出一种决策冲突解决方法，即目标判决准则，通过分区域、分情况来对目标信息进行决策融合。
4.2模糊评判问题分类
单传感器目标跟踪结果进行时空匹配后，作为融合输入的信息为两组传感器目标信息，其中，雷达目标信息包括：帧序号、目标ID、转换后像素坐标(u,v)、目标速度，视频目标信息包括：帧序号、目标ID、质心坐标(x,y)、跟踪框左上角坐标及长宽。针对以上三种目标分类情况，以雷达目标点迹为主，计算其与所有质心坐标的统计距离，并和统计距离最小的视频进行ID关联。关联结果主要分为三种：
(a)一个雷达点对应一个视频目标；
(b)多个雷达点对应一个视频目标；
(c)未关联的视频目标。
其中，关联结果(a)即为同时被雷达和视频探测到的情况；关联结果(b)可能是多雷达反射点问题或目标分割问题导致的，一个目标框中出现多个雷达点迹结果；关联结果(c)主要为视频处理中杂波问题所导致的，三种情况示意图如图12所示。
其中，跟踪框1、2、4所对应的情况为雷达与视频同时监测到的目标，跟踪框3对应多雷达反射点问题，跟踪框5对应目标分割问题，跟踪框6对应视频杂波问题。
根据以上三种关联结果，可对所解决的问题进行分类，然后对目标进行决策级判决。对于问题的分类具有模糊性，因此可以引入模糊综合评判进行分类。假设因素集为C＝{cradar,ccamera}，即雷达与视频传感器检测准确性，根据多雷达点问题、目标分割问题及视频杂波问题可分为两大类，多对一问题及杂波问题，因此评语集可设为V＝{多对一情况，杂波情况}，然后根据如下步骤进行综合评判：
①针对每一帧数据关联情况，统计一对一关联结果，认为当一个雷达点对应一个视频点且相距较近时，这种结果为正确结果，因此可以得出其在总的雷达数据和视频数据中占据的比例，作为衡量雷达和视频传感器所占的权重，然后进行归一化处理后可得出模糊子集A。
②将剩下的数据点进行分类，分为多对一情况和杂波情况，多对一情况包括多雷达反射点问题及目标分割问题，计算出现此类问题的数据占总数中的比例，作为第i个传感器ui的单因素模糊评价ri＝(ri1,ri2,…,rin)，并根据单因素模糊评价可获得综合评价矩阵为R。
③求出模糊综合评价集B。
④根据隶属度最大原则选择评判结果，然后根据后续决策分类对所有数据进行判决得出最终结果。
根据以上综合评判的方式可以对每一帧所出现的问题进行区分，然后在进入不同的判决分支进行目标决策。
4.3目标判决准则
根据目标数据关联时的模糊综合评判结果，融合决策时需要通过以下三个方面来考虑：
(1)一个雷达点对应一个跟踪框的情况
由于在目标关联时是以雷达点迹为主对视频跟踪框进行关联的，遵循最小统计距离原则，因此可能会出现雷达杂波点关联有效跟踪框的情况。在传统模糊集理论融合算法中，是根据决策距离的设定来对这种情况进行判断的，但这种设定结果较为绝对化，因此根据隶属函数的确定原则，引入一种常用的模糊分布Z型隶属函数，将统计距离数值进行模糊化，其隶属函数如图13所示。
其中d为统计距离，uij为雷达数据第i个目标和视频数据第j个目标统计距离的隶属函数，uij∈[0,1]，可表示为：
当d∈[0,a)时，隶属函数uij＝1，两个车辆目标统计距离较近，则可以确定雷达和视频分别测得的这两个目标为同一目标；当d∈[a,b]时，隶属函数随着统计距离d的增大而减小，其曲线拐点为x＝(a+b)/2处，此时隶属函数uij＝1/2，因此如果隶属函数小于1/2时，其统计距离已经较远，不能进行关联，以排除雷达杂波关联视频跟踪框的情况。对于可关联的点迹，将两者的目标ID号进行标记，并转至下一帧进行计算，如果在后续三帧仍出现同样被标记的目标ID号组，则认为这组雷达和视频检测出的目标为同一目标，并对视频结果的目标跟踪框及雷达跟踪结果的目标ID和速度进行输出。
(2)多个雷达点对应一个跟踪框的情况
这类情况主要包括多雷达点问题和目标分割问题，本发明根据设定距离阈值及速度阈值来区分这两类情况。多雷达反射点问题中，两个雷达点迹信息距离及速度相差不多，而目标分割问题中，两个雷达点迹距离相距较远，且速度值相差较大，因此根据设定两级综合阈值可对这两类问题进行判断，然后分别进行处理。
①多雷达反射点
针对目标反射的多个雷达点问题，若多个雷达点迹同时关联上了同一个跟踪框，计算多个雷达点与跟踪框对应的质心点之间的统计距离隶属度，根据其隶属度的大小决定哪一点为真实有效的雷达点迹，然后对所有点迹对应的速度取平均值，输出此点迹ID序号及平均速度值作为此目标的信息结果，并将此雷达ID序号和视频ID序号进行关联，在多雷达点情况消失后仍保持此ID序号进行输出，直至目标消失在视频检测范围中。
②目标分割
针对车辆较近的目标分割问题，计算雷达点与质心点的统计距离隶属度，根据隶属度对视频矩形框的大小进行权重分配，并以雷达点迹为中心，视频数据框长度和宽度乘以权重作为目标框的长度和宽度，作融合后的目标跟踪框，目标ID序号以雷达监测结果进行输出。
(3)未关联的目标
未关联的目标主要包括视频数据杂波以及雷达杂波，由于本发明雷达数据处理结果较好，因此出现雷达杂波的问题较少，主要是由于视频画面抖动而导致的视频杂波问题。针对此类问题，可将已无参考价值的视频处理结果进行删除，并将雷达目标跟踪处理结果作为输出。以雷达点为中心作矩形框，矩形框的大小根据画面远近程度及视角进行调整，将雷达点迹ID序号及速度信息作为输出，并将此ID序号保留至目标离开雷达检测范围时，避免后续视频帧无杂波时目标ID序号改变的情况。
目标决策流程图如图14所示。首先，对所输入的雷达数据和视频数据进行目标数据关联，当关联结果为一一对应的情况时，根据所设定的统计距离隶属函数和1/2阈值对数据进行判断，判断成功输出融合结果，判断失败，转至综合评判模块；在进行综合模块评判后，可对此帧所出现的问题进行分类，如果出现多对一情况则根据综合阈值判决对多雷达反射点及目标分割问题进行确定，然后根据目标判决准则，对目标结果进行输出。如果是视频杂波问题，则仅输出雷达数据结果。
5、实验与结果分析
5.1测试场景及数据
本发明基于实际工程问题，在天桥测试场景中，设备通过三脚架进行搭建，交通道路测试场景及设备如图15所示。
为了验证融合跟踪算法的准确性，本发明通过选择三种不同测试场景进行数据采集，三种测试场景如表1所示。
表1测试场景
测试场景1为仅行人和非机动车经过路段，可双向通行；测试场景2为非高峰期交通路段，为双向六车道；测试场景3为高峰期交通路段。三种测试场景视频画面显示原数据如图16(a)、图16(b)和图16(c)所示。
5.2融合算法实现
算法总体框架由以下几个部分组成：数据输入、单传感器数据处理、时空匹配、数据融合、目标信息输出。总体算法流程图如图17所示。
融合算法测试结果如下：
(1)慢目标跟踪结果
在测试场景1中，有速度较慢的目标，由于雷达所监测的速度阈值设定，无法对这种目标进行监测，因此出现慢目标跟踪问题。在对于此类数据进行处理时融合算法会将其作为杂波处理问题，因此在数据的选择中，应选择对移动目标捕捉能力较强的视频数据跟踪结果作为输出，若存在速度较快的非机动车目标且能被雷达探测到，则根据统计距离隶属函数计算雷达点与质心坐标之间的隶属度大小，判断此雷达点属于哪个非机动车，并对其有效的速度信息进行输出。其余行人目标速度无法判断，仅输出视频数据跟踪结果。处理前后随机三帧对比结果如图18(a)、图18(b)所示。
由图18(a)所示，雷达跟踪结果由黄色标签表示，仅标记出两个速度较快的非机动车，而视频数据处理可以对缓慢移动的行人进行跟踪，由蓝色矩形框标记。处理后结果如图18(b)所示，所有目标均被跟踪，但行人目标缺乏速度信息。
(2)多雷达点结果
针对一个目标反射的多个雷达点的问题，根据目标判决准则中对多雷达点问题的决策方法，处理前后对比结果如图19(a)和图19(b)所示。
由图19(a)所示，视频处理结果ID序号为7的蓝色目标框中有两个雷达处理结果目标8和目标13。融合后结果如图19(b)显示为距离较近的雷达ID序号8和平均速度结果。
(3)视频多杂波问题
针对视频出现多杂波的问题，可将已无参考价值的视频处理结果进行删除，根据目标判决准则中对视频杂波问题的决策方法，处理前后对比结果如图20(a)和图20(b)所示。
融合前如图20(a)所示，视频数据处理后右下角显示出大量杂波，而雷达数据只有三个，且分别对应三个目标，融合后如图20(b)所示，视频杂波消除只显示雷达数据结果。
(4)目标分割问题
由于测试时车辆阴影的相互遮挡，造成两个车辆目标识别成一个的情况，针对目标分割问题，根据目标判决准则中对目标分割问题的决策方法，处理前后对比结果如图21(a)和图21(b)所示。
融合前数据由图21(a)所示，视频处理目标框75框选了两个车辆目标，而其中显示出两个雷达数据，通过融合算法处理，此矩形框被分割成了两个目标框，如图21(b)所示，划分为目标96和目标97进行显示。
为了对比雷达跟踪、视频跟踪和融合跟踪算法的准确性，通过对三种场景下的交通目标数据进行统计，设定跟踪率参数作为定量分析结果。假设测试数据段交通目标总数为N，成功跟踪的目标数量为n，则此段数据跟踪率η为：
其中，交通目标总数N通过撞线检测法得出，跟踪成功的目标判定准则为根据目标的速度及ID序号，设定此目标在数据集中出现帧数的阈值，若此目标ID序号出现帧数大于阈值，则判断目标跟踪成功，反之，跟踪失败。三种测试场景跟踪结果如表2所示。
表2跟踪结果统计
测试场景1中，由于雷达对速度移动较慢的行人识别不精确，因此总体跟踪准确率较低，但由于目标较为分散且设备安装平台稳定无抖动，除去跟踪间断目标，视频跟踪准确率较高，根据融合算法排除少量目标遮挡情况，融合后跟踪准确率有所提升。测试场景2中，车辆目标行驶较为平稳，速度较快，且车辆行驶密集情况较少，雷达检测结果较为准确，由于天桥地面有轻微晃动导致视频数据无法使用，视频跟踪结果相比于雷达跟踪结果准确率较低，根据融合算法解决单传感器跟踪问题后跟踪率有所提升。测试场景3中，由于车辆密集程度较高，目标遮挡较为严重，因此，视频和雷达跟踪率都有所下降，融合算法跟踪率相比于前两个测试场景有所下降，但整体效果比单传感器跟踪效果好。根据以上三种测试场景的跟踪结果可以看出，融合算法相比于单传感器跟踪算法精确度较高且可靠性较强。
本发明实施例提及的设备参数分别为：
(1)毫米波雷达
本发明实施例所使用雷达开发平台其参数格式如下表1.2所示。根据雷达可测的目标数量及最大测量距离等参数可知，该雷达检测范围适用于交通应用场景中。
表1.1雷达参数
(2)摄像机
摄像机采用大疆OsmoAction，设备主要参数由下表1.3所示。测试时主要选择1080p 60fps录影格式。
表1.2摄像机参数
两个传感器通过三脚架进行固定，如图9所示。摄像机通过电池供电通过录影采集数据，雷达开发板需连接电脑并通过相应测试软件进行采集数据，数据采集完毕后进行处理。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种雷达与视频融合交通目标跟踪方法，其特征在于，所述雷达与视频融合交通目标跟踪方法包括：选择交通信息采集传感器毫米波雷达和摄像头，并提出基于模糊集合的雷达和视频融合交通目标跟踪算法，在降低单传感器跟踪算法复杂度的情况下运用多传感器融合算法实现高精度、高准确性的目标跟踪；
所述雷达与视频融合交通目标跟踪方法包括以下步骤：
步骤一，确定单传感器目标跟踪问题：根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；
步骤二，进行时空匹配：选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；
步骤三，构建基于模糊集理论的雷达与视频融合算法：分别进行目标分类和模糊评判问题分类，并确定目标判决准则；
步骤三中，所述目标分类，包括：
对于交通应用场景，针对测试过程中对某一车辆目标，包括以下三种情况：
(1)同时被雷达和视频画面检测到的目标
首先，如果此车辆目标能够同时被雷达和视频探测到说明此目标的运动区域为雷达和视频探测的重叠区域，雷达探测范围为120度扇面探测区域，摄像机视角为145度，涉及到决策融合问题一定是重叠区域中的雷达和视频数据；
(2)被毫米波雷达检测到的目标
毫米波雷达可探测到的分为有效目标和无效目标和待选择目标三部分；
有效目标为视频探测区域之外的目标，由雷达探测距离决定，如果雷达探测距离大于摄像机拍摄画面，则画面之外的目标均能够被雷达所捕获到；其次，在恶劣天气情况或画面抖动时，摄像头性能降低，所得数据不具有参考性；毫米波雷达工作能力不受天气情况影响，因此在雨、雪和雾在内的不良天气下准确的采集数据；
无效目标是由周围建筑物、护栏或是树木导致的杂波，而雷达并不能区分探测到的目标是否为车辆目标；
待选择目标是同一辆车的多雷达反射点，需要进行判决选择有效目标信息；
(3)被视频探测到的目标
视频探测到的目标分为有效目标、无效目标和待选择目标；
有效目标是由于摄像机视角范围大于雷达，因此可探测到雷达的部分盲区；
无效目标是由于天桥上采集设备的抖动所致，根据视频图像处理时所训练的背景，画面的抖动后会将原本的背景认为是运动目标，因此在某几帧会突然出现大量杂波，而车辆目标的检测由于背景画面的晃动而变得不准确；
待选择目标是由车辆遮挡所造成的，在视频画面中，车辆行驶中画面造成重叠，导致图像处理时认为是一个目标，这个目标不能作为输出但有一定的参考价值；
针对三种情况，同时被雷达和视频探测到的目标结果可根据传统模糊集理论数据融合算法进行输出，对于第二种和第三种单传感器探测情况，需要重新进行判断，提取其中有效的目标信息进行输出，采用目标判决准则，通过分区域、分情况来对目标信息进行决策融合；
步骤三中，所述模糊评判问题分类，包括：
单传感器目标跟踪结果进行时空匹配后，作为融合输入的信息为两组传感器目标信息；其中，雷达目标信息包括：帧序号、目标ID、转换后像素坐标(u,v)以及目标速度，视频目标信息包括：帧序号、目标ID、质心坐标(x,y)、跟踪框左上角坐标及长宽；针对三种目标分类情况，以雷达目标点迹为主，计算与所有质心坐标的统计距离，并和统计距离最小的视频进行ID关联；其中，关联结果分为三种：
(a)一个雷达点对应一个视频目标；
(b)多个雷达点对应一个视频目标；
(c)未关联的视频目标；
其中，关联结果(a)即为同时被雷达和视频探测到的情况；关联结果(b)是多雷达反射点问题或目标分割问题导致的，一个目标框中出现多个雷达点迹结果；关联结果(c)为视频处理中杂波问题所导致；
根据三种关联结果，对所解决的问题进行分类，然后对目标进行决策级判决；对于问题的分类具有模糊性，引入模糊综合评判进行分类；假设因素集为C＝{cradar,ccamera}，即雷达与视频传感器检测准确性，根据多雷达点问题、目标分割问题及视频杂波问题可分为两大类，多对一问题及杂波问题，因此评语集可设为V＝{多对一情况，杂波情况}，然后根据如下步骤进行综合评判：
①针对每一帧数据关联情况，统计一对一关联结果，认为当一个雷达点对应一个视频点且相距较近时，这种结果为正确结果，因此得出其在总的雷达数据和视频数据中占据的比例，作为衡量雷达和视频传感器所占的权重，然后进行归一化处理后可得出模糊子集A；
②将剩下的数据点进行分类，分为多对一情况和杂波情况，多对一情况包括多雷达反射点问题及目标分割问题，计算出现此类问题的数据占总数中的比例，作为第i个传感器ui的单因素模糊评价ri＝(ri1,ri2,…,rin)，并根据单因素模糊评价可获得综合评价矩阵为R；
③求出模糊综合评价集B；
④根据隶属度最大原则选择评判结果，然后根据后续决策分类对所有数据进行判决得出最终结果；
根据综合评判的方式对每一帧所出现的问题进行区分，然后在进入不同的判决分支进行目标决策；
步骤三中，所述目标判决准则，包括：
根据目标数据关联时的模糊综合评判结果，融合决策时通过以下三个方面进行考虑：
(1)一个雷达点对应一个跟踪框的情况
由于在目标关联时是以雷达点迹为主对视频跟踪框进行关联的，遵循最小统计距离原则，因此会出现雷达杂波点关联有效跟踪框的情况，故根据隶属函数的确定原则，引入一种常用的模糊分布Z型隶属函数，将统计距离数值进行模糊化；
其中，d为统计距离，uij为雷达数据第i个目标和视频数据第j个目标统计距离的隶属函数，uij∈[0,1]，表示为：
当d∈[0,a)时，隶属函数uij＝1，两个车辆目标统计距离较近，则确定雷达和视频分别测得的这两个目标为同一目标；当d∈[a,b]时，隶属函数随着统计距离d的增大而减小，曲线拐点为x＝(a+b)/2处，此时隶属函数uij＝1/2，因此如果隶属函数小于1/2时，统计距离已经较远，不能进行关联，以排除雷达杂波关联视频跟踪框的情况；对于可关联的点迹，将两者的目标ID号进行标记，并转至下一帧进行计算，如果在后续三帧仍出现同样被标记的目标ID号组，则认为这组雷达和视频检测出的目标为同一目标，并对视频结果的目标跟踪框及雷达跟踪结果的目标ID和速度进行输出；
(2)多个雷达点对应一个跟踪框的情况
这类情况包括多雷达点问题和目标分割问题，根据设定距离阈值及速度阈值来区分这两类情况；多雷达反射点问题中，两个雷达点迹信息距离及速度相差不多，而目标分割问题中，两个雷达点迹距离相距较远，且速度值相差较大，因此根据设定两级综合阈值可对这两类问题进行判断，然后分别进行处理；
①多雷达反射点
针对目标反射的多个雷达点问题，若多个雷达点迹同时关联同一个跟踪框，计算多个雷达点与跟踪框对应的质心点之间的统计距离隶属度，根据隶属度的大小决定哪一点为真实有效的雷达点迹，然后对所有点迹对应的速度取平均值，输出此点迹ID序号及平均速度值作为此目标的信息结果，并将此雷达ID序号和视频ID序号进行关联，在多雷达点情况消失后仍保持此ID序号进行输出，直至目标消失在视频检测范围中；
②目标分割
针对车辆较近的目标分割问题，计算雷达点与质心点的统计距离隶属度，根据隶属度对视频矩形框的大小进行权重分配，并以雷达点迹为中心，视频数据框长度和宽度乘以权重作为目标框的长度和宽度，作融合后的目标跟踪框，目标ID序号以雷达监测结果进行输出；
(3)未关联的目标
未关联的目标包括视频数据杂波以及雷达杂波，由于雷达数据处理结果较好，因此出现雷达杂波的问题较少，是由于视频画面抖动而导致的视频杂波问题；针对此类问题，将已无参考价值的视频处理结果进行删除，并将雷达目标跟踪处理结果作为输出；以雷达点为中心作矩形框，矩形框的大小根据画面远近程度及视角进行调整，将雷达点迹ID序号及速度信息作为输出，并将此ID序号保留至目标离开雷达检测范围时，避免后续视频帧无杂波时目标ID序号改变的情况；
进行目标决策时，首先对所输入的雷达数据和视频数据进行目标数据关联，当关联结果为一一对应的情况时，根据所设定的统计距离隶属函数和1/2阈值对数据进行判断，判断成功输出融合结果；判断失败，转至综合评判模块；在进行综合模块评判后，对此帧所出现的问题进行分类，如果出现多对一情况则根据综合阈值判决对多雷达反射点及目标分割问题进行确定，然后根据目标判决准则，对目标结果进行输出；如果是视频杂波问题，则仅输出雷达数据结果。
2.如权利要求1所述的雷达与视频融合交通目标跟踪方法，其特征在于，步骤二中，所述时空匹配包括时间匹配和空间匹配；其中，所述时间匹配，包括：
在数据测试时，雷达数据采集率为20帧/秒，视频数据采集率为60帧/秒；
在时间匹配方面首先进行起点对齐；混合高斯建模需要前30帧进行训练，因此雷达数据起始时间应晚于视频数据起始时间0.5秒，时间起点对齐后进行数据帧之间的匹配对应；
由于摄像头采集率大于雷达采集率且为整数倍，因此在采集雷达数据的时间戳上每间隔2帧对视频数据进行采样，以达到时间上的匹配。
3.一种实施权利要求1～2任意一项所述的雷达与视频融合交通目标跟踪方法的雷达与视频融合交通目标跟踪系统，其特征在于，所述雷达与视频融合交通目标跟踪系统包括：
目标跟踪问题确定模块，用于确定单传感器目标跟踪问题，根据交通应用场景，选择天桥测试场景进行雷达和视频的数据采集工作并进行分析；
时空匹配模块，用于选择较为空旷且有高测试位置的场地，对目标数量进行控制；采用单目标测试场景数据来进行坐标系匹配的调试，得到两个传感器之间准确的转换参数；
融合算法构建模块，用于构建基于模糊集理论的雷达与视频融合算法，分别进行所述目标分类和所述模糊评判问题分类，并确定所述目标判决准则。
4.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～2任意一项所述的雷达与视频融合交通目标跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781257.5A CN113671480B (zh) | 2021-07-10 | 2021-07-10 | 雷达与视频融合交通目标跟踪方法、系统、设备、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781257.5A CN113671480B (zh) | 2021-07-10 | 2021-07-10 | 雷达与视频融合交通目标跟踪方法、系统、设备、终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113671480A CN113671480A (zh) | 2021-11-19 |
| CN113671480B true CN113671480B (zh) | 2024-07-02 |
Family
ID=78539276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110781257.5A Active CN113671480B (zh) | 2021-07-10 | 2021-07-10 | 雷达与视频融合交通目标跟踪方法、系统、设备、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113671480B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241749B (zh) * | 2021-11-26 | 2022-12-13 | 深圳市戴升智能科技有限公司 | 一种基于时间序列的视频信标数据关联方法和系统 |
| CN115620520A (zh) * | 2021-12-15 | 2023-01-17 | 阿波罗智联(北京)科技有限公司 | 用于测试感知目标数的方法、装置、设备、介质和产品 |
| CN114236528B (zh) * | 2022-02-23 | 2022-11-01 | 浙江高信技术股份有限公司 | 一种基于毫米波雷达和视频融合的目标检测方法及系统 |
| CN114612360B (zh) * | 2022-03-11 | 2022-10-18 | 北京拙河科技有限公司 | 基于运动模型的视频融合方法及系统 |
| CN114944054A (zh) * | 2022-03-16 | 2022-08-26 | 深圳市综合交通与市政工程设计研究总院有限公司 | 一种城市常规非机动车交通量调查方法 |
| CN114609634B (zh) * | 2022-03-21 | 2023-04-25 | 电子科技大学 | 一种基于阴影的交互式多模型下的视频sar多目标跟踪方法 |
| CN115410403B (zh) * | 2022-04-19 | 2023-11-10 | 北京见合八方科技发展有限公司 | 基于无源感知的公路车辆定位追踪方法、装置及可读介质 |
| CN115169452B (zh) * | 2022-06-30 | 2023-04-28 | 北京中盛国芯科技有限公司 | 基于时空同步队列特性雷视融合目标信息系统及方法 |
| CN115019512A (zh) * | 2022-07-05 | 2022-09-06 | 北京动视元科技有限公司 | 一种基于雷达视频融合的道路事件检测系统 |
| CN115376312A (zh) * | 2022-07-22 | 2022-11-22 | 交通运输部路网监测与应急处置中心 | 一种基于雷达和视频融合的公路监控方法及系统 |
| CN115327497B (zh) * | 2022-08-12 | 2023-10-10 | 南京慧尔视软件科技有限公司 | 雷达检测范围确定方法、装置、电子设备及可读介质 |
| CN116088354A (zh) * | 2022-12-20 | 2023-05-09 | 青岛海尔空调器有限总公司 | 用于控制智能设备的方法、装置及智能设备 |
| CN116189116B (zh) * | 2023-04-24 | 2024-02-23 | 江西方兴科技股份有限公司 | 一种交通状态感知方法及系统 |
| CN117031463B (zh) * | 2023-10-09 | 2023-12-22 | 安徽隼波科技有限公司 | 一种雷达视频协同的区域入侵目标跟踪方法 |
| CN117197182B (zh) * | 2023-11-07 | 2024-02-27 | 华诺星空技术股份有限公司 | 雷视标定方法、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109085570A (zh) * | 2018-06-10 | 2018-12-25 | 南京理工大学 | 基于数据融合的车辆检测跟踪算法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100321234A1 (en) * | 2009-06-19 | 2010-12-23 | U.S. Government As Represented By The Secretary Of The Army | Computationally efficent radar processing method and sytem for sar and gmti on a slow moving platform |
| US9746554B2 (en) * | 2013-04-09 | 2017-08-29 | Valeo Radar Systems, Inc. | Radar imaging system and related techniques |
-
2021
- 2021-07-10 CN CN202110781257.5A patent/CN113671480B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109085570A (zh) * | 2018-06-10 | 2018-12-25 | 南京理工大学 | 基于数据融合的车辆检测跟踪算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113671480A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113671480B (zh) | 雷达与视频融合交通目标跟踪方法、系统、设备、终端 | |
| CN111652097B (zh) | 一种图像毫米波雷达融合目标检测方法 | |
| Ellis | Performance metrics and methods for tracking in surveillance | |
| CN110570664A (zh) | 一种高速公路交通事件自动检测系统 | |
| US9520040B2 (en) | System and method for real-time 3-D object tracking and alerting via networked sensors | |
| CN111260693B (zh) | 一种高空抛物的检测方法 | |
| Jodoin et al. | Tracking all road users at multimodal urban traffic intersections | |
| CA2451660A1 (en) | Method for monitoring a moving object and system regarding same | |
| Bloisi et al. | Argos—A video surveillance system for boat traffic monitoring in Venice | |
| CN105513342A (zh) | 一种基于视频跟踪的车辆排队长度计算方法 | |
| CN107507417A (zh) | 一种基于微波雷达回波信号的智能车道划分方法及装置 | |
| CN115965655A (zh) | 一种基于雷视一体的交通目标跟踪方法 | |
| CN110111018B (zh) | 评估车辆感测能力的方法、装置、电子设备及存储介质 | |
| CN108596117A (zh) | 一种基于二维激光测距仪阵列的场景监控方法 | |
| Wu et al. | Vehicle Classification and Counting System Using YOLO Object Detection Technology. | |
| CN114495512A (zh) | 一种车辆信息检测方法、系统、电子设备及可读存储介质 | |
| CN114627409A (zh) | 一种车辆异常变道的检测方法及装置 | |
| Pletzer et al. | Robust traffic state estimation on smart cameras | |
| CN106056926A (zh) | 基于动态虚拟线圈的视频车速检测方法 | |
| CN116912517B (zh) | 相机视野边界的检测方法及装置 | |
| Anderson-Trocmé et al. | Performance evaluation and error segregation of video-collected traffic speed data | |
| CN114783181B (zh) | 一种基于路侧感知的交通流量统计方法和装置 | |
| CN111323771A (zh) | 基于固定距离的毫米波雷达与视频数据融合方法 | |
| Hoose | Queue detection using computer image processing | |
| Coleiro et al. | Car parking detection in a typical village core street using public camera feeds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |