CN115184917A - 一种融合毫米波雷达与相机的区域目标跟踪方法 - Google Patents

一种融合毫米波雷达与相机的区域目标跟踪方法 Download PDF

Info

Publication number
CN115184917A
CN115184917A CN202211106749.5A CN202211106749A CN115184917A CN 115184917 A CN115184917 A CN 115184917A CN 202211106749 A CN202211106749 A CN 202211106749A CN 115184917 A CN115184917 A CN 115184917A
Authority
CN
China
Prior art keywords
target
camera
radar
video
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211106749.5A
Other languages
English (en)
Other versions
CN115184917B (zh
Inventor
罗鹏
何鑫
韩乃军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huanuo Xingkong Technology Co ltd
Hunan Huanuo Xingkong Electronic Technology Co ltd
Original Assignee
HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD filed Critical HUNAN NOVASKY ELECTRONIC TECHNOLOGY CO LTD
Priority to CN202211106749.5A priority Critical patent/CN115184917B/zh
Publication of CN115184917A publication Critical patent/CN115184917A/zh
Application granted granted Critical
Publication of CN115184917B publication Critical patent/CN115184917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种融合毫米波雷达与相机的区域目标跟踪方法，其步骤包括：步骤S1:通过雷达进行数据采集，实时获取运动目标的信息；步骤S2:通过相机进行图像信息采集，使用深度学习中的神经网络提取图像中感兴趣的目标区域；步骤S3:利用目标跟踪算法对视频中的目标进行编号并跟踪;步骤S4:从运动的画面中提取出移动的感兴趣目标；步骤S5:将雷达目标和视频目标进行融合；步骤S6:对感兴趣目标进行持续跟踪与警戒。本发明具有原理简单、操作简便、精度更高等优点。

Description

一种融合毫米波雷达与相机的区域目标跟踪方法
技术领域
本发明主要涉及到安防技术领域，特指一种融合毫米波雷达与相机（云台相机）的区域目标跟踪方法。
背景技术
在传统的安防技术领域，通常只利用单一的传感器进行区域的警戒与管控，例如毫米波雷达或视觉相机等等。其中，毫米波雷达具有体积小、质量轻、全天候工作、可测速测距等优点，在安防领域得到了广泛的使用，并表现出了良好的实际效果。但毫米波雷达也存在分辨率低、数据稀疏、目标方位不够准确的缺点。而视觉相机具有方位准，检测范围广，可视化效果好的优点，但也存在恶劣环境下效果差、无法获取目标深度信息等缺点。
由此可见，单独使用某一种传感器的检测系统存在一定的不足，导致检测效果不够理想。而毫米波雷达和视觉相机的优缺点刚好能够进行互补，因此使用多个传感器的数据进行联合检测能够取长补短，提升检测系统的性能。为此，作为优化后的技术，毫米波雷达和视频相机的融合是安防领域进行区域警戒的有效方法之一。
在现有融合式传感器的应用过程中，对于视频移动目标检测，传统的方法通常是在多帧之间计算帧差来提取前景，并得到移动目标的大概区域。但由于云台相机转动会造成成像画面移动，计算帧差无法得到固定的前景，因此也无法确定移动目标的区域。而有效地检测到视频中的移动目标将会大大提升雷达与视频的融合效果。
目前在目标警戒领域，雷达视频融合算法大部分应用在周界警戒系统中，即雷达和相机固定安装；而实际的应用场景中，目标可能从各个方向进行入侵，因此利用云台相机与雷达进行融合，即区域型的警戒系统能更有效地检测入侵目标。
在上述的融合式应用中，雷达视频融合算法的常见做法是：首先进行世界坐标系、雷达坐标系与图像坐标系之间的坐标转换，同时通过选取多组雷达点与图像目标点进行标定，从而将雷达目标映射到图像坐标系上；最后通过比较在图像上的雷达目标与视频目标的位置关系进行匹配。但是，使用上述这种方法需要进行坐标转换，增加了计算量，同时标定增加了人力及物力成本。
综上所述，如何有效利用多个传感器的优势进行互补，全方位提升区域安防检测及跟踪入侵目标的效率，是区域安防的迫切需求。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、操作简便、精度更高的融合毫米波雷达与相机的区域目标跟踪方法。
为解决上述技术问题，本发明采用以下技术方案：
一种融合毫米波雷达与相机的区域目标跟踪方法，其步骤包括：
步骤S1:通过雷达进行数据采集，实时获取运动目标的信息；
步骤S2:通过相机进行图像信息采集，使用深度学习中的神经网络提取图像中感兴趣的目标区域；
步骤S3:利用目标跟踪算法对视频中的目标进行编号并跟踪;
步骤S4:从运动的画面中提取出移动的感兴趣目标；
步骤S5:将雷达目标和视频目标进行融合；
步骤S6:对感兴趣目标进行持续跟踪与警戒。
作为本发明的进一步改进：所述步骤S1中通过去噪、滤波、聚类操作滤除静态目标信息，得到运动目标的距离、方位及速度信息。
作为本发明的进一步改进：所述步骤S2中，感兴趣目标为区域警戒场景下的目标可能进行入侵的移动目标；所述神经网络包括输入端、主干网络、连接网络、检测头输出端；所述输入端用于接收图像数据，所述主干网络用于从图像中提取特征，所述连接网络用于将所提取网络进行融合并采样至不同尺度，所述检测头输出端用于根据所提取特征对感兴趣目标进行定位与分类；所述目标区域为用边界框将感兴趣目标在图像中的位置标记出来。
作为本发明的进一步改进：所述步骤S3中，包括以下步骤：
步骤31：给每个视频目标分配ID号；
步骤32：比较前后两帧的目标框，对于每一个视频目标，比较前后两帧目标框的重叠区域，若重叠区域较大，则保留该ID号并更新目标框位置；若重叠区域太小或无重叠区域，则根据目标的运动趋势进行目标框的预测；
步骤33：比较预测的目标框和真实的目标框，若重叠区域较大，则保留该ID号，否则清除该ID号。
作为本发明的进一步改进：所述步骤S4中，包括以下步骤：
步骤41：获取相机的参数；
步骤42：在固定时间间隔获取相机的PTZ值参数，所述PTZ值为相机的水平运动状态、俯仰运动状态及变焦状态；
步骤43：根据当前的变焦状态及最大视场角计算当前变倍大小下的视场角大小；
步骤44：将两次的PTZ值进行相减运算，得到相机转动的角度，再根据相机当前视场角及其成像分辨率，计算相机运动造成的像素偏移量；
步骤45：获取固定间隔前后同一ID目标的目标框，对相机运动前的框进行补偿并与运动后的目标框进行重叠区域计算，所述补偿是在运动前的目标框上加上相机运动造成的像素偏移量，若重叠区域太小或不重叠，则得到运动的感兴趣目标，否则为静态目标。
作为本发明的进一步改进：所述步骤S5中，包括以下步骤：
步骤51：获取雷达目标信息与视频目标信息；
步骤52：雷达目标和视频目标的融合；
步骤53：使用新息误差来进行数据关联和状态更新。
作为本发明的进一步改进：所述雷达目标信息包括雷达目标的距离、方位及速度，所述视频目标信息包括目标在图像中的位置、目标的类别及目标分类正确的置信度；获取可见光相机的水平视场角、垂直视场角及相机成像的分辨率大小。
作为本发明的进一步改进：所述步骤52中融合包括数据关联、及状态更新；所述数据关联采用最近邻方法，在状态预测及更新阶段，使用线性卡尔曼滤波，预测状态
Figure 10102DEST_PATH_IMAGE001
、状态转移矩阵A和后验状态
Figure 754067DEST_PATH_IMAGE002
满足：
Figure 397538DEST_PATH_IMAGE003
。
作为本发明的进一步改进：所述步骤53中测量残差满足：
Figure 795022DEST_PATH_IMAGE004
,在不进行空间标定及坐标转换的情况下，将目标与相机光心的夹角
Figure 868151DEST_PATH_IMAGE005
作为目标的状态矩阵，使用图像目标的坐标值
Figure 681386DEST_PATH_IMAGE006
代入观测矩阵计算
Figure 913784DEST_PATH_IMAGE007
，将图像目标的宽
Figure 544486DEST_PATH_IMAGE008
及当前水平视场角代入观测模型，最终可计算得到测
量残差
Figure 495124DEST_PATH_IMAGE009
；最终得到新息误差
Figure 580892DEST_PATH_IMAGE010
，通过新息误差判断雷达目标与视频目标是否匹配。
作为本发明的进一步改进：所述步骤S1和步骤S2为并行的两个步骤。
与现有技术相比，本发明的优点就在于：
本发明的融合毫米波雷达与相机的区域目标跟踪方法，原理简单、操作简便、精度更高，其利用毫米波雷达和可见光相机对感兴趣目标进行持续跟踪，并根据目标是否进入警戒区域而确定是否执行报警处理，这就能够有效利用多个传感器的优势进行互补，全方位提升区域安防检测及跟踪入侵目标的效率，从而有效地解决了区域警戒场景中的雷达目标与视频感兴趣目标的对应关系问题，减少了误报的情况。
附图说明
图1是本发明方法的流程示意图。
图2是本发明在具体应用实例中感兴趣目标检测的原理示意图。
图3是本发明在具体应用实例中云台相机转动后、移动目标提取的原理示意图。
具体实施方式
以下将结合说明书附图和具体实施例对本发明做进一步详细说明。
如图1所示，本发明的一种融合毫米波雷达与相机的区域目标跟踪方法，是利用毫米波雷达和可见光相机对感兴趣目标进行持续跟踪，并根据目标是否进入警戒区域而确定是否执行报警处理。本发明的具体步骤包括：
步骤S1: 雷达数据采集及处理：使用毫米波雷达进行数据采集，实时获取运动目标的距离、方位及速度；
步骤S2: 相机采集及处理：使用可见光相机（如云台相机）进行图像信息采集，并使用深度学习中的神经网络提取图像中感兴趣的目标区域；
步骤S3: 视频目标跟踪：使用目标跟踪算法对视频中的目标进行编号并跟踪;
步骤S4: 运动画面中的移动目标提取：从运动的画面中提取出移动的感兴趣目标；
步骤S5: 在无需空间标定及坐标转换的情况下，将雷达目标和视频目标进行融合；
步骤S6: 目标持续跟踪与警戒：对感兴趣目标进行持续跟踪与警戒。
在具体应用实例中，所述步骤S1中的雷达数据采集及处理具体包括：通过去噪、滤波、聚类等操作滤除静态目标信息，得到运动目标的距离、方位及速度等信息。
在本实施例中，步骤S1和步骤S2可以是并行的两个步骤，不存在严格的先后时序关系。
在具体应用实例中，所述步骤S2使用深度学习中的神经网络提取图像中感兴趣的目标区域为：使用改进的YOLOv5方法检测感兴趣目标。其中：
所述感兴趣目标为区域警戒场景下的人、车、动物等可能进行入侵的移动目标；
所述神经网络包括输入端、主干网络、连接网络、检测头输出端；所述输入端用于接收图像数据，所述主干网络用于从图像中提取特征，所述连接网络用于将所提取网络进行融合并采样至不同尺度，所述检测头输出端用于根据所提取特征对感兴趣目标进行定位与分类。
所述目标区域为用矩形框将感兴趣目标在图像中的位置标记出来。
在具体应用过程中，输入端表示输入网络的图像，本实例中的输入图像尺寸为640×640大小，该阶段包括对图像的预处理操作。所述预处理操作具体包括图像缩放至网络输入大小、归一化、在图像中加入噪声、模糊图像、图像拼接等。进一步，同时使用Mosaic数据增强操作，提升网络的泛化能力，所述Mosaic数据增强方法则使用4张图片，并且按照随机缩放、随机裁剪和随机排布的方式进行拼接。进一步，还可以使用自适应锚框计算与自适应图片缩放提升检测效果。
在具体应用过程中，主干网络可以选用性能优异的分类器网络，用于提取图像中的通用特征表示，本实例中使用CSPDarknet53结构作为主干网络。
在具体应用过程中，连接网络可以位于主干网络与检测头输出端之间，主要用于提升特征的多样性及鲁棒性，本实例中的连接网络使用SPP模块、FPN模块及PAN模块。
在具体应用过程中，检测头输出端用于完成目标检测结构的输出，根据所提取特征对感兴趣目标进行定位与分类，针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支。
在步骤S3中，使用目标跟踪算法对视频中的目标进行编号并跟踪，具体包括获取视频目标信息，具体包括视频目标的类别及在图像中的位置，并分配ID号。预测下一帧的目标位置比较前后两帧的目标框，对于每一个视频目标，根据卡尔曼滤波方法对目标在图像下一帧的位置进行预测，比较前后两帧目标框的重叠区域，若重叠区域较大，则保留该ID号并更新目标框位置；若重叠区域太小或无重叠区域，则根据目标的运动趋势进行目标框的预测。
在具体应用实例中，所述步骤S3的具体过程可以包括以下步骤：
步骤31：给每个视频目标分配ID号；使用目标跟踪算法对视频中的目标进行编号并跟踪，具体包括获取视频目标信息，即包括视频目标的类别及在图像中的位置，并分配ID号。参见图2所示，为应用实例中在视频中的2个感兴趣目标101、102。
步骤32：比较前后两帧的目标框，对于每一个视频目标，比较前后两帧目标框的重叠区域，若重叠区域较大，则保留该ID号并更新目标框位置；若重叠区域太小或无重叠区域，则根据目标的运动趋势进行目标框的预测；
步骤33：比较预测的目标框和真实的目标框，若重叠区域较大，则保留该ID号，否则清除该ID号。
在步骤S4中，在运动画面中进行移动目标提取：获取云台相机的运动状态，根据相机的PTZ值判断画面是否偏移，计算画面的像素偏移，对每一个运动前的目标框进行补偿，并与运动后同一ID的目标框进行对比，得到该目标的运动状态。
在具体应用实例中，所述步骤S4的具体过程可以包括以下步骤：
步骤41：获取相机的参数，包括相机的最大水平视场角、最大垂直视场角、镜头焦距、相机最大变倍数、相机成像的分辨率大小、云台相机的最大转动速度；
步骤42：获取PTZ值：在固定时间间隔获取相机的PTZ值参数，所述PTZ值为相机的水平运动状态、俯仰运动状态及变焦状态；通过固定时间前后得到的两次状态值，可以反映出云台相机的运动幅度。所述固定时间应保证云台以最大速度转动时，在此时间内，图像的偏移不超过图像宽或高的一半。
步骤43：计算当前视场角：根据当前的变焦状态及最大视场角计算当前变倍大小下的视场角大小；其中，当前视场角FOV、最大视场角MaxFOV、当前变倍大小Zoom以及相机最大变倍数MaxZoom应满足：
Figure 933376DEST_PATH_IMAGE011
；
步骤44：计算画面像素偏移：将两次的PTZ值进行相减运算，得到相机转动的角度，再根据相机当前视场角及其成像分辨率，计算相机运动造成的像素偏移量；即，得到固定时间前后的PTZ值后，通过计算在水平、俯仰方向以及变焦状态的变化，可以得到相机转动的角度。图像的偏移像素ShiftPix、相机转动的角度az、当前的视场角FOV以及图像的宽或高ImagePix应满足：
Figure 875924DEST_PATH_IMAGE012
；
需要注意的是，因为固定时间取PTZ值的设置，图像的偏移像素不会超过图像的宽或高的一半，若图像的偏移像素为0或较小，则认为当前云台相机为静止状态。同时，图像在水平方向和俯仰方向的像素偏移应采用对应的水平视场角或垂直视场角计算。
步骤45：判断目标状态：获取固定间隔前后同一ID目标的目标框，对相机运动前的框进行补偿并与运动后的目标框进行重叠区域计算，所述补偿是在运动前的目标框上加上相机运动造成的像素偏移量，若重叠区域太小或不重叠，则得到运动的感兴趣目标，否则为静态目标；
首先，获取固定时间间隔前后，同一ID目标的目标框位置，根据步骤S44得到的图像像素偏移判断该时间间隔内，云台是否运动。若云台未运动，即图像画面静止，则计算固定时间间隔前后同一ID目标的目标框的交并比（IOU），所述IOU为两个目标框的重叠程度的量化指标，若其IOU小于一定阈值，则认为该目标为运动目标，否则为静态目标；若云台运动，则对云台运动前每一个目标框进行补偿，再与运动后同一ID目标的目标框计算IOU，若其IOU小于一定阈值，则认为该目标为运动目标，否则为静态目标，所述补偿是在运动前的目标框上加上相机运动造成的像素偏移量，运动前的目标框BBox1(x1, y1, w1, h1)，对BBox1补偿后的目标框BBox2(x2, y2, w2, h2)，水平偏移像素ShiftPixX及纵向偏移像素ShiftPixY满足：
Figure 123978DEST_PATH_IMAGE013
，
在具体应用实例中，所述步骤S5的具体过程可以包括以下步骤：
步骤51：获取雷达目标信息与视频目标信息；
所述雷达目标信息包括雷达目标的距离、方位及速度，所述视频目标信息包括目标在图像中的位置、目标的类别及目标分类正确的置信度；获取可见光相机的水平视场角、垂直视场角及相机成像的分辨率大小。
步骤52：雷达目标和视频目标的融合；
所述融合包括数据关联、及状态更新；
所述数据关联采用最近邻方法，保证了算法的简洁性及时间效率，在状态预测及更新阶段，使用线性卡尔曼滤波，预测状态
Figure 403650DEST_PATH_IMAGE014
、状态转移矩阵A和后验状态
Figure 610640DEST_PATH_IMAGE015
满足：
Figure 458511DEST_PATH_IMAGE016
。
步骤53：使用新息误差来进行数据关联和状态更新。
测量残差满足：
Figure 118162DEST_PATH_IMAGE017
,在不进行空间标定及坐标转换的情况下，将目标与相机光心的夹角
Figure 342470DEST_PATH_IMAGE018
作为目标的状态矩阵，使用图像目标的坐标值
Figure 748175DEST_PATH_IMAGE006
代入观测矩阵计算
Figure 32526DEST_PATH_IMAGE007
，将图像目标的宽
Figure 507369DEST_PATH_IMAGE008
及当前水平视场角代入观测模
型，最终可计算得到测量残差
Figure 269789DEST_PATH_IMAGE019
。
最终得到新息误差
Figure 185792DEST_PATH_IMAGE010
，通过新息误差判断雷达目标与视频目标是否匹配。
在一个具体应用实例中，如图3所示为云台相机转动后的画面，及当前检测目标103、104分别与经过补偿后的目标框101、102的对应关系，经过补偿后的目标框101和当前103重叠区域较大，补偿后的目标框102和当前104无重叠区域，可判断101为静止目标，102为移动目标。
步骤S5：雷达目标与视频移动目标融合：在提取出雷达目标与视频中的移动目标后，在无需坐标转换与空间标定的情况下，将两种不同传感器的数据进行融合，利用不同传感器的优势，提升整体检测效果，具体包括步骤S51获取目标信息与传感器信息、步骤S52数据关联与状态更新、步骤S53跟踪管理。
步骤S51：获取目标信息与传感器信息：获取目标信息具体包括获取雷达目标信息与视频目标信息，所述雷达目标信息包括雷达目标的距离、方位及速度，所述视频目标信息包括目标在图像中的位置、目标的类别及目标分类正确的置信度。值得注意的是，雷达数据和视频数据为同一时间采集，且采用线程同步的方法进行雷达数据和视频数据的对齐。
步骤S52：数据关联与状态更新：数据关联采用最近邻关联方法，保证了算法的简洁性及时间效率，在状态预测及更新阶段，使用线性卡尔曼滤波，预测状态
Figure 719673DEST_PATH_IMAGE020
、状态转移矩阵A和后验状态
Figure 619496DEST_PATH_IMAGE015
满足:
Figure 185606DEST_PATH_IMAGE016
即通过计算状态转移矩阵来预测下一时刻的状态，使用新息误差来进行数据关联和状态更新。测量残差
Figure 815171DEST_PATH_IMAGE021
，当前状态的观测值
Figure 644587DEST_PATH_IMAGE022
，观测模型
Figure 31706DEST_PATH_IMAGE023
及预测状态
Figure 745715DEST_PATH_IMAGE024
满足：
Figure 370731DEST_PATH_IMAGE025
通过不断比较观测状态和预测状态，减小其差距，从而使预测状态不断地更接近观测状态。在不进行空间标定及坐标转换的情况下，将目标与相机光心的夹角
Figure 902207DEST_PATH_IMAGE026
代入目标的状态矩阵，使用图像目标的坐标值
Figure 511043DEST_PATH_IMAGE027
代入观测矩阵计算
Figure 12431DEST_PATH_IMAGE007
，将图像目标的宽
Figure 23112DEST_PATH_IMAGE008
及当前水平视场角代入观测模型，最终可计算得到测量残差
Figure 459910DEST_PATH_IMAGE028
最终得到新息误差
Figure 891461DEST_PATH_IMAGE029
：
Figure 337486DEST_PATH_IMAGE030
其中
Figure 937094DEST_PATH_IMAGE031
为
Figure 669427DEST_PATH_IMAGE032
的协方差矩阵，通过新息误差判断雷达目标与视频目标是否匹配，若
Figure 987276DEST_PATH_IMAGE029
小于一定的阈值，则认为该对目标匹配，并进行状态更新：
Figure 971412DEST_PATH_IMAGE033
Figure 566473DEST_PATH_IMAGE034
其中，
Figure 610652DEST_PATH_IMAGE035
为卡尔曼增益，
Figure 150218DEST_PATH_IMAGE036
为
Figure 62679DEST_PATH_IMAGE037
的协方差矩阵，I为单位矩阵，其中状态
Figure 636880DEST_PATH_IMAGE037
更新包括雷达目标距离r，视频目标与相机光心的夹角az的更新。若
Figure 117540DEST_PATH_IMAGE029
大于阈值，则认为该对目标不匹配，并将该对目标转入未匹配目标的跟踪管理，从而完成雷达数据与视频数据的关联。
步骤S53：跟踪管理：具体包括跟踪器合并、跟踪器更新、未匹配的跟踪管理。跟踪器合并是指若存在运动的雷达目标或视频目标则生成一个跟踪器，在雷达目标与视频目标完成匹配后，若存在两个匹配完成的跟踪器的状态
Figure 488609DEST_PATH_IMAGE038
和
Figure 80128DEST_PATH_IMAGE039
以及其协方差矩阵
Figure 508835DEST_PATH_IMAGE040
满足：
Figure 160396DEST_PATH_IMAGE041
则将两个跟踪器合并，并删除第二个跟踪器。跟踪器更新即实时对跟踪器的状态
Figure 799188DEST_PATH_IMAGE042
及其协方差矩阵进行更新。未匹配的跟踪管理具体为，对于未匹配上的雷达目标与视频目标，增大其新息误差：
Figure 194397DEST_PATH_IMAGE043
若
Figure 946453DEST_PATH_IMAGE029
达到阈值，则将未匹配的跟踪器进行删除。
在具体应用实例中，在所述步骤S6中，对于完成匹配的雷达目标与视频目标，将其不同传感器上的信息合并，包括来自雷达传感器的方位、距离与速度等，来自视频传感器的目标类型、在图像中的位置、目标置信度等，并将这些信息进行记录与实时更新。目标在运动过程中，根据目标的雷达方位及目标在图像中的位置，引导云台进行转动，使目标始终位于图像中心。根据目标的距离信息，设置安防防区，若目标进入防区内，则对目标进行警戒。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，其步骤包括：
步骤S1:通过雷达进行数据采集，实时获取运动目标的信息；
步骤S2:通过相机进行图像信息采集，使用深度学习中的神经网络提取图像中感兴趣的目标区域；
步骤S3:利用目标跟踪算法对视频中的目标进行编号并跟踪;
步骤S4:从运动的画面中提取出移动的感兴趣目标；
步骤S5:将雷达目标和视频目标进行融合；
步骤S6:对感兴趣目标进行持续跟踪与警戒；
所述步骤S3中，包括以下步骤：
步骤31：给每个视频目标分配ID号；
步骤32：比较前后两帧的目标框，对于每一个视频目标，比较前后两帧目标框的重叠区域，若重叠区域较大，则保留该ID号并更新目标框位置；若重叠区域太小或无重叠区域，则根据目标的运动趋势进行目标框的预测；
步骤33：比较预测的目标框和真实的目标框，若重叠区域较大，则保留该ID号，否则清除该ID号。
2.根据权利要求1所述融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，所述步骤S1中通过去噪、滤波、聚类操作滤除静态目标信息，得到运动目标的距离、方位及速度信息。
3.根据权利要求1所述融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，所述步骤S2中，感兴趣目标为区域警戒场景下的目标可能进行入侵的移动目标；所述神经网络包括输入端、主干网络、连接网络、检测头输出端；所述输入端用于接收图像数据，所述主干网络用于从图像中提取特征，所述连接网络用于将所提取网络进行融合并采样至不同尺度，所述检测头输出端用于根据所提取特征对感兴趣目标进行定位与分类；所述目标区域为用边界框将感兴趣目标在图像中的位置标记出来。
4.根据权利要求1所述融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，所述步骤S4中，包括以下步骤：
步骤41：获取相机的参数；
步骤42：在固定时间间隔获取相机的PTZ值参数，所述PTZ值为相机的水平运动状态、俯仰运动状态及变焦状态；
步骤43：根据当前的变焦状态及最大视场角计算当前变倍大小下的视场角大小；
步骤44：将两次的PTZ值进行相减运算，得到相机转动的角度，再根据相机当前视场角及其成像分辨率，计算相机运动造成的像素偏移量；
步骤45：获取固定间隔前后同一ID目标的目标框，对相机运动前的框进行补偿并与运动后的目标框进行重叠区域计算，所述补偿是在运动前的目标框上加上相机运动造成的像素偏移量，若重叠区域太小或不重叠，则得到运动的感兴趣目标，否则为静态目标。
5.根据权利要求1-4中任意一项所述融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，所述步骤S5中，包括以下步骤：
步骤51：获取雷达目标信息与视频目标信息；
步骤52：雷达目标和视频目标的融合；
所述步骤52中融合包括数据关联、及状态更新；所述数据关联采用最近邻方法，在状态预测及更新阶段，使用线性卡尔曼滤波，预测状态
Figure 538540DEST_PATH_IMAGE001
、状态转移矩阵A和后验状态
Figure 924522DEST_PATH_IMAGE002
满足：
Figure 704259DEST_PATH_IMAGE003
；通过最小化新息误差得到与雷达目标最匹配的视频目标的图像坐标值
Figure 427365DEST_PATH_IMAGE004
, 从而完成雷达目标与视频目标的匹配，最终实现两者融合；
步骤53：使用新息误差来进行数据关联和状态更新；
所述步骤53中测量残差满足：
Figure 241737DEST_PATH_IMAGE005
,在不进行空间标定及坐标转换的情况下，将目标与相机光心的夹角
Figure 142828DEST_PATH_IMAGE006
作为目标的状态矩阵，使用图像目标的坐标值
Figure 144282DEST_PATH_IMAGE007
代入观测矩阵计算
Figure 812024DEST_PATH_IMAGE008
，将图像目标的宽
Figure 339957DEST_PATH_IMAGE009
及当前水平视场角代入观测模型，最终可计算得到测量残差
Figure 67742DEST_PATH_IMAGE010
；最终通过测量残差
Figure 556492DEST_PATH_IMAGE011
及其协方差
Figure 640641DEST_PATH_IMAGE012
得到新息误差
Figure 898447DEST_PATH_IMAGE013
，新息误差
Figure 328291DEST_PATH_IMAGE014
，通过新息误差判断雷达目标与视频目标是否匹配。
6.根据权利要求5所述融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，所述雷达目标信息包括雷达目标的距离、方位及速度，所述视频目标信息包括目标在图像中的位置、目标的类别及目标分类正确的置信度；获取可见光相机的水平视场角、垂直视场角及相机成像的分辨率大小。
7.根据权利要求1-4中任意一项所述融合毫米波雷达与相机的区域目标跟踪方法，其特征在于，所述步骤S1和步骤S2为并行的两个步骤。
CN202211106749.5A 2022-09-13 2022-09-13 一种融合毫米波雷达与相机的区域目标跟踪方法 Active CN115184917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211106749.5A CN115184917B (zh) 2022-09-13 2022-09-13 一种融合毫米波雷达与相机的区域目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211106749.5A CN115184917B (zh) 2022-09-13 2022-09-13 一种融合毫米波雷达与相机的区域目标跟踪方法

Publications (2)

Publication Number Publication Date
CN115184917A true CN115184917A (zh) 2022-10-14
CN115184917B CN115184917B (zh) 2023-03-10

Family

ID=83524325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211106749.5A Active CN115184917B (zh) 2022-09-13 2022-09-13 一种融合毫米波雷达与相机的区域目标跟踪方法

Country Status (1)

Country Link
CN (1) CN115184917B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030099A (zh) * 2023-03-31 2023-04-28 北京尚优力达科技有限公司 一种基于ptz相机的多目标跟踪方法及装置
CN116027317A (zh) * 2023-01-06 2023-04-28 中国人民解放军空军预警学院 一种基于星载宽带雷达的海面舰船目标二维速度估计方法
CN116630764A (zh) * 2023-07-21 2023-08-22 武汉理工大学三亚科教创新园 水面目标融合辨识方法、系统、存储介质、计算机设备及终端

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233166A (ja) * 2006-03-02 2007-09-13 Olympus Imaging Corp ぶれ補正機能付きカメラ
WO2012151777A1 (zh) * 2011-05-09 2012-11-15 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
US20160291149A1 (en) * 2015-04-06 2016-10-06 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN106953762A (zh) * 2017-03-29 2017-07-14 千寻位置网络有限公司 基于热备数据中心的差分服务系统及实现方法
CN109410243A (zh) * 2018-10-16 2019-03-01 中电科新型智慧城市研究院有限公司 基于区域交叠与模板匹配的多目标跟踪方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN110415278A (zh) * 2019-07-30 2019-11-05 中国人民解放军火箭军工程大学 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
CN113156421A (zh) * 2021-04-07 2021-07-23 南京邮电大学 基于毫米波雷达和摄像头信息融合的障碍物检测方法
US20210231794A1 (en) * 2020-01-28 2021-07-29 Aptiv Technologies Limited Imaging and Radar Fusion for Multiple-Object Tracking
CN113573022A (zh) * 2021-07-27 2021-10-29 安徽云森物联网科技有限公司 一种基于毫米波雷达和ptz云台的目标自动跟踪方法
CN114063098A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 多目标跟踪方法、装置、计算机设备和存储介质
CN114236528A (zh) * 2022-02-23 2022-03-25 浙江高信技术股份有限公司 一种基于毫米波雷达和视频融合的目标检测方法及系统
CN114545435A (zh) * 2021-12-21 2022-05-27 武汉市众向科技有限公司 一种融合相机与激光雷达的动态目标感知系统及方法
CN114820725A (zh) * 2022-03-15 2022-07-29 中国科学院自动化研究所 目标显示方法、装置、电子设备及存储介质
CN115032651A (zh) * 2022-06-06 2022-09-09 合肥工业大学 一种基于激光雷达与机器视觉融合的目标检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233166A (ja) * 2006-03-02 2007-09-13 Olympus Imaging Corp ぶれ補正機能付きカメラ
WO2012151777A1 (zh) * 2011-05-09 2012-11-15 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控系统
US20160291149A1 (en) * 2015-04-06 2016-10-06 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
CN106953762A (zh) * 2017-03-29 2017-07-14 千寻位置网络有限公司 基于热备数据中心的差分服务系统及实现方法
CN109410243A (zh) * 2018-10-16 2019-03-01 中电科新型智慧城市研究院有限公司 基于区域交叠与模板匹配的多目标跟踪方法
CN109459750A (zh) * 2018-10-19 2019-03-12 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN110415278A (zh) * 2019-07-30 2019-11-05 中国人民解放军火箭军工程大学 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法
US20210231794A1 (en) * 2020-01-28 2021-07-29 Aptiv Technologies Limited Imaging and Radar Fusion for Multiple-Object Tracking
CN114063098A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 多目标跟踪方法、装置、计算机设备和存储介质
CN113156421A (zh) * 2021-04-07 2021-07-23 南京邮电大学 基于毫米波雷达和摄像头信息融合的障碍物检测方法
CN113573022A (zh) * 2021-07-27 2021-10-29 安徽云森物联网科技有限公司 一种基于毫米波雷达和ptz云台的目标自动跟踪方法
CN114545435A (zh) * 2021-12-21 2022-05-27 武汉市众向科技有限公司 一种融合相机与激光雷达的动态目标感知系统及方法
CN114236528A (zh) * 2022-02-23 2022-03-25 浙江高信技术股份有限公司 一种基于毫米波雷达和视频融合的目标检测方法及系统
CN114820725A (zh) * 2022-03-15 2022-07-29 中国科学院自动化研究所 目标显示方法、装置、电子设备及存储介质
CN115032651A (zh) * 2022-06-06 2022-09-09 合肥工业大学 一种基于激光雷达与机器视觉融合的目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RENYUAN ZHANG等: ""Extending Reliability of mmWave Radar Tracking and Detection via Fusion With Camera"", 《IEEE ACCESS》 *
SHUAIB OMAR等: ""Multisensor data fusion: Target tracking with a doppler radar and an Electro-Optic camera"", 《2011 IEEE INTERNATIONAL CONFERENCE ON CONTROL SYSTEM, COMPUTING AND ENGINEERING》 *
双锴等: "《计算机视觉》", 31 January 2020 *
吴显: ""基于多传感器信息融合的移动机器人定位方法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027317A (zh) * 2023-01-06 2023-04-28 中国人民解放军空军预警学院 一种基于星载宽带雷达的海面舰船目标二维速度估计方法
CN116027317B (zh) * 2023-01-06 2024-01-26 中国人民解放军空军预警学院 一种基于星载宽带雷达的海面舰船目标二维速度估计方法
CN116030099A (zh) * 2023-03-31 2023-04-28 北京尚优力达科技有限公司 一种基于ptz相机的多目标跟踪方法及装置
CN116030099B (zh) * 2023-03-31 2023-08-08 北京尚优力达科技有限公司 一种基于ptz相机的多目标跟踪方法及装置
CN116630764A (zh) * 2023-07-21 2023-08-22 武汉理工大学三亚科教创新园 水面目标融合辨识方法、系统、存储介质、计算机设备及终端
CN116630764B (zh) * 2023-07-21 2023-09-26 武汉理工大学三亚科教创新园 水面目标融合辨识方法、系统、存储介质、计算机设备及终端

Also Published As

Publication number Publication date
CN115184917B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN115184917B (zh) 一种融合毫米波雷达与相机的区域目标跟踪方法
CN109460740B (zh) 基于ais与视频数据融合的船舶身份识别方法
EP3573024B1 (en) Building radar-camera surveillance system
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN107016367B (zh) 一种跟踪控制方法及跟踪控制系统
CN110794405B (zh) 一种基于相机和雷达融合的目标检测方法及系统
TWI393074B (zh) 移動物體偵測裝置與方法
CN113671480A (zh) 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN109459750A (zh) 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
CN111045000A (zh) 监测系统和方法
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
KR20010000107A (ko) 다중 이동물체 추적/감시 시스템
US7483551B2 (en) Method and system for improved unresolved target detection using multiple frame association
Zhou et al. Detecting and tracking small moving objects in wide area motion imagery (wami) using convolutional neural networks (cnns)
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
Xiao et al. Simultaneous detection and tracking of pedestrian from velodyne laser scanning data
CN116310679A (zh) 多传感器融合目标检测方法、系统、介质、设备及终端
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN106558069A (zh) 一种基于视频监控下的目标跟踪方法及系统
JP2006012178A (ja) 駐車車両検知方法及び駐車車両検知システム
CN116266360A (zh) 一种基于多源信息融合的车辆目标检测跟踪方法
CN117075112A (zh) 一种方位角航迹匹配的无人艇雷达光电融合方法
CN113781516B (zh) 一种高空抛物检测方法
Hussain et al. Multiple objects tracking using radar for autonomous driving
Srinivasa et al. A fusion system for real-time forward collision warning in automobiles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Building B7, Lugu enterprise Plaza, 27 Wenxuan Road, high tech Zone, Changsha City, Hunan Province, 410205

Patentee after: Huanuo Xingkong Technology Co.,Ltd.

Address before: Building B7, Lugu enterprise Plaza, 27 Wenxuan Road, high tech Zone, Changsha City, Hunan Province, 410205

Patentee before: Hunan Huanuo Xingkong Electronic Technology Co.,Ltd.

Address after: Building B7, Lugu enterprise Plaza, 27 Wenxuan Road, high tech Zone, Changsha City, Hunan Province, 410205

Patentee after: Hunan Huanuo Xingkong Electronic Technology Co.,Ltd.

Address before: Building B7, Lugu enterprise Plaza, 27 Wenxuan Road, high tech Zone, Changsha City, Hunan Province, 410205

Patentee before: HUNAN NOVASKY ELECTRONIC TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder