CN116125488A - 目标追踪方法、信号融合方法、装置、终端和存储介质 - Google Patents

目标追踪方法、信号融合方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN116125488A
CN116125488A CN202111342288.7A CN202111342288A CN116125488A CN 116125488 A CN116125488 A CN 116125488A CN 202111342288 A CN202111342288 A CN 202111342288A CN 116125488 A CN116125488 A CN 116125488A
Authority
CN
China
Prior art keywords
target
tracking
sampling
signal
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111342288.7A
Other languages
English (en)
Inventor
杨炎龙
李娟娟
吴雷
邓永强
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202111342288.7A priority Critical patent/CN116125488A/zh
Priority to PCT/CN2022/130561 priority patent/WO2023083164A1/zh
Publication of CN116125488A publication Critical patent/CN116125488A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请属于信号处理技术领域,主要提供了一种目标追踪方法、信号融合方法、装置、终端和存储介质,本申请实施例中,通过在利用激光雷达传感器对追踪场景中的追踪目标进行检测的同时,利用波长大于激光雷达的毫米波雷达传感器对追踪场景中的追踪目标进行检测,得到毫米波雷达采样信号,使得在基于激光雷达采样信号对追踪场景中的追踪目标进行检测的过程中,确定出追踪场景存在被遮挡的追踪目标时,可以利用毫米波雷达采样信号对该被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号,解决了利用激光雷达进行目标追踪,无法对被遮挡的目标进行准确检测的问题,使得激光雷达传感器的传感器性能得以提高。

Description

目标追踪方法、信号融合方法、装置、终端和存储介质
技术领域
本申请属于信号处理技术领域,尤其涉及一种目标追踪方法、信号融合方法、装置、终端和存储介质。
背景技术
激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。
然而,由于激光的出射能量被严格控制,并且激光的波长远小于被测目标,因此,当发生目标互相遮挡时,激光雷达将无法对被遮挡的目标进行准确检测。
发明内容
本申请的目的在于提供一种目标追踪方法、信号融合方法、装置、终端和存储介质,可以解决利用激光雷达进行目标追踪,无法对被遮挡的目标进行准确检测的问题。
本申请实施例第一方面提供一种目标追踪方法,所述目标追踪方法包括:
获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号;
基于所述激光雷达采样信号对所述追踪场景中的追踪目标进行检测,并确定所述追踪场景中被遮挡的追踪目标;
基于所述毫米波雷达采样信号对所述被遮挡的追踪目标对应的激光采样值进行更新,得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号。
本申请实施例第二方面还提供一种信号融合方法,包括:
获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号;
确定所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
将所述第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到所述卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
基于所述第二真实运动状态向量、所述预测运动状态向量对所述当前帧激光雷达采样信号以及所述当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
本申请实施例第三方面还提供一种目标追踪装置,包括:
第一获取单元,用于获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号;
第一确定单元,用于基于所述激光雷达采样信号对所述追踪场景中的追踪目标进行检测,并确定所述追踪场景中被遮挡的追踪目标;
更新单元,用于基于所述毫米波雷达采样信号对所述被遮挡的追踪目标对应的激光采样值进行更新,得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号。
本申请实施例第四方面还提供一种信号融合装置,包括:
第二获取单元,用于获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号;
第二确定单元,用于确定所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
预测单元,用于将所述第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到所述卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
融合单元,用于基于所述第二真实运动状态向量、所述预测运动状态向量对所述当前帧激光雷达采样信号以及所述当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
本申请实施例第五方面提供一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的目标追踪方法的步骤,和/或,上述第二方面所述的信号融合方法的步骤。
本申请实施例第六方面提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的目标追踪方法的步骤,和/或,上述第二方面所述的信号融合方法的步骤。
本申请实施例中,通过在利用激光雷达传感器对追踪场景中的追踪目标进行检测的同时,利用波长大于激光雷达的毫米波雷达传感器对追踪场景中的追踪目标进行检测,得到毫米波雷达采样信号,使得在基于激光雷达采样信号对追踪场景中的追踪目标进行检测的过程中,确定出追踪场景存在被遮挡的追踪目标时,可以利用毫米波雷达采样信号对该被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号,解决了利用激光雷达进行目标追踪,无法对被遮挡的目标进行准确检测的问题,使得激光雷达传感器的传感器性能得以提高。
具体的,当发生目标互相遮挡时,激光雷达将无法对被遮挡的追踪目标进行准确检测,但是对于毫米波雷达传感器来说,其具有毫米量级的波长,对于目标有绕射的效果,当发生追踪目标互相遮挡时,在毫米波雷达采样信号中依然清晰可辨被遮挡的追踪目标的存在。因此,可以基于毫米波雷达采样信号对被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号,以解决利用激光雷达进行目标追踪。
附图说明
图1为本申请实施例提供的激光雷达采样信号的示意图。
图2为本申请实施例提供的目标追踪方法的实现流程示意图。
图3为本申请实施例提供的目标追踪方法步骤202的具体实现流程示意图。
图4为本申请实施例提供的信号融合方法的实现流程示意图。
图5为本申请的实施例提供的目标追踪装置的结构示意图。
图6为本申请的实施例提供的信号融合装置的结构示意图。
图7为本申请的实施例提供的终端的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
传感器融合在机器人感知领域中有着不可替代的作用,这是由于人造传感器对于环境的感知无法做到对环境的完美还原。一方面原因是电子电路对于环境的采样噪声和离散采样,另一方面则是由于物理原理性的采样载体缺陷。
例如,利用电磁波进行环境感知的激光雷达传感器,其具有应对白天和夜晚全天候的优势,但是,由于激光的出射能量被严格控制,并且激光的波长远小于被测目标,因此,当发生追踪目标互相遮挡时,激光雷达将无法对被遮挡的目标进行检测。
例如,如图1所示,为连续采集到的追踪场景的4帧激光雷达采样信号a、b、c、d,其中,横坐标表示角度,纵坐标表示距离,高亮部分(图中灰度值较低部分)为高回波能量的位置,高亮以外的部分(图中灰度值较高部分)为低回波能量的位置。从a、b、c、d中可以看到激光雷达传感器探测到追踪场景中存在一左一右相向运动的两个追踪目标,并且,这两个追踪目标中的一个追踪目标遮挡了另一个追踪目标的激光信号。此时,很显然,从激光雷达采样信号中无法分辨出这两个追踪目标。
基于此,本申请实施例提供了一种目标追踪方法、信号融合方法、装置、终端和存储介质,通过在利用激光雷达传感器对追踪场景中的追踪目标进行检测的同时,利用波长大于激光雷达的毫米波雷达传感器对追踪场景中的追踪目标进行检测,得到毫米波雷达采样信号,使得在基于激光雷达采样信号对追踪场景中的追踪目标进行检测的过程中,确定出追踪场景存在被遮挡的追踪目标时,可以利用毫米波雷达采样信号对该被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号,解决了利用激光雷达进行目标追踪,无法对被遮挡的目标进行准确检测的问题,使得激光雷达传感器的传感器性能得以提高。
为了更好的说明本申请的技术方案,下面通过实施例的方式进行举例说明。
实施例一:
如图2所示,为本申请实施例提供的一种目标追踪方法的实现流程示意图,该方法可以由终端上配置的目标追踪装置执行。并且,该终端可以为需要进行目标追踪的设备,例如,该终端可以为无人驾驶汽车、机器人等终端设备,通过对追踪场景中的追踪目标进行追踪,可以实现对周围环境的准确感知。并且,该终端可以配置有激光雷达传感器和毫米波雷达传感器。
具体的,本申请实施例提供的目标追踪方法可以采用下述步骤201至步骤203实现:
步骤201,获取同一场景的激光雷达采样信号和毫米波雷达采样信号。
本申请实施例中,在进行目标追踪时,可以同步利用激光雷达传感器和毫米波雷达传感器对追踪场景中的追踪目标进行追踪,得到同一场景的激光雷达采样信号和毫米波雷达采样信号。
可选的,在利用毫米波雷达传感器对追踪场景中的追踪目标进行追踪时,可以采用连续调频(FMCW)的方式进行空间测量,从射频天线上发送和接收基频为24GHz或77GHz的连续调制电磁波,并对接收到的回波信号进行采样,得到毫米波雷达采样信号,再基于该毫米波雷达采样信号实现对追踪场景中的追踪目标的测距、测速和测方位角。
在利用激光雷达传感器对追踪场景中的追踪目标进行追踪时,可以采用脉冲时间飞行(TOF)法对每个量测角度进行采样,得到各个量测角度对应的信号,并基于该信号实现追踪场景中的追踪目标的测距。
可选的,上述激光雷达传感器可以为机械式激光雷达传感器,其由若干组可以旋转的激光发射器和接收器组成。每个发射器发射的一条激光束俗称“线”,主要有单线、4线、16线、32线、64线和128线雷达。发射器和接收器连接在一个可以旋转的机械结构上,某时刻发射器将激光发射出去,之后接收器接收返回的激光并计算激光与物体碰撞点到雷达原点的距离。由于每次发射/接收的角度是预先设定的,因此根据距离、水平角度和垂直角度就能求出碰撞点相对于激光雷达中心的坐标。
以32线激光雷达传感器为例,工作状态时这32根线在水平平面旋转可以采集一周360°的数据。雷达的旋转速度和角分辨率是可以调节的,常用速度为10hz(100ms转一圈)对应每0.2°采集一次数据,即角分辨率为360/0.2=1800。由此可以看出,该激光雷达传感器采样得到的激光雷达采样信号包含1800个量测角度对应的激光雷达采样信号。
也就是说,上述激光雷达采样信号可以包含多个量测角度对应的激光雷达采样信号。
相应的,上述毫米波雷达信号也包含与激光雷达传感器的各个量测角度分别对应的毫米波雷达采样信号。
例如,上述毫米波雷达传感器可以采用面阵的天线阵列,其覆盖的视场可以是前向180°空间或者更小,对于360°环视激光雷达,可以搭配3-4个面阵毫米波雷达,或者,搭配一个360°环视的毫米波雷达传感器。
步骤202,基于激光雷达采样信号对追踪场景中的追踪目标进行检测,并确定追踪场景中被遮挡的追踪目标。
本申请实施例中,在获取到同一场景的激光雷达采样信号和毫米波雷达采样信号之后,需要基于激光雷达采样信号对追踪场景中的追踪目标进行检测,进而将追踪场景中存在的被遮挡的追踪目标检测出来。
可选的,在本申请的一些实施方式中,上述步骤202中,基于激光雷达采样信号对追踪场景中的追踪目标进行检测,并确定追踪场景中被遮挡的追踪目标,可以采用下述步骤A01至步骤A03实现。
步骤A01,对激光雷达采样信号与毫米波雷达采样信号进行对齐处理,得到对齐后的激光雷达采样信号,以及对齐后的毫米波雷达采样信号。
本申请实施例中,在对激光雷达采样信号与毫米波雷达采样信号进行对齐处理的过程中,可以将激光雷达采样信号和毫米波雷达采样信号的采样幅值归一化后统一到相同坐标系下,实现空间同步,再同步采样时间,得到时空同步的激光雷达采样信号和毫米波雷达采样信号,即,对齐后的激光雷达采样信号和毫米波雷达采样信号。
具体的,空间同步方案为:在获取激光雷达传感器与毫米波雷达传感器之间的空间同步参数的过程中,可以先设置毫米波雷达传感器和激光雷达传感器空间标定的实验环境,即,在毫米波暗室中,保持除了放置毫米波敏感金属标志物的位置可以产生回波以外,其他位置的毫米波扫描电磁波一概被吸收,无法产生回波。对于激光雷达传感器来说也是一样,除了放置该标志物的位置是白色,其他位置一律是吸光的黑色材料。然后,在出射毫米波雷达扫描信号和激光雷达扫描信号,并获取该毫米波雷达扫描信号和激光雷达扫描信号对应的回波信号,并在该回波信号中,分别计算出标志物的具体位置,将标志物一一对齐后,解方程组计算出毫米波雷达传感器和激光雷达传感器的相对位置参数,就是毫米波雷达传感器和激光雷达传感器的空间同步参数,基于该空间同步参数即可实现对二者进行空间同步。
时间同步方案为:在激光雷达传感器转动扫描时,每当激光雷达电机转过自身零点,发送一个同步脉冲到毫米波雷达传感器,毫米波雷达传感器在接收到该触发脉冲时,开始发送连续调频电磁波,载波为24GHz或者77GHz。与此同时毫米波雷达传感器接收天线开始接收电磁波回波,在发送结束之后,接收也差不多结束,而激光雷达传感器也转动扫描过了相同的视场。此时,将二者的采样电信号作为同一帧内容输出,即可实现时间同步。
步骤A02,将对齐后的激光雷达采样信号中的各个采样点与对齐后的毫米波雷达采样信号中的各个采样点进行配对,得到激光雷达采样信号中未与毫米波雷达采样信号配对成功的采样点。
步骤A03,将激光雷达采样信号中未与毫米波雷达采样信号配对成功的采样点确定为被遮挡的追踪目标。
本申请实施例中,在对齐后的激光雷达采样信号与毫米波雷达采样信号的采样点中,当基于毫米波雷达采样信号确定某个角度存在多个追踪目标,而激光雷达采样信号在该角度只能确定出一个追踪目标时,则可以确认激光雷达采样信号中该角度对应的采样点与未与毫米波雷达采样信号配对成功,即,可以将激光雷达采样信号中的该采样点确定为被遮挡的追踪目标。
反之,当基于毫米波雷达采样信号确定某个角度存在一个追踪目标,而激光雷达采样信号在该角度也确定出一个追踪目标或零个追踪目标(毫米波雷达传感器受限于毫米波天线个数,在左右角度上有较大展宽导致毫米波雷达采样信号确定某个角度存在一个追踪目标,而激光雷达采样信号在该角度确定出零个追踪目标)时,则可以确认激光雷达采样信号中该角度对应的采样点与毫米波雷达采样信号配对成功。
本申请实施例,通过将激光雷达采样信号中未与毫米波雷达采样信号配对成功的采样点确定为被遮挡的追踪目标,即,将激光雷达采样信号中未与毫米波雷达采样信号配对成功的采样点确定为被遮挡的追踪目标对应的采样点,以实现基于激光雷达采样信号对追踪场景中的追踪目标进行检测,并确定追踪场景中存在的被遮挡的追踪目标。
步骤203,基于毫米波雷达采样信号对被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号。
例如,将上述步骤303,激光雷达采样信号中未与毫米波雷达采样信号配对成功的采样点对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号。
本申请实施例中,由于毫米波雷达传感器受限于毫米波天线个数,在左右角度上有较大展宽,导致出现测距准确,但是测角精度较低的问题,因此,为了提高追踪目标的测角精度,一般采用激光雷达传感器对追踪场景的追踪目标进行追踪,然而,当发生目标互相遮挡时,激光雷达将无法对被遮挡的追踪目标进行准确检测,但是对于毫米波雷达传感器来说,其具有毫米量级的波长,对于目标有绕射的效果,当发生追踪目标互相遮挡时,在毫米波雷达采样信号中依然清晰可辨被遮挡的追踪目标的存在。因此,可以基于毫米波雷达采样信号对被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号,以解决利用激光雷达进行目标追踪,无法对被遮挡的目标进行准确检测的问题,使得激光雷达传感器的传感器性能得以提高。
实施例二:
本实施例对上述实施例一中目标追踪方法的具体实现方式进行举例说明。
可选的,在本申请的一些实施例中,上述步骤201中,获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号,可以包括:获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号。
需要说明的是,上述同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号为经过对齐处理的采样信号。其具体处理方式可以参考上述实施例一中步骤A01的描述,此处不再赘述。
可选的,在本申请的一些实施例中,如图3所示,上述步骤202中,基于激光雷达采样信号对追踪场景中的追踪目标进行检测,并确定追踪场景中被遮挡的追踪目标,可以采用下述步骤301至步骤304的方式实现。
步骤301,获取历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量。
可选的,在本申请的一些实施例中,可以采用光流追踪算法获取历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量。
为了描述的方便,下面以利用光流追踪算法确定目标采样点的目标运动状态向量为例,对上述步骤301的实现方式进行举例说明。其中,目标采样点为历史帧激光雷达采样信号以及当前帧激光雷达采样信号中的任意一个采样点。也就是说,历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量均可以采用确定目标采样点的目标运动状态向量的方式实现。
例如,通过遍历历史帧激光雷达采样信号以及当前帧激光雷达采样信号中的每个目标采样点,并基于每个目标采样点的目标运动状态向量得到历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量。
在本申请的一些实施例中,上述利用光流追踪算法确定目标采样点的目标运动状态向量可以采用下述步骤B01至步骤B04的方式实现。
步骤B01,建立目标采样点的光流模型f(x,y,t)=f(x+dx,y+dy,t+dt)。
具体的,由于追踪目标从图像的一个位置移动到另一个位置,在移动不那么大的情况下,其回波幅值能量变化也不大。因此,基于这个假设,可以建立目标采样点的光流模型f(x,y,t)=f(x+dx,y+dy,t+dt)。
其中,f(x,y,t)表示位置为(x,y)的目标采样点在t时刻的信号幅值,在dt时间后,假设空间中该追踪目标移动了,在像素平面中则体现为移动了dx,dy。但是由于这个追踪目标还是原来的目标,并且移动的距离不大,所以在激光雷达传感器中还应该探测到同样的幅值大小,即,f(x,y,t)=f(x+dx,y+dy,t+dt)。
步骤B02,对光流模型进行泰勒展开得到光流方程Ixu+Iyv+It=0,其中,Ix表示目标采样点在x方向的梯度,Iy表示目标采样点在y方向的梯度。
本申请实施例中,对光流模型f(x,y,t)=f(x+dx,y+dy,t+dt)进行泰勒展开具体如下:
Figure BDA0003352555100000111
其中,ε是二阶无穷小项,可以忽略不计。
步骤B03,基于目标采样点的邻域,利用最小二乘法求解光流方程,得到目标采样点在x方向的速度u和在y方向的速度v。
由于在所研究的像素邻域内,追踪目标的移动为常数。这一点是合乎常理的,因为物体在探测器中成像一般都是多个像素对其的响应,并且是连续的。所以在这里我们可以取研究的像素点附近的8邻域联立方程组,利用最小二乘法计算该点的最优解u和v。这样就为像素点(x,y)赋值了运动信息(u,v),成为(x,y,u,v)。
具体的,最小二乘方法解超定方程组的公式如下所示:
Figure BDA0003352555100000112
令:
Figure BDA0003352555100000113
可以得到最小二乘解为:w=(ATA)-1ATb。
步骤B04,将(x,y,i,u,v)作为位置为(x,y)信号幅值为i=f(x,y,t)的目标采样点的目标运动状态向量。
基于上述步骤B01至步骤B04,可以得到信号级的状态参数(x,y,i,u,v),即,目标采样点的目标运动状态向量。
步骤302,将第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量。
具体的,如下所示为卡尔曼滤波器的时间更新和状态更新的公式:
Figure BDA0003352555100000121
其中,A、B为系统参数,μt-1为t-1时刻的系统状态,基于μt-1可以对μt进行预测。
Σt为协方差矩阵,随着观测的迭代,该矩阵能够收敛。
Rt为过程噪声矩阵,取值越小,状态模型越可靠。
Qt为量测噪声,取值越小,传感器模型越可靠。
Ct=Hμt为量测矩阵,其中H是传感器的传递函数矩阵。
Kt为卡尔曼增益。
μt为t时刻的预测运动状态向量。
将量测值zt(第一真实运动状态向量)代入公式,可依据每次迭代计算当前帧的滤波结果μt和方差Σt作为输出结果。
依据上述5个公式,即可实现卡尔曼滤波器的自回归运算。
步骤303,计算预测帧信号中每个采样点的预测运动状态向量分别与当前帧激光雷达采样信号中对应采样点的第二真实运动状态向量之间距离。
步骤304,将距离大于预设距离阈值的采样点确定为追踪场景中被遮挡的追踪目标。
本申请实施例中,通过将历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量,并计算预测帧信号中每个采样点的预测运动状态向量分别与当前帧激光雷达采样信号中对应采样点的第二真实运动状态向量之间距离,进而将距离大于预设距离阈值的采样点确定为追踪场景中被遮挡的追踪目标,实现对追踪场景中被遮挡的追踪目标的检测。
可选的,在本申请的一些实施例中,上述步骤203中,基于毫米波雷达采样信号对被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号的过程中,可以通过查找当前帧毫米波雷达采样信号中与被遮挡的追踪目标对应的毫米波采样值,然后将与被遮挡的追踪目标对应的毫米波采样值输入卡尔曼滤波器,由卡尔曼滤波器对激光雷达采样信号中被遮挡的追踪目标对应的激光采样值进行更新,得到卡尔曼滤波器输出的包含被遮挡的追踪目标的追踪结果的第一目标采样信号。
本申请实施例,通过将距离大于预设距离阈值的采样点确定为追踪场景中被遮挡的追踪目标,并通过查找当前帧毫米波雷达采样信号中与被遮挡的追踪目标对应的毫米波采样值,然后将与被遮挡的追踪目标对应的毫米波采样值输入卡尔曼滤波器,由卡尔曼滤波器对激光雷达采样信号中被遮挡的追踪目标对应的激光采样值进行更新,得到卡尔曼滤波器输出的包含被遮挡的追踪目标的追踪结果的第一目标采样信号,解决了利用激光雷达进行目标追踪,无法对被遮挡的目标进行准确检测的问题,使得激光雷达传感器的传感器性能得以提高。
可选的,在本申请的一些实施例中,在得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号之后,还可以对第一目标采样信号进行峰值提取,得到追踪场景的追踪目标的点云数据。
其中,该点云数据可以包括追踪场景中各个追踪目标的角度、距离和速度中的一种或多种数据。
实施例三:
如图4所示,本实施例提供一种信号融合方法,该信号融合方法可以用于实现激光雷达采样信号与毫米波雷达采样信号的融合,可以采样下述步骤401至步骤404的方式实现。
步骤401,获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号。
需要说明的是,上述步骤401中同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号可以为经过对齐处理的采样信号。其具体处理方式可以参考上述实施例一中步骤A01的描述,此处不再赘述。
步骤402,确定历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量。
步骤403,将第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量。
本申请实施例中,上述步骤402至步骤403的实现方式可以参考上述实施例二步骤301至步骤302的描述,此处不再赘述。
步骤404,基于第二真实运动状态向量、预测运动状态向量对当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
本申请实施例中,上述步骤404中,基于第二真实运动状态向量、预测运动状态向量对当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号进行信号融合的过程中,可以根据不同应用场景采用不同的融合方式。
例如,在本申请的一些实施方式中,当应用场景为解决激光雷达传感器无法准确检测被遮挡的追踪目标时,上述步骤404可以通过下述步骤D01至步骤D03实现:
步骤D01,计算预测帧信号中每个采样点的预测运动状态向量分别与当前帧激光雷达采样信号中对应采样点的第二真实运动状态向量之间距离;
步骤D02,将距离大于预设距离阈值的采样点确定为追踪场景中被遮挡的追踪目标。
步骤D03,查找当前帧毫米波雷达采样信号中与被遮挡的追踪目标对应的毫米波采样值;
步骤D04,将与被遮挡的追踪目标对应的毫米波采样值输入卡尔曼滤波器,由卡尔曼滤波器对激光雷达采样信号中被遮挡的追踪目标对应的激光采样值进行更新,得到卡尔曼滤波器输出的包含被遮挡的追踪目标的追踪结果的第二目标采样信号。
即,上述第二目标采样信号与上述第一目标采样信号相同。
其中,上述步骤D01至步骤D04的具体实现方式可以参看上述实施例二中的相关描述,此处不再赘述。
应理解的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为根据本申请,某些步骤可以采用其它顺序进行。
实施例四:
如图5所示,为本申请实施例提供的目标追踪装置的结构示意图,该目标追踪装置500可以包括:第一获取单元501、第一确定单元502和更新单元503。
第一获取单元501,用于获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号;
第一确定单元502,用于基于激光雷达采样信号对追踪场景中的追踪目标进行检测,并确定追踪场景中被遮挡的追踪目标;
更新单元503,用于基于毫米波雷达采样信号对被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号。
需要说明的是,为描述的方便和简洁,上述描述的目标追踪装置的具体工作过程,可以参考上述实施例一和实施例二中目标追踪方法的描述,在此不再赘述。并且,还需要说明的是,上述各个实施方式可以进行相互组合,得到多种不同的实施方式,均属于本申请的保护范围。
如图6所示,为本申请实施例提供的信号融合装置的结构示意图,该信号融合装置600可以包括:第二获取单元601、第二确定单元602、预测单元603和融合单元604。
第二获取单元601,用于获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号;
第二确定单元602,用于确定历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
预测单元603,用于将第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
融合单元604,用于基于第二真实运动状态向量、预测运动状态向量对当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
需要说明的是,为描述的方便和简洁,上述描述的信号融合装置的具体工作过程,可以参考上述实施例三中目信号融合方法的描述,在此不再赘述。并且,还需要说明的是,上述各个实施方式可以进行相互组合,得到多种不同的实施方式,均属于本申请的保护范围。
如图7所示,本申请实施例还提供一种终端。该终端可以配置有上述各个实施方式所示的目标追踪装置和/或信号融合装置。
如图7所示,终端7可以包括:处理器70、存储器71以及存储在存储器71中并可在处理器70上运行的计算机程序72。处理器70执行计算机程序72时实现上述各个目标追踪方法实施例中的步骤,例如,图2所示的步骤201至步骤203。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,也可以是任何常规的处理器等。
存储器71可以是终端7的内部存储单元,例如,硬盘或内存。存储器71也可以是用于终端7的外部存储设备,例如,终端7上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器71还可以既包括终端7的内部存储单元也包括外部存储设备。存储器71用于存储上述计算机程序以及终端所需的其他程序和数据。
上述计算机程序可以被分割成一个或多个模块/单元,上述一个或者多个模块/单元被存储在上述存储器71中,并由上述处理器70执行,以完成本申请。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述上述计算机程序在上述进行目标追踪的终端中的执行过程。例如,上述计算机程序可以被分割成:第一获取单元、第一确定单元和更新单元,具体功能如下:
第一获取单元,用于获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号;
第一确定单元,用于基于激光雷达采样信号对追踪场景中的追踪目标进行检测,并确定追踪场景中被遮挡的追踪目标;
更新单元,用于基于毫米波雷达采样信号对被遮挡的追踪目标对应的激光采样值进行更新,得到包含被遮挡的追踪目标的追踪结果的第一目标采样信号。
或者,上述计算机程序可以被分割成:第二获取单元、第二确定单元、预测单元和融合单元,具体功能如下:
第二获取单元,用于获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号;
第二确定单元,用于确定历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
预测单元,用于将第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
融合单元,用于基于第二真实运动状态向量、预测运动状态向量对当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的终端和方法,可以通过其它的方式实现。例如,以上所描述的终端实施例仅仅是示意性的。例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口、装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (15)

1.一种目标追踪方法,其特征在于,包括:
获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号;
基于所述激光雷达采样信号对所述追踪场景中的追踪目标进行检测,并确定所述追踪场景中被遮挡的追踪目标;
基于所述毫米波雷达采样信号对所述被遮挡的追踪目标对应的激光采样值进行更新,得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号。
2.如权利要求1所述的目标追踪方法,其特征在于,所述获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号,包括:
获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号。
3.如权利要求2所述的目标追踪方法,其特征在于,所述基于所述激光雷达采样信号对所述追踪场景中的追踪目标进行检测,并确定所述追踪场景中被遮挡的追踪目标,包括:
获取所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
将所述第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到所述卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
计算所述预测帧信号中每个采样点的预测运动状态向量分别与所述当前帧激光雷达采样信号中对应采样点的第二真实运动状态向量之间距离;
将所述距离大于预设距离阈值的采样点确定为所述追踪场景中被遮挡的追踪目标。
4.如权利要求3所述的目标追踪方法,其特征在于,所述获取所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量,包括:
利用光流追踪算法确定目标采样点的目标运动状态向量;所述目标采样点为所述历史帧激光雷达采样信号以及所述当前帧激光雷达采样信号中的任意一个采样点。
5.如权利要求4所述的目标追踪方法,其特征在于,所述利用光流追踪算法确定目标采样点的目标运动状态向量,包括:
建立所述目标采样点的光流模型f(x,y,t)=f(x+dx,y+dy,t+dt),其中,f(x,y,t)表示位置为(x,y)的所述目标采样点在t时刻的信号幅值;
对所述光流模型进行泰勒展开得到光流方程Ixu+Iyv+It=0,其中,Ix表示所述目标采样点在x方向的梯度,Iy表示所述目标采样点在y方向的梯度;
基于所述目标采样点的邻域,利用最小二乘法求解所述光流方程,得到所述目标采样点在x方向的速度u和在y方向的速度v;
将(x,y,i,u,v)作为位置为(x,y)信号幅值为i=f(x,y,t)的所述目标采样点的目标运动状态向量。
6.如权利要求3-5任意一项所述的目标追踪方法,其特征在于,所述基于所述毫米波雷达采样信号对所述被遮挡的追踪目标对应的激光采样值进行更新,得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号,包括:
查找所述当前帧毫米波雷达采样信号中与所述被遮挡的追踪目标对应的毫米波采样值;
将与所述被遮挡的追踪目标对应的毫米波采样值输入所述卡尔曼滤波器,由所述卡尔曼滤波器对所述激光雷达采样信号中被遮挡的追踪目标对应的激光采样值进行更新,得到所述卡尔曼滤波器输出的包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号。
7.如权利要求1所述的目标追踪方法,其特征在于,所述基于所述激光雷达采样信号对所述追踪场景中的追踪目标进行检测,并确定所述追踪场景中被遮挡的追踪目标,包括:
对所述激光雷达采样信号与所述毫米波雷达采样信号进行对齐处理,得到对齐后的激光雷达采样信号,以及对齐后的毫米波雷达采样信号;
将所述对齐后的激光雷达采样信号中的各个采样点与所述对齐后的毫米波雷达采样信号中的各个采样点进行配对,得到所述激光雷达采样信号中未与所述毫米波雷达采样信号配对成功的采样点;
将所述激光雷达采样信号中未与所述毫米波雷达采样信号配对成功的采样点确定为所述被遮挡的追踪目标。
8.如权利要求1所述的目标追踪方法,其特征在于,在得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号之后,包括:
对所述第一目标采样信号进行峰值提取,得到所述追踪场景的追踪目标的点云数据。
9.一种信号融合方法,其特征在于,包括:
获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号;
确定所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
将所述第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到所述卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
基于所述第二真实运动状态向量、所述预测运动状态向量对所述当前帧激光雷达采样信号以及所述当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
10.如权利要求9所述的信号融合方法,其特征在于,所述确定所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量,包括:
利用光流追踪算法确定目标采样点的目标运动状态向量;所述目标采样点为所述历史帧激光雷达采样信号或所述当前帧激光雷达采样信号中的任意一个采样点。
11.如权利要求10所述的信号融合方法,其特征在于,所述利用光流追踪算法确定目标采样点的目标运动状态向量,包括:
建立所述目标采样点的光流模型f(x,y,t)=f(x+dx,y+dy,t+dt),其中,f(x,y,t)表示位置为(x,y)的所述目标采样点在t时刻的信号幅值;
对所述光流模型进行泰勒展开得到光流方程Ixu+Iyv+It=0,其中,Ix表示所述目标采样点在x方向的梯度,Iy表示所述目标采样点在y方向的梯度;
基于所述目标采样点的邻域,利用最小二乘法求解所述光流方程,得到所述目标采样点在x方向的速度u和在y方向的速度v;
将(x,y,i,u,v)作为位置为(x,y)信号幅值为i=f(x,y,t)的所述目标采样点的目标运动状态向量。
12.一种目标追踪装置,其特征在于,包括:
第一获取单元,用于获取同一追踪场景的激光雷达采样信号和毫米波雷达采样信号;
第一确定单元,用于基于所述激光雷达采样信号对所述追踪场景中的追踪目标进行检测,并确定所述追踪场景中被遮挡的追踪目标;
更新单元,用于基于所述毫米波雷达采样信号对所述被遮挡的追踪目标对应的激光采样值进行更新,得到包含所述被遮挡的追踪目标的追踪结果的第一目标采样信号。
13.一种信号融合装置,其特征在于,包括:
第二获取单元,用于获取同一追踪场景的历史帧激光雷达采样信号、当前帧激光雷达采样信号以及当前帧毫米波雷达采样信号;
第二确定单元,用于确定所述历史帧激光雷达采样信号中每个采样点的第一真实运动状态向量,以及当前帧激光雷达采样信号中每个采样点的第二真实运动状态向量;
预测单元,用于将所述第一真实运动状态向量输入卡尔曼滤波器进行滤波跟踪,得到所述卡尔曼滤波器输出的预测帧信号中每个采样点的预测运动状态向量;
融合单元,用于基于所述第二真实运动状态向量、所述预测运动状态向量对所述当前帧激光雷达采样信号以及所述当前帧毫米波雷达采样信号进行信号融合,得到第二目标采样信号。
14.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-11任意一项所述方法的步骤。
15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-11中任意一项所述方法的步骤。
CN202111342288.7A 2021-11-12 2021-11-12 目标追踪方法、信号融合方法、装置、终端和存储介质 Pending CN116125488A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111342288.7A CN116125488A (zh) 2021-11-12 2021-11-12 目标追踪方法、信号融合方法、装置、终端和存储介质
PCT/CN2022/130561 WO2023083164A1 (zh) 2021-11-12 2022-11-08 目标追踪方法、信号融合方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111342288.7A CN116125488A (zh) 2021-11-12 2021-11-12 目标追踪方法、信号融合方法、装置、终端和存储介质

Publications (1)

Publication Number Publication Date
CN116125488A true CN116125488A (zh) 2023-05-16

Family

ID=86308595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111342288.7A Pending CN116125488A (zh) 2021-11-12 2021-11-12 目标追踪方法、信号融合方法、装置、终端和存储介质

Country Status (2)

Country Link
CN (1) CN116125488A (zh)
WO (1) WO2023083164A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765026A (zh) * 2023-12-21 2024-03-26 北京斯年智驾科技有限公司 一种目标跟踪方法、系统、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9921307B2 (en) * 2015-01-30 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Combined RADAR sensor and LIDAR sensor processing
KR101784611B1 (ko) * 2016-06-09 2017-11-06 재단법인대구경북과학기술원 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법
CN111537994B (zh) * 2020-03-24 2022-05-06 江苏徐工工程机械研究院有限公司 一种无人矿卡障碍物检测方法
CN111862157B (zh) * 2020-07-20 2023-10-10 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN113391289B (zh) * 2021-06-11 2022-12-30 森思泰克河北科技有限公司 一种雷达虚假目标抑制方法、装置及终端设备
CN113469130A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种遮挡目标检测方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
WO2023083164A1 (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN109085570A (zh) 基于数据融合的车辆检测跟踪算法
WO2020133217A1 (zh) 连续障碍物检测方法、设备、系统及存储介质
US20140205205A1 (en) Method and apparatus for determining and storing the position and orientation of antenna structures
CN104535996B (zh) 图像/激光测距/低空调频连续波雷达一体化系统
CN103809175A (zh) 隐身飞机散射特性现场快速评估系统
Cui et al. 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars
CN109343052A (zh) 基于mimo的毫米波雷达有轨电车防碰撞预警方法及系统
CN112572430A (zh) 碰撞风险确定方法和装置
CN112784679A (zh) 车辆避障方法和装置
CN106772263A (zh) 对地监视雷达
CN110989613A (zh) 车辆定位方法、装置、电子设备及存储介质
CN115032627A (zh) 分布式多传感器多模态无人集群目标融合跟踪方法
WO2023083164A1 (zh) 目标追踪方法、信号融合方法、装置、终端和存储介质
CN112633101A (zh) 障碍物速度检测方法和装置
Hügler et al. UAV-borne 2-D and 3-D radar-based grid mapping
CN113167885B (zh) 车道线检测方法和车道线检测装置
CN105403886A (zh) 一种机载sar定标器图像位置自动提取方法
CN117075099A (zh) 三维形变测量方法、装置、计算机设备及介质
CN109870685B (zh) 基于改进的rd算法的室内距离向移动sar成像方法
CN209496136U (zh) 基于mimo的毫米波雷达有轨电车防碰撞预警系统
WO2020133041A1 (zh) 车速计算方法、系统、设备及存储介质
CN113895482B (zh) 基于轨旁设备的列车测速方法及装置
CN116068503A (zh) 毫米波雷达和激光雷达的联合标定方法、装置及终端设备
CN116027288A (zh) 生成数据的方法、装置、电子设备及存储介质
CN114859337A (zh) 数据处理方法、装置、电子设备、计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination