CN116027318A - 多传感器信号融合的方法、装置、电子设备及存储介质 - Google Patents

多传感器信号融合的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116027318A
CN116027318A CN202111251503.2A CN202111251503A CN116027318A CN 116027318 A CN116027318 A CN 116027318A CN 202111251503 A CN202111251503 A CN 202111251503A CN 116027318 A CN116027318 A CN 116027318A
Authority
CN
China
Prior art keywords
signal data
signal
target
millimeter wave
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111251503.2A
Other languages
English (en)
Inventor
邓永强
杨炎龙
李娟娟
吴雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202111251503.2A priority Critical patent/CN116027318A/zh
Priority to PCT/CN2022/127075 priority patent/WO2023071992A1/zh
Publication of CN116027318A publication Critical patent/CN116027318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种多传感器信号融合的方法、装置、电子设备及存储介质，属于智能监控技术领域。包括：获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，多个探测传感器的工作频段不同。分别将多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，特征维度空间是根据每个探测传感器的探测维度和系统输出要求设置的。对多个信号数据进行融合处理，得到空间信号描述矩阵，空间信号描述矩阵能够描述目标的信号回波质量。基于空间信号描述矩阵，输出融合数据。如此，基于探测传感器的原始的采样信号进行数据融合，避免融合出现漏检等情况，提高了最终生成的融合数据的准确度。

Description

多传感器信号融合的方法、装置、电子设备及存储介质
技术领域
本申请涉及智能监控技术领域，特别涉及一种多传感器信号融合的方法、装置、电子设备及存储介质。
背景技术
探测传感器在智能监控技术领域得到广泛应用。常见的探测传感器包括但不限于激光雷达传感器、毫米波雷达传感器、可见光传感器。不同探测传感器的工作频段不同，使得不同探测传感器的探测性能有所差异，譬如，毫米波雷达传感器的穿透能力强于激光雷达传感器，但激光雷达传感器的探测精度高于毫米波雷达传感器。
由于单个探测传感器的探测性能存在一定的缺陷，所以通常采用多个传感器融合来提升探测的鲁棒性。目前的融合大多数是基于点云数据进行融合或者是基于目标检测结果进行融合，其中，这些点云数据或目标检测结果是经过一系列筛选等处理之后得到的。
然而，若单个探测传感器在探测时遇到挑战，譬如激光雷达传感器遇到雾霾、沙尘暴等恶劣天气，则会导致在筛选等处理过程中将一些模糊但真实的目标的相关数据筛选掉。如此，在融合时会出现漏检等情况，降低了最终生成的融合数据的准确度。
发明内容
本申请实施例提供了一种多传感器信号融合的方法、装置、电子设备及存储介质，可以解决相关技术中在融合时会出现漏检等情况，导致降低了最终生成的融合数据的准确度的问题。所述技术方案如下：
第一方面，提供了一种多传感器信号融合的方法，所述方法包括：
获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，所述多个探测传感器的工作频段不相同；
分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，所述特征维度空间是根据所述每个探测传感器的探测维度和系统输出要求设置的；
对所述多个信号数据进行融合处理，得到空间信号描述矩阵，所述空间信号描述矩阵能够描述目标的信号回波质量；
基于所述空间信号描述矩阵，输出融合数据。
作为本申请的一个示例，所述对所述多个信号数据进行融合处理，包括：
分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，所述多组评价参数集合中的每组评价参数集合包括所述至少一个评价参数；
基于所述多组评价参数集合进行信号融合处理。
作为本申请的一个示例，所述多个信号数据包括第一激光信号数据和毫米波信号数据；
所述分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，包括：
基于所述毫米波信号数据，确定所述目标对应的毫米波波峰位置和毫米波回波能量，得到一组评价参数集合；
基于所述第一激光信号数据，确定所述目标对应的回波前沿位置和激光波峰饱和度，得到另一组评价参数集合，所述回波前沿位置是指所述目标被激光雷达传感器初次探测到时所述激光雷达传感器探测出的位置，所述激光波峰饱和度用于指示所述目标为真实目标的置信度。
作为本申请的一个示例，所述基于所述多组评价参数集合进行信号融合处理，包括：
基于所述毫米波波峰位置和所述毫米波回波能量，确定所述毫米波波峰位置的方差，得到第一方差，所述第一方差用于指示所述目标在所述毫米波波峰位置处的概率分布情况；
基于所述回波前沿位置和所述激光波峰饱和度，确定所述回波前沿位置的方差，得到第二方差，所述第二方差用于指示所述目标在所述回波前沿位置处的概率分布情况；
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，确定所述空间信号描述矩阵。
作为本申请的一个示例，所述基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，确定所述空间信号描述矩阵，包括：
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，通过如下公式(1)至(3)，确定所述空间信号描述矩阵：
Figure BDA0003321922280000031
Figure BDA0003321922280000032
Figure BDA0003321922280000033
其中，所述μ12包括(x12,y12)，所述μ1为所述毫米波波峰位置，包括(x1,y1)，所述μ2为所述回波前沿位置，包括(x2,y2)，所述σ1为所述第一方差，所述σ2为所述第二方差，所述(x,y)为变量，所述σ12为联合置信度，所述V为联合置信度分布。
作为本申请的一个示例，所述基于所述空间信号描述矩阵，输出融合数据，包括：
从所述空间信号描述矩阵中，确定联合置信度大于置信度阈值的联合位置；
将所述联合置信度大于置信度阈值的联合位置和对应的联合置信度作为所述融合数据输出。
作为本申请的一个示例，所述对所述多个信号数据进行融合处理，包括：
基于所述多个信号数据进行位置关联；
根据位置关联结果，分别从所述多个信号数据中的每个信号数据中，确定所述目标的信号数据，得到所述目标的多个目标信号数据；
基于所述多个目标信号数据进行融合处理。
作为本申请的一个示例，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器，所述多个信号数据包括第一激光信号数据和毫米波信号数据；
所述基于所述多个信号数据进行位置关联之前，还包括：
从所述第一激光信号数据中滤除所述激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，以及从所述毫米波信号数据中滤除所述毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据；
所述基于所述多个信号数据进行位置关联，包括：
基于所述第一动态目标信号数据和所述第二动态目标信号数据进行位置关联。
作为本申请的一个示例，所述毫米波信号数据中包括速度，所述从所述毫米波信号数据中滤除所述毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据，包括：
从所述毫米波信号数据中确定速度小于速度阈值的信号数据；
从所述毫米波信号数据中删除所述速度小于所述速度阈值的信号数据；
将经过删除处理后得到的毫米波信号数据确定为所述第二动态目标信号数据。
作为本申请的一个示例，所述从所述第一激光信号数据中滤除所述激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，包括：
获取第二激光信号数据，所述第二激光信号数据是与所述第一激光信号数据相邻的一帧激光信号数据；
将所述第一激光信号数据与所述第二激光信号数据相减后得到的信号数据差值作为所述第二动态目标信号数据。
作为本申请的一个示例，所述特征维度空间包括角度特征和距离特征，所述基于所述空间信号描述矩阵，输出融合数据，包括：
获取所述第一动态目标信号数据中所述目标的角度、以及获取所述第二动态目标信号数据中所述目标的距离；
将所述角度和所述距离确定为所述融合数据。
作为本申请的一个示例，所述方法还包括：
输出所述第一激光信号数据中所述静态目标的距离和角度。
作为本申请的一个示例，所述分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间之前，还包括：
分别对所述多个传感器采样信号中的每个传感器采样信号进行正则化处理；
所述分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，包括：分别将经正则化处理后的所述每个传感器采样信号同步至所述特征维度空间。
作为本申请的一个示例，所述方法还包括：
对所述多个探测传感器进行时间同步和空间同步，其中，所述时间同步是指通过所述多个传感器中的一个探测传感器触发所述多个传感器中的其他探测传感器工作，空间同步是指通过所述多个探测传感器对相同测试目标的多次探测确定空间转换矩阵。
作为本申请的一个示例，所述对所述多个信号数据进行融合处理，包括：
当所述多个探测传感器的采样步长不相同时，通过插值法对齐所述多个信号数据的采样步长；
对经对齐处理后的所述多个信号数据进行融合处理。
作为本申请的一个示例，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器；
所述分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，包括：
将所述激光雷达传感器的采样信号从第一特征维度空间转换至所述特征维度空间，所述第一特征维度空间包括的特征维度为帧量特征、扫描光束特征、时间特征，所述特征维度空间包括的特征维度为速度特征、角度特征、距离特征；
将所述毫米波雷达传感器的采样信号从第二特征维度空间转换至所述特征维度空间，所述第二特征维度空间包括的特征维度为啁啾特征、辐射天线特征、时间特征。
第二方面，提供了一种多传感器信号融合的装置，所述装置包括：
获取模块，用于获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，所述多个探测传感器的工作频段不相同；
同步模块，用于分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，所述特征维度空间是根据所述每个探测传感器的探测维度和系统输出要求设置的；
融合模块，用于对所述多个信号数据进行融合处理，得到空间信号描述矩阵，所述空间信号描述矩阵能够描述目标的信号回波质量；
输出模块，用于基于所述空间信号描述矩阵，输出融合数据。
作为本申请的一个示例，所述融合模块用于：
分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，所述多组评价参数集合中的每组评价参数集合包括所述至少一个评价参数；
基于所述多组评价参数集合进行信号融合处理。
作为本申请的一个示例，所述多个信号数据包括第一激光信号数据和毫米波信号数据；所述融合模块用于：
所述分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，包括：
基于所述毫米波信号数据，确定所述目标对应的毫米波波峰位置和毫米波回波能量，得到一组评价参数集合；
基于所述第一激光信号数据，确定所述目标对应的回波前沿位置和激光波峰饱和度，得到另一组评价参数集合，所述回波前沿位置是指所述目标被激光雷达传感器初次探测到时所述激光雷达传感器探测出的位置，所述激光波峰饱和度用于指示所述目标为真实目标的置信度。
作为本申请的一个示例，所述融合模块用于：
基于所述毫米波波峰位置和所述毫米波回波能量，确定所述毫米波波峰位置的方差，得到第一方差，所述第一方差用于指示所述目标在所述毫米波波峰位置处的概率分布情况；
基于所述回波前沿位置和所述激光波峰饱和度，确定所述回波前沿位置的方差，得到第二方差，所述第二方差用于指示所述目标在所述回波前沿位置处的概率分布情况；
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，确定所述空间信号描述矩阵。
作为本申请的一个示例，所述融合模块用于：
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，通过如下公式(1)至(3)，确定所述空间信号描述矩阵：
Figure BDA0003321922280000061
Figure BDA0003321922280000062
Figure BDA0003321922280000071
其中，所述μ12包括(x12,y12)，所述μ1为所述毫米波波峰位置，包括(x1,y1)，所述μ2为所述回波前沿位置，包括(x2,y2)，所述σ1为所述第一方差，所述σ2为所述第二方差，所述(x,y)为变量，所述σ12为联合置信度，所述V为联合置信度分布。
作为本申请的一个示例，所述输出模块用于：
从所述空间信号描述矩阵中，确定联合置信度大于置信度阈值的联合位置；
将所述联合置信度大于置信度阈值的联合位置和对应的联合置信度作为所述融合数据输出。
作为本申请的一个示例，所述融合模块用于：
基于所述多个信号数据进行位置关联；
根据位置关联结果，分别从所述多个信号数据中的每个信号数据中，确定所述目标的信号数据，得到所述目标的多个目标信号数据；
基于所述多个目标信号数据进行融合处理。
作为本申请的一个示例，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器，所述多个信号数据包括第一激光信号数据和毫米波信号数据；
所述融合模块用于：从所述第一激光信号数据中滤除所述激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，以及从所述毫米波信号数据中滤除所述毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据；
所述融合模块基于所述多个信号数据进行位置关联的具体实现包括：基于所述第一动态目标信号数据和所述第二动态目标信号数据进行位置关联。
作为本申请的一个示例，所述毫米波信号数据中包括速度，所述融合模块用于：
从所述毫米波信号数据中删除所述速度小于所述速度阈值的信号数据；
将经过删除处理后得到的毫米波信号数据确定为所述第二动态目标信号数据。
作为本申请的一个示例，所述融合模块用于：
获取第二激光信号数据，所述第二激光信号数据是与所述第一激光信号数据相邻的一帧激光信号数据；
将所述第一激光信号数据与所述第二激光信号数据相减后得到的信号数据差值作为所述第二动态目标信号数据。
作为本申请的一个示例，所述特征维度空间包括角度特征和距离特征，所述输出模块用于：
获取所述第一动态目标信号数据中所述目标的角度、以及获取所述第二动态目标信号数据中所述目标的距离；
将所述角度和所述距离确定为所述融合数据。
作为本申请的一个示例，所述输出模块还用于：
输出所述第一激光信号数据中所述静态目标的距离和角度。
作为本申请的一个示例，所述同步模块还用于：
分别对所述多个传感器采样信号中的每个传感器采样信号进行正则化处理；
分别将经正则化处理后的所述每个传感器采样信号同步至所述特征维度空间。
作为本申请的一个示例，所述同步模块还用于：
对所述多个探测传感器进行时间同步和空间同步，其中，所述时间同步是指通过所述多个传感器中的一个探测传感器触发所述多个传感器中的其他探测传感器工作，空间同步是指通过所述多个探测传感器对相同测试目标的多次探测确定空间转换矩阵。
作为本申请的一个示例，所述融合模块用于：
当所述多个探测传感器的采样步长不相同时，通过插值法对齐所述多个信号数据的采样步长；
对经对齐处理后的所述多个信号数据进行融合处理。
作为本申请的一个示例，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器；
所述同步模块用于：
将所述激光雷达传感器的采样信号从第一特征维度空间转换至所述特征维度空间，所述第一特征维度空间包括的特征维度为帧量特征、扫描光束特征、时间特征，所述特征维度空间包括的特征维度为速度特征、角度特征、距离特征；
将所述毫米波雷达传感器的采样信号从第二特征维度空间转换至所述特征维度空间，所述第二特征维度空间包括的特征维度为啁啾特征、辐射天线特征、时间特征。
第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面任一项所述的方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一项所述的方法。
本申请实施例提供的技术方案带来的有益效果是：
获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，多个探测传感器的工作频段不相同。分别将多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中特征维度空间是根据每个探测传感器的探测维度和系统输出要求设置的。对多个信号数据进行融合处理，得到空间信号描述矩阵，空间信号描述矩阵能够描述目标的信号回波质量。基于空间信号描述矩阵，输出融合数据。如此，基于探测传感器的原始的传感器采样信号进行数据融合，在提高探测的鲁棒性的同时，避免因基于点云数据或者基于目标检测结果融合导致出现漏检等情况，提高了最终生成的融合数据的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种多传感器信号融合的方法流程图；
图2是根据另一示例性实施例示出的一种多传感器信号融合的方法流程图；
图3是根据一示例性实施例示出的一种采样信号的示意图；
图4是根据另一示例性实施例示出的一种多传感器信号融合的方法流程图；
图5是根据另一示例性实施例示出的一种多传感器信号融合的方法流程图；
图6是根据一示例性实施例示出的一种点云图的示意图；
图7是根据一示例性实施例示出的一种多传感器信号融合的装置的结构示意图；
图8是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
应当理解的是，本申请提及的“多个”是指两个或两个以上。在本申请的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在对本申请实施例提供的多传感器信号融合的方法进行详细介绍之前，先对本申请实施例涉及的术语进行简单介绍。
激光雷达传感器：通过激光扫描的方式，在探测范围内能够还原出周围环境的三维感知信息。其工作原理是，采用TOF(Time of flight，飞行时间测距)法进行测距，并在接收光电二极管后端进行AD(Analog-to-digital，模拟到数据)等时采样，在完成每个角度的采样之后，将采样信号幅值序列从网口输出，得到激光采样信号。激光雷达传感器可以实现精细的三维感知，能够达到0.2度的角分辨率。然而，当周围环境中出现肉眼可见的噪声时，激光雷达传感器的探测能力将会急剧下降。例如，在出现团雾、暴雨、大雪、沙尘等天气时，由于空气中的粒子聚合物的直径与激光雷达传感器的波长相当，并且粒子的量足够多，使得激光雷达传感器扫描的激光在入射到这些粒子聚合体中时发生衰减和后向散射。一方面产生了对于空气中粒子聚合体的误检测回波，另一方面降低了激光的传输功率，从而会缩小激光雷达传感器的探测范围。
毫米波雷达传感器：通过发射电磁波对周围环境进行感知。其工作原理是，采用包括FMCW(Frequency Modulated Continuous Wave，调频连续波)在内的调制方法进行空间测量，从射频天线上发送和接收基频为24GHz或77GHz的连续调制电磁波。对接收天线接收到的回波进行AD采样，存储到寄存器，在完成一帧信号接收后从网络接口输出，得到毫米波采样信号。毫米波雷达传感器具有受噪声影响较小的特点，也即具有较强的抗干扰能力。然而毫米波雷达传感器的探测精度较低，能够达到1度的角分辨率。
时间同步：包括硬件时间同步和软件时间同步。在一个实施例中，硬件时间同步是指通过一者每隔固定时间向另一者发送同步触发信号，另一者接收到同步触发信号后执行探测操作。二者同时输出采样信号。软件时间同步是建立在两个探测传感器分别有固定的输出帧率的基础上，将二者输出的每一帧在同一时间坐标轴下进行帧号对齐和平移对齐。
空间同步：设置多个探测传感器中每个探测传感器的波段均可见的标志物(如金属标志物)，使用多个探测传感器同时对标志物所在空间进行采样，将标志物在空间上进行旋转平移对齐。重复进行采样和旋转平移的操作，即可得到多组采样数据。基于每组采样数据，分别解算出标志物的位置信息，得到多组位置信息。基于多组位置信息通过解方程组确定旋转矩阵和平移向量，得到空间转换矩阵。在空间同步时，利用所确定的空间转换矩阵即可将多个探测传感器的数据统一至相同的坐标系中。
接下来，对本申请实施例涉及的执行主体进行简单介绍。
本申请实施例提供的多传感器信号融合的方法可以由电子设备来执行。该电子设备可以配置或连接有多个探测传感器，多个探测传感器的工作频段不相同。作为本申请的一个示例，多个探测传感器包括激光雷达传感器、毫米波雷达传感器。示例性地，激光雷达传感器可以包括但不限于8线激光雷达、16线激光雷达、24线激光雷达、32线激光雷达、64线激光雷达、128线激光雷达中的任一种。毫米波雷达传感器可以包括但不限于77GHz毫米波雷达、24GHz毫米波雷达中的任一种。
在实施中，激光雷达传感器和毫米波雷达传感器可以根据实际需求进行安装，譬如可以固定在交通路侧的标杆(横杆或立杆)上，以分别通过激光雷达传感器和毫米波雷达传感器对待检测的目标进行探测。作为一种示例，待检测的目标可以包括但不限于车辆、行人、非机动车辆、树木。
毫米波雷达传感器可以采用面阵的天线阵列，其覆盖的视场是前向180°空间或者更小。对于激光雷达传感器来说，包括有限的前向视场和360°环视视场。为了保证毫米波雷达传感器和激光雷达传感器的视场匹配，在一个示例中，在安装时，前向扫描的激光雷达传感器配合一个具有面阵的天线阵列的毫米波雷达传感器就可以完成对前向视场的扫描成像。对于360°环视视场的激光雷达传感器，则按需搭配3-4个具有面阵的天线阵列的毫米波雷达传感器，其中多个毫米波雷达传感器的视场存在部分重叠。或者，对于360°环视视场的激光雷达传感器，配合一个同样是360°环视视场的毫米波雷达传感器。
在一些实施例中，电子设备可以包括但不限于可穿戴设备、终端设备、车机设备、摄像设备、路侧基站。示例性地，可穿戴设备可以包括但不限于智能手表、智能手环、智能耳罩。另外，终端设备可以包括但不限于手机、平板电脑、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)。
其中，路侧基站是智能交通车路协同的重要基础设施，是集感知、计算、通讯能力为一体的服务站。在一实施例中，路侧基站又可以称为智慧基站或路侧融合感知系统。
在介绍完本申请实施例涉及的术语和执行主体后，接下来结合附图对本申请实施例提供的多传感器信号融合的方法进行详细介绍。
请参考图1，图1是根据一示例性实施例示出的一种多传感器信号融合的方法流程图。作为示例而非限定，该方法可以应用于上述电子设备中。该方法可以包括如下几个步骤：
步骤101：获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，多个探测传感器的工作频段不相同。
在一个实施例中，多个探测传感器包括激光雷达传感器和毫米波雷达传感器。在另一个实施例中，多个探测传感器包括毫米波雷达传感器和可见光探测传感器。在又一个实施例中，多个探测传感器包括毫米波雷达传感器和红外探测传感器。
作为本申请的一个示例，电子设备通过配置的多个探测传感器进行目标探测。在探测过程中，电子设备对多个探测传感器中每个探测传感器的回波进行采样处理后，得到多个传感器采样信号。
作为本申请的一个示例，在通过多个探测传感器进行目标探测时，还可以对多个探测传感器进行时间同步和空间同步。
其中，时间同步是指通过多个传感器中的一个探测传感器触发多个传感器中的其他探测传感器工作。
作为本申请的一个示例，以多个探测传感器包括激光雷达传感器和毫米波雷达传感器为例，时间同步的具体实现可以包括：在激光雷达传感器转动扫描的过程中，每当激光雷达传感器的电机转过自身的零点时，向毫米波雷达传感器发送一个同步触发信号。毫米波雷达传感器在接收到该同步触发信号时，开始发送连续的电磁波。与此同时毫米波雷达传感器的接收天线开始接收电磁波的回波，在发送结束之后，回波的接收也随之结束，而激光雷达传感器也转动扫描过了相同的视场。如此，使得二者的采样信号在时间上同步。
需要说明的是，上述时间同步是以激光雷达传感器触发毫米波雷达传感器为例进行说明，在另一实施例中，时间同步还可以由毫米波雷达传感器触发激光雷达传感器，示例性地，毫米波雷达传感器每次在发送连续的电磁波的同时，向激光雷达传感器发送一个同步触发信号。激光雷达传感器接收同步触发信号后，开始执行探测操作。
空间同步是指通过多个探测传感器对相同测试目标的多次探测确定空间转换矩阵。示例性地，在获取时间上同步的激光采样信号和毫米波采样信号之后，可以基于空间转换矩阵对激光采样信号和毫米波采样信号进行空间同步处理，之后，基于空间同步处理后的激光采样信号和毫米波采样信号执行后续操作。
在实施中，由于各个探测传感器的频段不相同，他们的反射率不相同，所以，多个传感器采样信号的信号幅值差异可能较大。为此，可以分别对各个探测传感器的传感器采样信号进行正则化处理，以将各个传感器采样信号的信号幅值转化至统一的幅值范围内。
在一个实施例中，可以通过如下公式(4)分别对各个传感器采样信号进行正则化处理：
Figure BDA0003321922280000141
其中，Vnorm表示正则化后的信号幅值，V表示原始的信号幅值，Vmin表示一帧探测数据中的最小信号幅值，Vmax表示一帧探测数据中的最大信号幅值。
之后，电子设备基于时间同步、空间同步、以及正则化处理后的多个传感器采样信号执行后续步骤。
步骤102：分别将多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，特征维度空间是根据每个探测传感器的探测维度和系统输出要求设置的。
探测传感器的探测维度根据探测传感器自身的特性决定的，譬如，若探测传感器为激光雷达传感器，则激光雷达传感器的探测维度(这里称为第一特征维度空间)包括的特征维度为帧量特征、扫描光束特征、时间特征、幅值特征。其中，帧量特征是指激光采样信号对应多个数据帧，扫描光束特征是指激光采样信号是通过扫描光束扫描得到的，时间特征是指激光采样信号对应有采样时间，幅值特征是指激光采样信号是具有一定幅值的。
再如，若探测传感器为毫米波雷达传感器，则毫米波雷达传感器的探测维度(这里称为第二特征维度空间)包括的特征维度为啁啾特征、辐射天线特征、时间特征、幅值特征。其中，啁啾特征是指脉冲瞬时频率随时间的变化而变化的特性，辐射天线特征是指毫米波采样信号是通过辐射天线发射电磁波得到，时间特征是指毫米波采样信号是对应有采样时间，幅值特征是指毫米波采样信号是具有一定幅值的。
系统输出要求可以根据实际需求进行设置。
作为本申请的一个示例，譬如系统输出要求包括速度、角度和距离，则该特征维度空间包括速度特征、角度特征和距离特征。此时，电子设备将激光雷达传感器的采样信号从第一特征维度空间转换至该特征维度空间，以及将毫米波雷达传感器的采样信号从第二特征维度空间转换至该特征维度空间。
步骤103：对多个信号数据进行融合处理，得到空间信号描述矩阵，空间信号描述矩阵能够描述目标的信号回波质量。
在一个实施例中，电子设备可以采用加权、互相关或者二元假设检验的方法对多个信号数据进行融合，得到空间信号描述矩阵。
在一个实施例中，考虑到离散数字采样的问题，多个探测传感器的空间采样密度可能不一样，在该种情况下，步骤103的具体实现包括：当多个探测传感器的采样步长不相同时，通过插值法对齐多个信号数据的采样步长，以将多个探测传感器的特征空间采样步长对齐。对经对齐处理后的多个信号数据进行融合处理，得到空间信号描述矩阵。
步骤104：基于空间信号描述矩阵，输出融合数据。
作为本申请的一个示例，对空间信号描述矩阵中融合后的信号进行峰值提取，根据峰值提取结果输出融合数据。譬如将峰值提取结果作为融合数据输出。
在本申请实施例中，获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，多个探测传感器的工作频段不相同。分别将多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中特征维度空间是根据每个探测传感器的探测维度和系统输出要求设置的。对多个信号数据进行融合处理，得到空间信号描述矩阵，空间信号描述矩阵能够描述目标的信号回波质量。基于空间信号描述矩阵，输出融合数据。如此，基于探测传感器的原始的传感器采样信号进行数据融合，在提高探测的鲁棒性的同时，避免因基于点云数据或者基于目标检测结果融合导致出现漏检等情况，提高了最终生成的融合数据的准确度。
接下来以多个探测传感器包括激光雷达传感器和毫米波雷达传感器为例进行说明。请参考图2，图2是根据另一示例性实施例示出的多传感器信号融合的方法流程示意图，该方法可以应用于上述电子设备中。作为示例而非限定，该方法可以包括如下几个实现步骤：
步骤201：获取同一时刻的、针对同一探测范围的激光雷达传感器和毫米波雷达传感器的采样信号，得到激光采样信号和毫米波采样信号。
其实现可以参见上述图1所示实施例中的步骤101。
步骤202：分别将激光采样信号和毫米波采样信号同步至同一特征维度空间，得到第一激光信号数据和毫米波信号数据。
在一个示例中，将激光雷达传感器的采样信号从第一特征维度空间转换至特征维度空间，第一特征维度空间包括的特征维度为帧量特征、扫描光束特征、时间特征，特征维度空间包括的特征维度为速度特征、角度特征、距离特征。以及将毫米波雷达传感器的采样信号从第二特征维度空间转换至特征维度空间，第二特征维度空间包括的特征维度为啁啾特征、辐射天线特征、时间特征。
步骤203：分别基于多个信号数据中的每个信号数据，确定能够评价目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，多组评价参数集合中的每组评价参数集合包括至少一个评价参数。
在本实施例中，多个信号数据包括第一激光信号数据和毫米波信号数据。
作为本申请的一个示例，步骤203的具体实现可以包括：基于毫米波信号数据，确定目标对应的毫米波波峰位置和毫米波回波能量，得到一组评价参数集合。基于第一激光信号数据，确定目标对应的回波前沿位置和激光波峰饱和度，得到另一组评价参数集合，回波前沿位置是指目标被激光雷达传感器初次探测到时激光雷达传感器探测出的位置，激光波峰饱和度用于指示目标为真实目标的置信度。
其中，目标的毫米波波峰位置是该目标出现概率最大的位置，也就是说，该目标在毫米波波峰位置出现的概率最大。从数学角度来说，毫米波波峰位置是该目标的位置无偏估计。
作为本申请的一个示例，可以基于毫米波信号数据，确定第一角度距离图，之后基于第一角度距离图，确定毫米波波峰位置。在一个示例中，第一角度距离图为毫米波采样信号的频谱图。示例性地，可以对毫米波采样信号进行3D-FFT(Fast FourierTransformation，快速傅里叶变换)处理，得到第一角度距离图。第一角度距离图的横坐标为角度，纵坐标为距离，对应的是极坐标系下的空间采样信号数据。
需要说明的是，上述仅是以对毫米波采样信号进行3D-FFT处理以得到第一角度距离图为例进行说明。在另一实施例中，还可以对毫米波采样信号进行小波变换处理，以确定第一角度距离图。在又一个实施例中，也可以对毫米波采样信号进行子空间变换处理，以确定第一角度距离图。
作为本申请的一个示例，基于第一角度距离图，通过2D-CFAR(Two Dimensional-Constant False-Alarm Rate，二维恒虚警算法)查找目标的毫米波波峰，确定毫米波波峰对应的角度和距离，之后根据该角度和距离确定毫米波波峰位置。示例性地，可以根据该角度和距离通过如下公式(5)确定毫米波波峰位置：
x1＝ρcosθ，y1＝ρsinθ  (5)
其中，x1表示毫米波波峰位置的横坐标，y1表示毫米波波峰位置的纵坐标，ρ表示距离，θ表示角度。
在确定毫米波回波能量时，电子设备基于第一角度距离图，对该目标的回波值进行积分，即可确定该目标的毫米波回波能量。
电子设备将毫米波波峰位置和毫米波回波能量作为一组评价参数集合。
作为本申请的一个示例，电子设备基于第一激光信号数据，确定第二角度距离图，之后基于第二角度距离图，确定目标对应的回波前沿位置和激光波峰饱和度。
作为本申请的一个示例，电子设备可以直接根据第一激光信号数据，构建出第二角度距离图。同理，第二角度距离图的横坐标为角度，纵坐标为距离。
示例性地，请参考图3，图3是根据一示例性实施例示出的一种角度距离图的示意图，其中，白色高亮区域是激光雷达传感器的探测数据。在纵坐标中数值20所在位置，从左至右的一条直线为毫米波雷达传感器的探测数据。
激光雷达传感器在激光扫描的过程中，当初次探测到目标时，电子设备根据目标的回波确定对应的位置，这里将该位置称为回波前沿位置。譬如请参考图3，假设目标为图3中的31，目标31的回波前沿位置如图3中的32所示。由于激光雷达传感器是采用TOF方法进行测距，因此，本申请实施例提取回波前沿位置，利用回波前沿位置作为目标的位置无偏估计。
作为本申请的一个示例，基于第二角度距离图，通过1D-CFAR(One Dimensional-Constant False-Alarm Rate，一维恒虚警算法)对激光雷达传感器每个角度的波形进行波峰提取，然后确定波峰的前沿位置，得到回波前沿位置。
其中，激光波峰饱和度用于指示激光回波的特征，可以作为激光回波质量的评价系数。
作为本申请的一个示例，基于第二角度距离图确定激光雷达传感器探测的目标的激光波峰饱和度的具体实现可以包括：基于第二角度距离图，获取目标对应的激光回波值和激光回波脉冲宽度。对激光回波值进行积分，得到激光回波能量。将激光回波能量与激光回波脉冲宽度相除后得到的数值作为目标对应的激光波峰饱和度。
在一个实施例中，基于第二角度距离图，通过动态阈值法，确定目标对应的激光回波脉冲宽度。
需要说明的是，上述基于第二角度距离图确定激光雷达传感器探测的目标的激光波峰饱和度的方法仅是示例性的，在另一实施例中，其具体实现还可以包括：基于第二角度距离图，获取目标对应的激光回波值和激光回波脉冲宽度。对激光回波值进行积分，得到激光回波能量。确定激光回波脉冲宽度下的理论激光回波能量。将激光回波能量与理论激光回波能量相除后得到的数值作为目标对应的激光波峰饱和度。
步骤204：基于多组评价参数集合进行信号融合处理，得到空间信号描述矩阵。
作为本申请的一个示例，步骤204的具体实现可以包括：基于毫米波波峰位置和毫米波回波能量，确定毫米波波峰位置的方差，得到第一方差，第一方差用于指示目标在毫米波波峰位置处的概率分布情况。基于回波前沿位置和激光波峰饱和度，确定回波前沿位置的方差，得到第二方差，第二方差用于指示目标在回波前沿位置处的概率分布情况。基于毫米波波峰位置、回波前沿位置、第一方差、第二方差，确定空间信号描述矩阵。
作为示例而非限定，基于毫米波波峰位置和毫米波回波能量，通过如下公式(6)确定毫米波波峰位置的方差：
Figure BDA0003321922280000181
其中，σ1为第一方差，μ1为毫米波波峰位置，包括(x1，y1)，feature表示毫米波回波能量，A和B是可调参数，具体可以根据实际需求进行设置。
作为示例而非限定，基于回波前沿位置和激光波峰饱和度，通过如下公式(7)确定回波前沿位置的方差：
Figure BDA0003321922280000182
其中，σ2为第二方差，μ2为回波前沿位置，包括(x2，y2)，power表示激光波峰饱和度。
作为示例而非限定，基于毫米波波峰位置、回波前沿位置、第一方差、第二方差，通过如下公式(1)至(3)，确定空间信号描述矩阵：
Figure BDA0003321922280000191
Figure BDA0003321922280000192
Figure BDA0003321922280000193
其中，μ12为联合位置，包括(x12,y12)，μ1为毫米波波峰位置，包括(x1,y1)，μ2为回波前沿位置，包括(x2,y2)，σ1为第一方差，σ2为第二方差，(x,y)为变量，σ12为联合置信度，V为联合置信度分布。
电子设备基于V可以确定联合置信度分布图，之后对联合置信度分布图进行转化，得到空间信号描述矩阵，也即利用空间信号描述矩阵表示联合置信度分布图。
需要说明的是，上述步骤203至步骤204是对多个信号数据进行融合处理的一种示例性实现方式。
步骤205：基于空间信号描述矩阵，输出融合数据。
作为本申请的一个示例，步骤205的具体实现可以包括：从空间信号描述矩阵中，确定联合置信度大于置信度阈值的联合位置。将联合置信度大于置信度阈值的联合位置和对应的联合置信度作为融合数据输出。
其中，置信度阈值可以由用户根据实际需求进行设置，或者，也可以由电子设备默认设置，本申请实施例对此不作限定。
由于联合位置是毫米波雷达传感器和激光雷达传感器共同检测到的目标出现概率最大的位置，所以，当联合位置的联合置信度大于置信度阈值时，说明该联合位置是目标出现概率最大的位置的置信度较大，也即可信度较高，因此电子设备将该联合位置和其联合置信度作为融合数据输出。
需要说明的是，基于空间信号描述矩阵输出融合数据的具体实现仅是示例性的，在另一实施例中，输出的融合数据还可以包括目标的其他探测数据。在一个实施例中，步骤205的具体实现还可以包括从空间信号描述矩阵中，确定联合置信度大于置信度阈值的联合位置。将联合置信度大于置信度阈值的联合位置、对应的联合置信度、速度作为融合数据输出。该速度是指毫米波雷达传感器探测到的速度。也即，输出的点云数据还可以包括毫米波雷达传感器探测的速度。在另一个实施例中，还可以将空间信号描述矩阵中的每个联合位置和每个联合位置的联合置信度作为点云数据输出，后续在使用点云数据时，可以根据每个联合位置的联合置信度进行筛选。
在一个实施例中，为了便于用户查看毫米波雷达传感器和激光雷达传感器各自探测的目标的位置分布情况，还可以绘制出毫米波雷达传感器的信号的置信度图，以及绘制出激光雷达传感器的信号的置信度图。
示例性，可以通过如下公式(8)和公式(9)确定毫米波雷达传感器的信号的置信度分布：
Figure BDA0003321922280000201
Figure BDA0003321922280000202
其中，V1表示毫米波雷达传感器的信号的置信度分布。
如此，基于上述得到的V1即可绘制出毫米波雷达传感器的信号的置信度图。
示例性，可以通过如下公式(10)和公式(11)确定激光雷达传感器的信号的置信度分布：
Figure BDA0003321922280000203
Figure BDA0003321922280000204
其中，V2表示激光雷达传感器的信号的置信度分布，μ0是激光雷达传感器的测距距离。
如此，基于上述得到的V2即可绘制出激光雷达传感器的信号的置信度图。
在本申请实施例中，获取同一时刻的、针对同一探测范围的毫米波采样信号和激光采样信号。将毫米波采样信号和激光采样信号同步至同一特征维度空间中。根据同步后的毫米波采样信号获取第一角度距离图，根据同步后的激光采样信号获取第二角度距离图。对第一角度距离图和第二角度距离图进行融合处理，得到空间信号描述矩阵，此时空间信号描述矩阵用于描述目标的联合位置和联合位置的联合置信度，联合位置是目标出现概率最大的位置。如此，基于原始的采样信号进行融合处理，相比于基于点云数据或检测结果的融合，可以增强模糊但真实的目标的采样信号，避免误筛选掉该类目标。且根据融合后得到的空间信号描述矩阵，输出融合数据，由于空间信号描述矩阵描述了目标的联合位置和联合位置的联合置信度，所以可以提高最终生成的融合数据的准确度。
接下来以多个探测传感器包括激光雷达传感器和毫米波雷达传感器为例进行说明。请参考图4，图4是根据另一示例性实施例示出的多传感器信号融合的方法流程示意图，该方法可以应用于上述电子设备中。作为示例而非限定，该方法可以包括如下几个实现步骤：
步骤404至步骤402可以参见上述步骤201至步骤202。
步骤403：基于多个信号数据进行位置关联。
在本实施例中，多个信号数据包括第一激光信号数据和毫米波信号数据。
为了确定第一激光信号数据和毫米波信号数据中哪些信号数据是同一个目标的，电子设备基于第一激光信号数据和毫米波信号数据进行位置关联处理。
在本申请的一个示例中，可以采用二分图匹配法进行位置关联。示例性地，二分图匹配法可以为匈牙利算法等，本申请实施例对此不作限定。
在一个实施例中，探测范围内除了存在动态目标之外，还会存在静态目标。然而，由于毫米波雷达传感器探测的动态目标的回波容易被静态目标的回波淹没，因此，作为本申请的一个示例，电子设备可以对传感器信号数据中的静态目标进行滤除处理，以保留动态目标的信号数据，以便后续对动态目标的信号数据进行后续融合处理。
在一个示例中，电子设备从第一激光信号数据中滤除激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，以及从毫米波信号数据中滤除毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据。
也即是，为了对动态目标的信号数据进行融合，电子设备对毫米波雷达传感器的毫米波信号数据中的静态目标的信号数据进行滤除处理，以及对激光雷达传感器的第一激光信号数据中的静态目标的信号数据进行滤除处理。
在一个实施例中，毫米波信号数据中包括速度。相应的，从毫米波信号数据中滤除毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据的具体实现可以包括：从毫米波信号数据中确定速度小于速度阈值的信号数据。从毫米波信号数据中删除速度小于速度阈值的信号数据。将经过删除处理后得到的毫米波信号数据确定为第二动态目标信号数据。
其中，速度阈值可以由用户根据实际需求进行设置，或者，也可以由电子设备默认设置，本申请实施例对此不作限定。
不难理解，若某目标的速度小于速度阈值，则说明该目标可能未动或微动，该种情况下可以将该目标确定为静态目标。电子设备从毫米波信号数据中删除该目标的信号数据。按照该种方式，即可将毫米波信号数据中的静态目标的信号数据滤除掉，剩下的即为毫米波雷达传感器探测到的动态目标的信号数据，也即得到第二动态目标信号数据。
需要说明的是，这里是以将速度小于速度阈值的目标确定为静态目标为例进行说明，在另一实施例中，还可以将速度小于或等于速度阈值的目标确定为静态目标，本申请实施例对此不作限定。
在一个实施例中，从第一激光信号数据中滤除激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据的具体实现可以包括：获取第二激光信号数据，第二激光信号数据是与第一激光信号数据相邻的一帧激光信号数据。将第一激光信号数据与第二激光信号数据相减后得到的信号数据差值作为第一动态目标信号数据。
作为一种示例，第二激光信号数据可以为第一激光信号数据的上一帧激光信号数据。作为另一种示例，第二激光信号数据也可以为第一激光信号数据的下一帧激光信号数据。
不难理解，若某目标是静止目标，则将激光雷达传感器的相邻两帧的信号数据相减后，就可以将静态目标的信号数据滤除掉。因此，对第一激光信号数据进行相邻帧回波作差后，即可确定激光雷达传感器探测到的动态目标的信号数据，也即得到第一动态目标信号数据。
当然需要说明的是，这里仅是以将第二激光信号数据与相邻的一帧激光信号数据相减以确定第一动态目标信号数据为例进行说明。在另一实施例中，还可以获取与第一激光信号数据之间相隔预设数量帧的激光信号数据，得到第三激光信号数据。之后，将第三激光信号数据与第一激光信号数据相减以确定第一动态目标信号数据。其中，预设数量可以根据实际需求进行设置。示例性地，还可以获取第二激光信号数据的前一帧或后一帧激光信号数据，得到第三激光信号数据，譬如，若第二激光信号数据为第一激光信号数据的上一帧激光信号数据，则可以将第二激光信号数据的前一帧作为第三激光信号数据，又如，若第二激光信号数据为第一激光信号数据的下一帧信号数据，则可以将第二激光信号数据的后一帧作为第三激光信号数据。本申请实施例对此不作限定。
作为本申请的一个示例，基于多个信号数据进行位置关联的具体实现包括：基于第一动态目标信号数据和第二动态目标信号数据进行位置关联。关联方法可以采用二分图匹配法。
步骤404：根据位置关联结果，分别从多个信号数据中的每个信号数据中，确定目标的信号数据，得到目标的多个目标信号数据。
通过位置关联后，可以确定激光雷达传感器和毫米波雷达传感器同时探测到的目标，或者说可以确定激光雷达传感器和毫米波雷达传感器探测到的同一目标。之后，分别从每个传感器信号数据中获取关联上的目标的信号数据，得到目标的多个目标信号数据。。
关联上的目标的数量可能为一个，或者也可能为多个，当关联上的目标的数量为多个时，每个关联上的目标的信号数据均可以按照下述方法进行融合。
需要说明的是，若多个探测传感器包括毫米波雷达传感器和可见光探测传感器，则同样可以采样位置匹配的方式确定这两者探测的同一目标，之后，从毫米波雷达传感器的毫米波信号数据中确定该同一目标的信号数据，以及从可见光探测传感器的可见光图像中确定该同一目标的信号数据，得到目标的多个信号数据。另外，若多个探测传感器包括毫米波雷达传感器和红外探测传感器，则亦是如此，这里不再重复赘述。
步骤405：对多个目标信号数据进行融合处理，得到空间信号描述矩阵。
在一个实施例中，将多个目标信号数据按照一定的排列方式进行排列，得到空间信号描述矩阵。譬如将多个目标信号数据中属于第一动态目标信号数据的目标信号数据排于第一列，以及将多个目标信号数据中属于第二动态目标信号数据的目标信号数据排于第二列，得到空间信号描述矩阵。
步骤406：基于空间信号描述矩阵，输出融合数据。
作为本申请的一个示例，步骤405的具体实现可以包括：获取第一动态目标信号数据中目标的角度、以及获取第二动态目标信号数据中目标的距离。将角度和距离确定为融合数据。
由于毫米波雷达传感器的测角分辨率低，所以毫米波雷达传感器对于目标到达角的测量可以由激光雷达传感器来提供，因此请参考图5，在进行数据融合时，将激光雷达传感器探测的第一动态目标信号数据中的角度作为输出。而毫米波雷达传感器的测距信息较为准确，激光雷达传感器的的测距会受到噪声影响，所以目标的测距信息由毫米波雷达传感器来提供，因此将毫米波雷达传传感器的第二动态目标信号数据中的距离作为输出，如此即可得到融合数据。
作为本申请的一个示例，输出第一激光信号数据中静态目标的距离和角度。也即对于静态目标，可以直接将激光雷达传感器的探测结果作为输出。
示例性地，请参考图3，图3是根据一示例性实施例示出的一种信号数据的示意图，其中，横坐标为角度，从-10度到10度，纵坐标为距离，从0米到80米。图3中的白色亮度(这里以白色为例，还可以是其他颜色，如黄色)区域为激光雷达传感器的信号数据，距离为20米左右、从左至右的一条线为毫米波雷达传感器的信号数据。也即毫米波雷达传感器测到了位于20m处的目标，但却不知道其具体来自哪个角度，但激光雷达传感器可以很清楚地测到该目标的轮廓来自于大约5度附近。因此位于5度和20米左右的目标的距离可以由毫米波雷达传感器的测距结果给出，由激光雷达传感器提供其为于5度左右具体从哪个角度到哪个角度。另外，没有被毫米波雷达传感器测到的目标是被滤除的静态目标，通过激光雷达传感器的探测结果即可提供距离和角度。如此，可以得到图6所示的点云图。
作为本申请的另一个示例，步骤406的具体实现还可以包括：获取第一动态目标信号数据中目标的角度、以及获取第二动态目标信号数据中目标的距离和速度。将目标的角度、距离、速度确定为融合数据。
在本申请实施例中，获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，多个探测传感器的工作频段不相同。分别将多个传感器采样信号同步至同一特征维度空间。得到多个信号数据。基于目标的多个信号数据，将多个信号数据进行融合，得到融合数据。如此，基于探测传感器的原始的传感器采样信号进行数据融合，在提高探测的鲁棒性的同时，避免因基于点云数据或者基于目标检测结果融合导致出现漏检等情况，提高了最终生成的融合数据的准确度。
需要说明的是，在多个探测传感器包括毫米波雷达传感器和可见光探测传感器的情况下，在基于目标的多个信号数据进行融合时，可以将毫米波雷达传感器探测的信号数据作为可见光探测传感器探测的信号数据中的附加通道，得到融合数据。示例性地，可以将毫米波雷达传感器的信号数据中的距离作为可见光图像中的一个附加通道，再如，将毫米波雷达传感器的信号数据中的距离和角度分别作为可见光图像中的两个附加通道。
同理，在多个探测传感器包括毫米波雷达传感器和红外探测传感器的情况下，在基于目标的多个信号数据进行融合时，可以将毫米波雷达传感器探测的信号数据作为红外探测传感器探测的信号数据中的附加通道，得到融合数据。示例性地，可以将毫米波雷达传感器的信号数据中的距离作为红外图像中的一个附加通道，再如，将毫米波雷达传感器的信号数据中的距离和角度分别作为红外图像中的两个附加通道。
应理解，上述实施例中各步骤的序号并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于上述各个实施例提供的多传感器信号融合方法，请参考图7，图7是根据一示例性实施例示出的一种多传感器信号融合的装置的结构示意图，该装置可以由软件、硬件或者两者的结合实现称为上述电子设备的部分或者全部。该装置可以包括：
获取模块710，用于获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，所述多个探测传感器的工作频段不相同；
同步模块720，用于分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，所述特征维度空间是根据所述每个探测传感器的探测维度和系统输出要求设置的；
融合模块730，用于对所述多个信号数据进行融合处理，得到空间信号描述矩阵，所述空间信号描述矩阵能够描述目标的信号回波质量；
输出模块740，用于基于所述空间信号描述矩阵，输出融合数据。
作为本申请的一个示例，所述融合模块730用于：
分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，所述多组评价参数集合中的每组评价参数集合包括所述至少一个评价参数；
基于所述多组评价参数集合进行信号融合处理。
作为本申请的一个示例，所述多个信号数据包括第一激光信号数据和毫米波信号数据；所述融合模块730用于：
所述分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，包括：
基于所述毫米波信号数据，确定所述目标对应的毫米波波峰位置和毫米波回波能量，得到一组评价参数集合；
基于所述第一激光信号数据，确定所述目标对应的回波前沿位置和激光波峰饱和度，得到另一组评价参数集合，所述回波前沿位置是指所述目标被激光雷达传感器初次探测到时所述激光雷达传感器探测出的位置，所述激光波峰饱和度用于指示所述目标为真实目标的置信度。
作为本申请的一个示例，所述融合模块730用于：
基于所述毫米波波峰位置和所述毫米波回波能量，确定所述毫米波波峰位置的方差，得到第一方差，所述第一方差用于指示所述目标在所述毫米波波峰位置处的概率分布情况；
基于所述回波前沿位置和所述激光波峰饱和度，确定所述回波前沿位置的方差，得到第二方差，所述第二方差用于指示所述目标在所述回波前沿位置处的概率分布情况；
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，确定所述空间信号描述矩阵。
作为本申请的一个示例，所述融合模块730用于：
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，通过如下公式(1)至(3)，确定所述空间信号描述矩阵：
Figure BDA0003321922280000261
Figure BDA0003321922280000262
Figure BDA0003321922280000271
其中，所述μ12包括(x12,y12)，所述μ1为所述毫米波波峰位置，包括(x1,y1)，所述μ2为所述回波前沿位置，包括(x2,y2)，所述σ1为所述第一方差，所述σ2为所述第二方差，所述(x,y)为变量，所述σ12为联合置信度，所述V为联合置信度分布。
作为本申请的一个示例，所述输出模块740用于：
从所述空间信号描述矩阵中，确定联合置信度大于置信度阈值的联合位置；
将所述联合置信度大于置信度阈值的联合位置和对应的联合置信度作为所述融合数据输出。
作为本申请的一个示例，所述融合模块730用于：
基于所述多个信号数据进行位置关联；
根据位置关联结果，分别从所述多个信号数据中的每个信号数据中，确定所述目标的信号数据，得到所述目标的多个目标信号数据；
基于所述多个目标信号数据进行融合处理。
作为本申请的一个示例，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器，所述多个信号数据包括第一激光信号数据和毫米波信号数据；
所述融合模块730用于：从所述第一激光信号数据中滤除所述激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，以及从所述毫米波信号数据中滤除所述毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据；
相应的，所述融合模块730基于所述多个信号数据进行位置关联的具体实现包括：基于所述第一动态目标信号数据和所述第二动态目标信号数据进行位置关联。
作为本申请的一个示例，所述毫米波信号数据中包括速度，所述融合模块730用于：
从所述毫米波信号数据中删除所述速度小于所述速度阈值的信号数据；
将经过删除处理后得到的毫米波信号数据确定为所述第二动态目标信号数据。
作为本申请的一个示例，所述融合模块730用于：
获取第二激光信号数据，所述第二激光信号数据是与所述第一激光信号数据相邻的一帧激光信号数据；
将所述第一激光信号数据与所述第二激光信号数据相减后得到的信号数据差值作为所述第二动态目标信号数据。
作为本申请的一个示例，所述特征维度空间包括角度特征和距离特征，所述输出模块740用于：
获取所述第一动态目标信号数据中所述目标的角度、以及获取所述第二动态目标信号数据中所述目标的距离；
将所述角度和所述距离确定为所述融合数据。
作为本申请的一个示例，所述输出模块740还用于：
输出所述第一激光信号数据中所述静态目标的距离和角度。
作为本申请的一个示例，所述同步模块720还用于：
分别对所述多个传感器采样信号中的每个传感器采样信号进行正则化处理；
分别将经正则化处理后的所述每个传感器采样信号同步至所述特征维度空间。
作为本申请的一个示例，所述同步模块720还用于：
对所述多个探测传感器进行时间同步和空间同步，其中，所述时间同步是指通过所述多个传感器中的一个探测传感器触发所述多个传感器中的其他探测传感器工作，空间同步是指通过所述多个探测传感器对相同测试目标的多次探测确定空间转换矩阵。
作为本申请的一个示例，所述融合模块730用于：
当所述多个探测传感器的采样步长不相同时，通过插值法对齐所述多个信号数据的采样步长；
对经对齐处理后的所述多个信号数据进行融合处理。
作为本申请的一个示例，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器；
所述同步模块720用于：
将所述激光雷达传感器的采样信号从第一特征维度空间转换至所述特征维度空间，所述第一特征维度空间包括的特征维度为帧量特征、扫描光束特征、时间特征，所述特征维度空间包括的特征维度为速度特征、角度特征、距离特征；
将所述毫米波雷达传感器的采样信号从第二特征维度空间转换至所述特征维度空间，所述第二特征维度空间包括的特征维度为啁啾特征、辐射天线特征、时间特征。
在本申请实施例中，获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，多个探测传感器的工作频段不相同。分别将多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中特征维度空间是根据每个探测传感器的探测维度和系统输出要求设置的。对多个信号数据进行融合处理，得到空间信号描述矩阵，空间信号描述矩阵能够描述目标的信号回波质量。基于空间信号描述矩阵，输出融合数据。如此，基于探测传感器的原始的传感器采样信号进行数据融合，在提高探测的鲁棒性的同时，避免因基于点云数据或者基于目标检测结果融合导致出现漏检等情况，提高了最终生成的融合数据的准确度。
图8为本申请一实施例提供的电子设备的结构示意图。如图8所示，该实施例的电子设备8包括：至少一个处理器80(图8中仅示出一个)、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时实现上述任意各个方法实施例中的步骤。
所述电子设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是电子设备8的举例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是CPU(Central Processing Unit，中央处理单元)，该处理器80还可以是其他通用处理器、DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现成可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述电子设备8的内部存储单元，例如电子设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述电子设备8的外部存储设备，例如所述电子设备8上配备的插接式硬盘，SMC(Smart Media Card,智能存储卡)，SD(Secure Digital,安全数字)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述电子设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (19)

1.一种多传感器信号融合的方法，其特征在于，所述方法包括：
获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，所述多个探测传感器的工作频段不相同；
分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，所述特征维度空间是根据所述每个探测传感器的探测维度和系统输出要求设置的；
对所述多个信号数据进行融合处理，得到空间信号描述矩阵，所述空间信号描述矩阵能够描述目标的信号回波质量；
基于所述空间信号描述矩阵，输出融合数据。
2.如权利要求1所述的方法，其特征在于，所述对所述多个信号数据进行融合处理，包括：
分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，所述多组评价参数集合中的每组评价参数集合包括所述至少一个评价参数；
基于所述多组评价参数集合进行信号融合处理。
3.如权利要求2所述的方法，其特征在于，所述多个信号数据包括第一激光信号数据和毫米波信号数据；
所述分别基于所述多个信号数据中的每个信号数据，确定能够评价所述目标的信号回波质量的至少一个评价参数，得到多组评价参数集合，包括：
基于所述毫米波信号数据，确定所述目标对应的毫米波波峰位置和毫米波回波能量，得到一组评价参数集合；
基于所述第一激光信号数据，确定所述目标对应的回波前沿位置和激光波峰饱和度，得到另一组评价参数集合，所述回波前沿位置是指所述目标被激光雷达传感器初次探测到时所述激光雷达传感器探测出的位置，所述激光波峰饱和度用于指示所述目标为真实目标的置信度。
4.如权利要求3所述的方法，其特征在于，所述基于所述多组评价参数集合进行信号融合处理，包括：
基于所述毫米波波峰位置和所述毫米波回波能量，确定所述毫米波波峰位置的方差，得到第一方差，所述第一方差用于指示所述目标在所述毫米波波峰位置处的概率分布情况；
基于所述回波前沿位置和所述激光波峰饱和度，确定所述回波前沿位置的方差，得到第二方差，所述第二方差用于指示所述目标在所述回波前沿位置处的概率分布情况；
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，确定所述空间信号描述矩阵。
5.如权利要求4所述的方法，其特征在于，所述基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，确定所述空间信号描述矩阵，包括：
基于所述毫米波波峰位置、所述回波前沿位置、所述第一方差、所述第二方差，通过如下公式(1)至(3)，确定所述空间信号描述矩阵：
Figure FDA0003321922270000021
Figure FDA0003321922270000022
Figure FDA0003321922270000023
其中，所述μ12包括(x12,y12)，所述μ1为所述毫米波波峰位置，包括(x1,y1)，所述μ2为所述回波前沿位置，包括(x2,y2)，所述σ1为所述第一方差，所述σ2为所述第二方差，所述(x,y)为变量，所述σ12为联合置信度，所述V为联合置信度分布。
6.如权利要求3-5中任一项所述的方法，其特征在于，所述基于所述空间信号描述矩阵，输出融合数据，包括：
从所述空间信号描述矩阵中，确定联合置信度大于置信度阈值的联合位置；
将所述联合置信度大于置信度阈值的联合位置和对应的联合置信度作为所述融合数据输出。
7.如权利要求1所述的方法，其特征在于，所述对所述多个信号数据进行融合处理，包括：
基于所述多个信号数据进行位置关联；
根据位置关联结果，分别从所述多个信号数据中的每个信号数据中，确定所述目标的信号数据，得到所述目标的多个目标信号数据；
基于所述多个目标信号数据进行融合处理。
8.如权利要求7所述的方法，其特征在于，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器，所述多个信号数据包括第一激光信号数据和毫米波信号数据；
所述基于所述多个信号数据进行位置关联之前，还包括：
从所述第一激光信号数据中滤除所述激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，以及从所述毫米波信号数据中滤除所述毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据；
所述基于所述多个信号数据进行位置关联，包括：
基于所述第一动态目标信号数据和所述第二动态目标信号数据进行位置关联。
9.如权利要求8所述的方法，其特征在于，所述毫米波信号数据中包括速度，所述从所述毫米波信号数据中滤除所述毫米波雷达传感器探测的静态目标的信号数据，得到第二动态目标信号数据，包括：
从所述毫米波信号数据中确定速度小于速度阈值的信号数据；
从所述毫米波信号数据中删除所述速度小于所述速度阈值的信号数据；
将经过删除处理后得到的毫米波信号数据确定为所述第二动态目标信号数据。
10.如权利要求8所述的方法，其特征在于，所述从所述第一激光信号数据中滤除所述激光雷达传感器探测的静态目标的信号数据，得到第一动态目标信号数据，包括：
获取第二激光信号数据，所述第二激光信号数据是与所述第一激光信号数据相邻的一帧激光信号数据；
将所述第一激光信号数据与所述第二激光信号数据相减后得到的信号数据差值作为所述第二动态目标信号数据。
11.如权利要求8所述的方法，其特征在于，所述特征维度空间包括角度特征和距离特征，所述基于所述空间信号描述矩阵，输出融合数据，包括：
获取所述第一动态目标信号数据中所述目标的角度、以及获取所述第二动态目标信号数据中所述目标的距离；
将所述角度和所述距离确定为所述融合数据。
12.如权利要求8所述的方法，其特征在于，所述方法还包括：
输出所述第一激光信号数据中所述静态目标的距离和角度。
13.如权利要求1所述的方法，其特征在于，所述分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间之前，还包括：
分别对所述多个传感器采样信号中的每个传感器采样信号进行正则化处理；
所述分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，包括：
分别将经正则化处理后的所述每个传感器采样信号同步至所述特征维度空间。
14.如权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多个探测传感器进行时间同步和空间同步，其中，所述时间同步是指通过所述多个传感器中的一个探测传感器触发所述多个传感器中的其他探测传感器工作，空间同步是指通过所述多个探测传感器对相同测试目标的多次探测确定空间转换矩阵。
15.如权利要求1所述的方法，其特征在于，所述对所述多个信号数据进行融合处理，包括：
当所述多个探测传感器的采样步长不相同时，通过插值法对齐所述多个信号数据的采样步长；
对经对齐处理后的所述多个信号数据进行融合处理。
16.如权利要求1所述的方法，其特征在于，所述多个探测传感器包括激光雷达传感器和毫米波雷达传感器；
所述分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，包括：
将所述激光雷达传感器的采样信号从第一特征维度空间转换至所述特征维度空间，所述第一特征维度空间包括的特征维度为帧量特征、扫描光束特征、时间特征，所述特征维度空间包括的特征维度为速度特征、角度特征、距离特征；
将所述毫米波雷达传感器的采样信号从第二特征维度空间转换至所述特征维度空间，所述第二特征维度空间包括的特征维度为啁啾特征、辐射天线特征、时间特征。
17.一种多传感器信号融合的装置，其特征在于，所述装置包括：
获取模块，用于获取同一时刻的、针对同一探测范围的多个探测传感器中每个探测传感器的采样信号，得到多个传感器采样信号，所述多个探测传感器的工作频段不相同；
同步模块，用于分别将所述多个传感器采样信号中的每个传感器采样信号同步至同一特征维度空间，得到多个信号数据，其中，所述特征维度空间是根据所述每个探测传感器的探测维度和系统输出要求设置的；
融合模块，用于对所述多个信号数据进行融合处理，得到空间信号描述矩阵，所述空间信号描述矩阵能够描述目标的信号回波质量；
输出模块，用于基于所述空间信号描述矩阵，输出融合数据。
18.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至16任一项所述的方法。
19.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1至16任一项所述的方法。
CN202111251503.2A 2021-10-26 2021-10-26 多传感器信号融合的方法、装置、电子设备及存储介质 Pending CN116027318A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111251503.2A CN116027318A (zh) 2021-10-26 2021-10-26 多传感器信号融合的方法、装置、电子设备及存储介质
PCT/CN2022/127075 WO2023071992A1 (zh) 2021-10-26 2022-10-24 多传感器信号融合的方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251503.2A CN116027318A (zh) 2021-10-26 2021-10-26 多传感器信号融合的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116027318A true CN116027318A (zh) 2023-04-28

Family

ID=86069286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251503.2A Pending CN116027318A (zh) 2021-10-26 2021-10-26 多传感器信号融合的方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN116027318A (zh)
WO (1) WO2023071992A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381674B (zh) * 2023-06-02 2023-08-22 陕西欧卡电子智能科技有限公司 一种水面激光雷达点云与毫米波雷达点云的融合方法
CN117031442B (zh) * 2023-10-08 2024-01-02 中国地质大学（武汉） 融合多通道波形数据的激光雷达水域地形测量方法及装置
CN117452407B (zh) * 2023-12-26 2024-03-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种用于车载辅助驾驶系统的雷达数据服务系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7821453B2 (en) * 2007-12-20 2010-10-26 Sarnoff Corporation Distributed iterative multimodal sensor fusion method for improved collaborative localization and navigation
CN105353355B (zh) * 2015-11-16 2017-08-25 乐山师范学院 一种基于稀疏重构和投影成像的多基地雷达多目标定位方法
CN106405555B (zh) * 2016-09-23 2019-01-01 百度在线网络技术（北京）有限公司 用于车载雷达系统的障碍物检测方法和装置
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
CN109061643B (zh) * 2018-08-13 2022-05-27 南京理工大学 基于三维属性散射中心模型的多雷达融合高分辨成像方法
CN109343051A (zh) * 2018-11-15 2019-02-15 众泰新能源汽车有限公司 一种用于高级辅助驾驶的多传感器数据融合方法
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Also Published As

Publication number Publication date
WO2023071992A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN116027318A (zh) 多传感器信号融合的方法、装置、电子设备及存储介质
CN113009442B (zh) 一种雷达静止反射面多径目标的识别方法及装置
CN110646773A (zh) 一种基于汽车毫米波雷达的弱目标检测方法、跟踪方法及系统
Liu et al. An improvement in multichannel SAR-GMTI detection in heterogeneous environments
Zheng et al. A target detection scheme with decreased complexity and enhanced performance for range-Doppler FMCW radar
CN113009441B (zh) 一种雷达运动反射面多径目标的识别方法及装置
CN112946630B (zh) 一种基于毫米波雷达的人员计数跟踪方法
KR101851635B1 (ko) 고해상도 거리 프로파일을 이용한 다중 물체 판단 장치 및 방법
US5821896A (en) Radar system
CN115061113B (zh) 用于雷达的目标检测模型训练方法、装置及存储介质
CN108020834B (zh) 基于改进edpca的运动目标检测方法、装置及电子设备
CN112799091A (zh) 算法评估方法、装置及存储介质
Magraner et al. Detection in gamma-distributed nonhomogeneous backgrounds
CN110992398A (zh) 一种激光雷达与红外探测系统图像融合跟踪与抗干扰方法
Prabhakara et al. Exploring mmWave Radar and Camera Fusion for High-Resolution and Long-Range Depth Imaging
CN116027288A (zh) 生成数据的方法、装置、电子设备及存储介质
WO2023124780A1 (zh) 点云数据增强方法、装置、计算机设备、系统及存储介质
EP1515160A1 (en) A target shadow detector for synthetic aperture radar
CN116467848B (zh) 一种毫米波雷达点云仿真的方法和装置
CN111680537A (zh) 一种基于激光红外复合的目标检测方法及系统
WO2020133041A1 (zh) 车速计算方法、系统、设备及存储介质
CN116047442A (zh) 一种检测目标角度的方法、装置及电子设备
CN112835025A (zh) 基于雷达检测的目标速度解模糊方法、装置及终端设备
CN113514825A (zh) 道路边缘的获取方法、装置和终端设备
Ferrara et al. Automatic moving targets detection using a rule-based system: comparison between different study cases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination