CN115494494A - 多传感器目标融合方法、装置、电子设备及存储介质 - Google Patents

多传感器目标融合方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115494494A
CN115494494A CN202210999265.1A CN202210999265A CN115494494A CN 115494494 A CN115494494 A CN 115494494A CN 202210999265 A CN202210999265 A CN 202210999265A CN 115494494 A CN115494494 A CN 115494494A
Authority
CN
China
Prior art keywords
target
observation
data
video data
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210999265.1A
Other languages
English (en)
Other versions
CN115494494B (zh
Inventor
熊新立
任凡
陈剑斌
谭余
谢槟阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202210999265.1A priority Critical patent/CN115494494B/zh
Priority claimed from CN202210999265.1A external-priority patent/CN115494494B/zh
Publication of CN115494494A publication Critical patent/CN115494494A/zh
Application granted granted Critical
Publication of CN115494494B publication Critical patent/CN115494494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及多传感器数据融合技术领域，特别涉及一种多传感器目标融合方法、装置、电子设备及存储介质，方法包括：采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息；在观测目标的身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，并根据多个观测属性得到观测目标的多个观测值，其中，观测属性包括位置和速度；将观测目标的多个观测值输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标。本申请实施例的多传感器目标融合方法以前视摄像头及前雷达输出的目标数据进行融合，从而获取全面的观测目标数据信息，以提高观测目标的效率及准确性。

Description

多传感器目标融合方法、装置、电子设备及存储介质
技术领域
本申请涉及多传感器数据融合技术领域，特别涉及一种多传感器目标融合方法、装置、电子设备及存储介质。
背景技术
多传感器数据融合是通过对空间分布的多源信息时空采样，对所关心的目标进行检测、关联、跟踪、估计以及综合等多级处理，以更高的精度、较高的概率或置信度得到用户所需要的目标状态和身份估计，同时，还需要完整、及时的态势和威胁评估，为用户提供有用的决策信息。
根据解决问题的角度不同，多传感器数据融合有多种分类方法。第一按照融合方法可以分为统计方法、人工智能方法等；第二按照信号处理的域可以分为时域处理法、空域处理法以及频域处理法等；第三按照融合的层次以及实质内容可以分为像素级、特征级以及决策级融合方法。
相关技术中，智能驾驶领域多采用决策级融合的多传感器数据融合方法，该方法相对于其他方法计算量较小、运行负载较小，能够使得系统达到实时性，
然而，该方法也存在一定的局限性，如信息量较少、系统效率低等不足，因此，需对该多传感器数据融合方法进行改进。
发明内容
本申请提供一种多传感器目标融合方法、装置、电子设备及存储介质，以解决相关技术中的多传感器数据融合方法信息量较少、系统效率低等问题。
本申请第一方面实施例提供一种多传感器目标融合方法，包括以下步骤：采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息；在所述观测目标的身份信息达到预设跳变条件时，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，并根据所述多个观测属性得到所述观测目标的多个观测值，其中，所述观测属性包括位置和速度；以及将所述观测目标的多个观测值输入至预设跟踪门，计算在目标时刻所述多个观测值与对应航迹之间的概率，并根据所述概率融合输出新的观测目标。
根据上述技术手段，以前视摄像头及前雷达输出的目标数据进行融合，从而获取全面的数据信息，以提高观测目标的效率及准确性。
进一步地，在本申请的一个实施例中，所述在所述观测目标的身份信息达到预设跳变条件，包括：识别所述视频数据中是否存在逆光视频数据或者遮挡视频数据；判断所述雷达数据中所述观测目标的反射点个数是否小于预设值；若所述视频数据中存在逆光视频数据或者遮挡视频数据，或者所述观测目标的反射点个数小于所述预设值，则判定所述观测目标的身份信息达到预设跳变条件。
根据上述技术手段，通过识别融合数据过程中的遮挡数据，从而进行跳变处理，提高了获取观测目标身份信息的准确性。
进一步地，在本申请的一个实施例中，在所述观测目标的身份信息达到所述预设跳变条件之前，还包括：将所述视频数据内第一帧数据作为初始航迹；基于所述初始航迹，根据所述视频数据中所述观测目标的身份信息和所述雷达数据中所述观测目标的身份信息关联所述观测目标相邻两帧的航迹。
根据上述技术手段，通过多种途径观测目标数据的身份信息，提高了获取观测目标的准确性。
进一步地，在本申请的一个实施例中，，所述计算在目标时刻所述多个观测值与对应航迹之间的概率，包括：基于预设的概率数据关联公式，计算在所述目标时刻所述多个观测值与对应航迹之间的概率，其中，所述预设的概率数据关联公式为：
βi(k)＝P{Xki|Zk}；
其中，Xki为k时刻第i个有效观测值对应的航迹状态向量，Zk为对应的观测状态向量。
根据上述技术手段，通过概率数据关联公式，提高了观测值与对应航迹之间的概率的准确性。
进一步地，在本申请的一个实施例中，所述根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，包括：基于预设的椭圆门关联关系，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，其中，所述预设的椭圆门关联关系为：
((Epx/a)2+(Epy/b)2)<1；
((Evx/a)2+(Evy/b)2)<1；
其中，a为椭圆的长轴半径，b为椭圆的短轴半径，Epx为跟踪目标与观测目标纵向距离误差，Epy为跟踪目标与观测目标横向距离误差，Evx为跟踪目标与观测目标纵向速度误差，Evy为跟踪目标与观测目标横向速度误差。
根据上述技术手段，通过获取椭圆门关联关系，提高了观测值与对应航迹之间的概率的准确性。
本申请第二方面实施例提供一种多传感器目标融合装置，包括：采集模块，用于采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息；获取模块，用于在所述观测目标的身份信息达到预设跳变条件时，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，并根据所述多个观测属性得到所述观测目标的多个观测值，其中，所述观测属性包括位置和速度；以及融合模块，用于将所述观测目标的多个观测值输入至预设跟踪门，计算在目标时刻所述多个观测值与对应航迹之间的概率，并根据所述概率融合输出新的观测目标。
进一步地，在本申请的一个实施例中，所述获取模块，包括：识别单元，用于识别所述视频数据中是否存在逆光视频数据或者遮挡视频数据；判断单元，用于判断所述雷达数据中所述观测目标的反射点个数是否小于预设值；确定单元，用于若所述视频数据中存在逆光视频数据或者遮挡视频数据，或者所述观测目标的反射点个数小于所述预设值，则判定所述观测目标的身份信息达到预设跳变条件。
进一步地，在本申请的一个实施例中，在所述观测目标的身份信息达到所述预设跳变条件之前，所述获取模块，还包括：提取单元，用于将所述视频数据内第一帧数据作为初始航迹；关联单元，用于基于所述初始航迹，根据所述视频数据中所述观测目标的身份信息和所述雷达数据中所述观测目标的身份信息关联所述观测目标相邻两帧的航迹。
进一步地，在本申请的一个实施例中，所述融合模块，包括：计算单元，用于基于预设的概率数据关联公式，计算在所述目标时刻所述多个观测值与对应航迹之间的概率，其中，所述预设的概率数据关联公式为：
βi(k)＝P{Xki|Zk}；
其中，Xki为k时刻第i个有效观测值对应的航迹状态向量，Zk为对应的观测状态向量。
进一步地，在本申请的一个实施例中，所述获取模块，包括：关联单元，用于基于预设的椭圆门关联关系，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，其中，所述预设的椭圆门关联关系为：
((Epx/a)2+(Epy/b)2)<1；
((Evx/a)2+(Evy/b)2)<1；
其中，a为椭圆的长轴半径，b为椭圆的短轴半径，Epx为跟踪目标与观测目标纵向距离误差，Epy为跟踪目标与观测目标横向距离误差，Evx为跟踪目标与观测目标纵向速度误差，Evy为跟踪目标与观测目标横向速度误差。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的多传感器目标融合方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的多传感器目标融合方法。
本申请实施例通过采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息，在身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，从而得到观测目标的多个观测值，并输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标，通过前视摄像头及前雷达输出的目标数据进行融合，从而获取全面的观测目标数据信息，以提高观测目标的效率及准确性。由此，解决了相关技术中的多传感器数据融合方法信息量较少、系统效率低等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种多传感器目标融合方法的流程图；
图2为根据本申请一个实施例的前视摄像头及前毫米波雷达的安装位置硬件平台示意图；
图3为根据本申请一个实施例的基于概率统计的多传感器目标融合方法的技术路线图；
图4为根据本申请一个实施例的基于概率统计的多传感器目标融合方法的融合效果示意图；
图5为根据本申请一个实施例的基于概率统计的多传感器目标融合方法的流程图；
图6为根据本申请实施例的多传感器目标融合装置的方框示意图；
图7为根据本申请实施例的车辆的结构示意图。
附图标记说明：10-车辆的多传感器目标融合装置；100-采集模块、200-获取模块、300-融合模块。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的多传感器目标融合方法、装置、车辆及存储介质。针对上述背景技术中提到的相关技术中的多传感器数据融合方法信息量较少、系统效率低的问题，本申请提供了一种多传感器目标融合方法，在该方法中，通过采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息，在身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，从而得到观测目标的多个观测值，并输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标，通过前视摄像头及前雷达输出的目标数据进行融合，从而获取全面的观测目标数据信息，以提高观测目标的效率及准确性。由此，解决了相关技术中的多传感器数据融合方法信息量较少、系统效率低等问题。
具体而言，图1为本申请实施例所提供的一种多传感器目标融合方法的流程示意图。
如图1所示，该多传感器目标融合方法包括以下步骤：
在步骤S101中，采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息。
具体地，为了使目标数据的采集更清晰完整，本申请实施例可以通过前摄像头和前毫米波雷达作为车辆的图像采集装置进行采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息。
进一步地，根据功能需求的不同，本申请实施例可以将前视摄像头及前毫米波雷达安装于进行场景采集的试验车以进行观测目标身份信息的采集。其中，如图2所示，为保证视频数据和雷达数据的完整性，前视摄像头可以安装于车辆前挡风玻璃的中心位置，前毫米波雷达可以安装于车辆前保险杠中心位置。
进一步地，本申请实施例基于工控机以及CANFD数据采集卡，以实现前视摄像头及前毫米波雷达的CANFD报文数据的采集时，将其保存为DAT(数据文件)的数据格式。
在步骤S102中，在观测目标的身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，并根据多个观测属性得到观测目标的多个观测值，其中，观测属性包括位置和速度。
进一步地，在本申请的一个实施例中，在观测目标的身份信息达到预设跳变条件，包括：识别视频数据中是否存在逆光视频数据或者遮挡视频数据；判断雷达数据中观测目标的反射点个数是否小于预设值；若视频数据中存在逆光视频数据或者遮挡视频数据，或者观测目标的反射点个数小于预设值，则判定观测目标的身份信息达到预设跳变条件。
进一步地，在本申请的一个实施例中，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，包括：基于预设的椭圆门关联关系，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，其中，预设的椭圆门关联关系为：
((Epx/a)2+(Epy/b)2)<1；
((Evx/a)2+(Evy/b)2)<1；
其中，a为椭圆的长轴半径，b为椭圆的短轴半径，Epx为跟踪目标与观测目标纵向距离误差，Epy为跟踪目标与观测目标横向距离误差，Evx为跟踪目标与观测目标纵向速度误差，Evy为跟踪目标与观测目标横向速度误差。
具体地，如图3所示，本申请实施例通过前视摄像头及前毫米波雷达在观测到目标的身份信息出现跳变时，此时需要基于视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，并根据多个观测属性得到观测目标的多个观测值，其中，观测属性包括位置和速度。也就是说，当观测目标的身份信息出现跳变时，需基于视频数据和雷达数据的相邻帧数据关联观测目标的位置和速度等属性，并基于前视摄像头及前毫米波雷的相邻帧数据之间目标的位置和速度实现航迹的关联，其具体步骤如下：
首先，当前视摄像头遇到逆光，遮挡等场景，前雷达遇到目标反射点较少等情况，此时说明观测目标的身份信息达到预设跳变条件，即会造成其输出的目标身份信息发生跳变，此时，基于前视摄像头及前毫米波雷达输出的观测目标身份信息已无法满足视频数据和雷达数据的相邻帧数据之间目标航迹的关联，因此，本申请实施例将根据传感器输出的目标位置及速度属性实现航迹的关联。
其次，本申请实施例基于预设的椭圆门关联关系，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，并基于传感器输出的目标位置，速度等属性实现视频数据和雷达数据的相邻帧数据之间目标航迹的关联，当关联关系满足下式(1)和(2)时，则认为其满足要求。
((Epx/a)2+(Epy/b)2)<1； (1)
((Evx/a)2+(Evy/b)2)<1； (2)
其中，a为椭圆的长轴半径，b为椭圆的短轴半径，Epx为跟踪目标与观测目标纵向距离误差，Epy为跟踪目标与观测目标横向距离误差，Evx为跟踪目标与观测目标纵向速度误差，Evy为跟踪目标与观测目标横向速度误差。
进一步地，在本申请的一个实施例中，在观测目标的身份信息达到预设跳变条件之前，还包括：将视频数据内第一帧数据作为初始航迹；基于初始航迹，根据视频数据中观测目标的身份信息和雷达数据中观测目标的身份信息关联观测目标相邻两帧的航迹。
具体地，本申请实施例在通过前视摄像头及前毫米波雷达观测目标场景内的视频数据和雷达数据之前，还需要基于前视摄像头采集的视频数据内第一帧目标数据作为融合系统的初始航迹，并根据当前融合时刻的时间戳与初始航迹的时间戳差值，进行判断融合执行第一帧的时刻，此时可以将融合获取的前视摄像头目标用于初始航迹的初始化。
进一步地，基于初始航迹，本申请实施例基于前视摄像头及前毫米波雷达输出的目标身份信息实现视频数据和雷达数据的相邻帧数据之间目标航迹的关联。
需要说明的是，当前前视摄像头及前毫米波雷达输出的目标观测属性信息中都包含该目标的唯一身份信息，如果前视摄像头及前毫米波雷达的跟踪算法的稳定性及鲁棒性较强，这样其输出的目标身份信息是不会跳变的，因此，本申请实施例能够采用前视摄像头及前毫米波雷达输出的目标身份信息实现视频数据和雷达数据的相邻帧数据之间目标航迹的关联。
在步骤S103中，将观测目标的多个观测值输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标。
进一步地，在本申请的一个实施例中，计算在目标时刻多个观测值与对应航迹之间的概率，包括：基于预设的概率数据关联公式，计算在目标时刻多个观测值与对应航迹之间的概率，其中，预设的概率数据关联公式为：
βi(k)＝P{Xki|Zk}；
其中，Xki为k时刻第i个有效观测值对应的航迹状态向量，Zk为对应的观测状态向量。
其中，预设跟踪门可以为相关技术人员根据所要实现的目标性能选定的跟踪门，以避免观测值之间的干扰，提高数据关联算法的性能。
具体地，基于上述的初始航迹和视频数据与雷达数据的相邻帧数据之间目标的关联，本申请实施例可以认定当前实现关联的目标全部是有效观测值，因此，可以将概率数据关联方法跟踪门的阈值设定为1，如下式所示：
PG＝1； (3)
进一步地，本申请实施例将观测目标的多个观测值输入至预设跟踪门后，需计算在目标时刻进入跟踪门内的所有观测值来与对应航迹之间的概率。
举例而言，在多个观测值输入至预设跟踪门后，基于标准的概率数据关联方法计算k时刻跟踪门的有效观测值与对应航迹之间的概率βi(k)，其表示已知所有观测值后，当前k时刻第i个观测值来源于对应航迹的概率，如下式所示：
βi(k)＝P{Xki|Zk}； (4)
其中，Xki为k时刻第i个有效观测值对应的航迹状态向量，Zk为对应的观测状态向量。
进一步地，如图4所示，基于上述计算的在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标。
具体而言，假设融合后目标观测属性表示为F，前视摄像头输出的目标观测属性表示为P，前毫米波雷达输出的目标观测属性表示为Q，则融合后的目标可以如下式所示：
F＝P*βck+Q*βrk； (5)
其中，βck为前视摄像头与对应航迹计算的概率，βrk为前毫米波雷达与对应航迹计算的概率。
综上，为便于本领域技术人员更好的理解本申请实施例采用的多传感器目标融合方法，下面结合图5对本申请进行归纳概括，其具体步骤如下：
S1，实现前视摄像头及前毫米波雷达采集场景内目标数据。
S2，基于前视摄像头采集的场景内第一帧目标数据作为融合系统的初始航迹。
S3，基于前视摄像头及前毫米波雷达输出目标身份信息实现前后两帧之间目标航迹的关联。
S4，当前视摄像头及前毫米波雷达输出目标身份跳变时，基于前后两帧之间目标的距离及速度实现航迹的关联。
S5，将概率数据关联方法跟踪门的阈值设定为1，使得基于S3、S4关联到初始航迹的前视摄像头及前毫米波雷达输出的目标全部进入跟踪门内。
S6，计算某一时刻进入跟踪门内的所有观测值来源于初始航迹的概率；
S7，基于S6计算的概率，融合输出新的观测目标；
因此，通过本申请实施例所采用的多传感器目标融合方法，可以提升多传感器输出目标数据的融合的效果。
根据本申请实施例提出的多传感器目标融合方法，通过采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息，在身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，从而得到观测目标的多个观测值，并输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标，通过前视摄像头及前雷达输出的目标数据进行融合，从而获取全面的观测目标数据信息，以提高观测目标的效率及准确性。由此，解决了相关技术中的多传感器数据融合方法信息量较少、系统效率低等问题。
其次参照附图描述根据本申请实施例提出的多传感器目标融合装置。
图6是本申请实施例的多传感器目标融合装置的方框示意图。
如图6所示，该多传感器目标融合装置10包括：采集模块100、获取模块200和融合模块300。
其中，采集模块100，用于采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息；
获取模块200，用于在观测目标的身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，并根据多个观测属性得到观测目标的多个观测值，其中，观测属性包括位置和速度；以及
融合模块300，用于将观测目标的多个观测值输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标。
进一步地，在本申请的一个实施例中，获取模块，包括：识别单元、判断单元和确定单元。
其中，识别单元，用于识别视频数据中是否存在逆光视频数据或者遮挡视频数据；
判断单元，用于判断雷达数据中观测目标的反射点个数是否小于预设值；
确定单元，用于若视频数据中存在逆光视频数据或者遮挡视频数据，或者观测目标的反射点个数小于预设值，则判定观测目标的身份信息达到预设跳变条件。
进一步地，在本申请的一个实施例中，在观测目标的身份信息达到预设跳变条件之前，获取模块，还包括：提取单元和关联单元。
其中，提取单元，用于将视频数据内第一帧数据作为初始航迹；
关联单元，用于基于初始航迹，根据视频数据中观测目标的身份信息和雷达数据中观测目标的身份信息关联观测目标相邻两帧的航迹。
进一步地，在本申请的一个实施例中，融合模块，包括：
计算单元，用于基于预设的概率数据关联公式，计算在目标时刻多个观测值与对应航迹之间的概率，其中，预设的概率数据关联公式为：
βi(k)＝P{Xki|Zk}；
其中，Xki为k时刻第i个有效观测值对应的航迹状态向量，Zk为对应的观测状态向量。
进一步地，在本申请的一个实施例中，获取模块，包括：
关联单元，用于基于预设的椭圆门关联关系，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，其中，预设的椭圆门关联关系为：
((Epx/a)2+(Epy/b)2)<1；
((Evx/a)2+(Evy/b)2)<1；
其中，a为椭圆的长轴半径，b为椭圆的短轴半径，Epx为跟踪目标与观测目标纵向距离误差，Epy为跟踪目标与观测目标横向距离误差，Evx为跟踪目标与观测目标纵向速度误差，Evy为跟踪目标与观测目标横向速度误差。
根据本申请实施例提出的多传感器目标融合装置，通过采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息，在身份信息达到预设跳变条件时，根据视频数据和雷达数据的相邻帧数据关联观测目标的多个观测属性，从而得到观测目标的多个观测值，并输入至预设跟踪门，计算在目标时刻多个观测值与对应航迹之间的概率，并根据概率融合输出新的观测目标，通过前视摄像头及前雷达输出的目标数据进行融合，从而获取全面的观测目标数据信息，以提高观测目标的效率及准确性。由此，解决了相关技术中的多传感器数据融合方法信息量较少、系统效率低等问题。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的多传感器目标融合方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的多传感器目标融合方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多传感器目标融合方法，其特征在于，包括以下步骤：
采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息；
在所述观测目标的身份信息达到预设跳变条件时，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，并根据所述多个观测属性得到所述观测目标的多个观测值，其中，所述观测属性包括位置和速度；以及
将所述观测目标的多个观测值输入至预设跟踪门，计算在目标时刻所述多个观测值与对应航迹之间的概率，并根据所述概率融合输出新的观测目标。
2.根据权利要求1所述的方法，其特征在于，所述在所述观测目标的身份信息达到预设跳变条件，包括：
识别所述视频数据中是否存在逆光视频数据或者遮挡视频数据；
判断所述雷达数据中所述观测目标的反射点个数是否小于预设值；
若所述视频数据中存在逆光视频数据或者遮挡视频数据，或者所述观测目标的反射点个数小于所述预设值，则判定所述观测目标的身份信息达到预设跳变条件。
3.根据权利要求1所述的方法，其特征在于，在所述观测目标的身份信息达到所述预设跳变条件之前，还包括：
将所述视频数据内第一帧数据作为初始航迹；
基于所述初始航迹，根据所述视频数据中所述观测目标的身份信息和所述雷达数据中所述观测目标的身份信息关联所述观测目标相邻两帧的航迹。
4.根据权利要求3所述的方法，其特征在于，所述计算在目标时刻所述多个观测值与对应航迹之间的概率，包括：
基于预设的概率数据关联公式，计算在所述目标时刻所述多个观测值与对应航迹之间的概率，其中，所述预设的概率数据关联公式为：
βi(k)＝P{Xki|Zk}；
其中，Xki为k时刻第i个有效观测值对应的航迹状态向量，Zk为对应的观测状态向量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，包括：
基于预设的椭圆门关联关系，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，其中，所述预设的椭圆门关联关系为：
((Epx/a)2+(Epy/b)2)＜1；
((Evx/a)2+(Evy/b)2)＜1；
其中，a为椭圆的长轴半径，b为椭圆的短轴半径，Epx为跟踪目标与观测目标纵向距离误差，Epy为跟踪目标与观测目标横向距离误差，Evx为跟踪目标与观测目标纵向速度误差，Evy为跟踪目标与观测目标横向速度误差。
6.一种多传感器目标融合装置，其特征在于，包括：
采集模块，用于采集目标场景内的视频数据和雷达数据，识别观测目标的身份信息；
获取模块，用于在所述观测目标的身份信息达到预设跳变条件时，根据所述视频数据和所述雷达数据的相邻帧数据关联所述观测目标的多个观测属性，并根据所述多个观测属性得到所述观测目标的多个观测值，其中，所述观测属性包括位置和速度；以及
融合模块，用于将所述观测目标的多个观测值输入至预设跟踪门，计算在目标时刻所述多个观测值与对应航迹之间的概率，并根据所述概率融合输出新的观测目标。
7.根据权利要求6所述的装置，其特征在于，所述获取模块，包括：
识别单元，用于识别所述视频数据中是否存在逆光视频数据或者遮挡视频数据；
判断单元，用于判断所述雷达数据中所述观测目标的反射点个数是否小于预设值；
确定单元，用于若所述视频数据中存在逆光视频数据或者遮挡视频数据，或者所述观测目标的反射点个数小于所述预设值，则判定所述观测目标的身份信息达到预设跳变条件。
8.根据权利要求6所述的装置，其特征在于，在所述观测目标的身份信息达到所述预设跳变条件之前，所述获取模块，还包括：
提取单元，用于将所述视频数据内第一帧数据作为初始航迹；
关联单元，用于基于所述初始航迹，根据所述视频数据中所述观测目标的身份信息和所述雷达数据中所述观测目标的身份信息关联所述观测目标相邻两帧的航迹。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的多传感器目标融合方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的多传感器目标融合方法。
CN202210999265.1A 2022-08-19 多传感器目标融合方法、装置、电子设备及存储介质 Active CN115494494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210999265.1A CN115494494B (zh) 2022-08-19 多传感器目标融合方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210999265.1A CN115494494B (zh) 2022-08-19 多传感器目标融合方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115494494A true CN115494494A (zh) 2022-12-20
CN115494494B CN115494494B (zh) 2024-10-22

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116625384A (zh) * 2023-07-21 2023-08-22 蘑菇车联信息科技有限公司 一种数据关联方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203374A1 (en) * 2015-01-14 2016-07-14 GM Global Technology Operations LLC Target grouping techniques for object fusion
CN113269811A (zh) * 2021-07-20 2021-08-17 苏州挚途科技有限公司 数据融合方法、装置及电子设备
CN113671480A (zh) * 2021-07-10 2021-11-19 亿太特(陕西)科技有限公司 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法
CN114296095A (zh) * 2021-12-17 2022-04-08 芜湖雄狮汽车科技有限公司 自动驾驶车辆的有效目标提取方法、装置、车辆及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203374A1 (en) * 2015-01-14 2016-07-14 GM Global Technology Operations LLC Target grouping techniques for object fusion
CN113671480A (zh) * 2021-07-10 2021-11-19 亿太特(陕西)科技有限公司 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN113269811A (zh) * 2021-07-20 2021-08-17 苏州挚途科技有限公司 数据融合方法、装置及电子设备
CN114119659A (zh) * 2021-11-12 2022-03-01 武汉理工大学重庆研究院 一种多传感器融合的目标跟踪方法
CN114296095A (zh) * 2021-12-17 2022-04-08 芜湖雄狮汽车科技有限公司 自动驾驶车辆的有效目标提取方法、装置、车辆及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU, JM等: "A framework for target identification via multi-sensor data fusion", PROCEEDINGS OF THE 2003 IEEE INTERNATIONAL SYMPOSIUM ON INTELLIGENT CONTROL, 31 January 2003 (2003-01-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116625384A (zh) * 2023-07-21 2023-08-22 蘑菇车联信息科技有限公司 一种数据关联方法、装置及电子设备
CN116625384B (zh) * 2023-07-21 2023-11-10 蘑菇车联信息科技有限公司 一种数据关联方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN111709975B (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN110766724B (zh) 目标跟踪网络训练、跟踪方法及装置、电子设备及介质
KR101913214B1 (ko) 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
WO2021072696A1 (zh) 目标检测与跟踪方法、系统、可移动平台、相机及介质
CN109738884B (zh) 对象检测方法、装置和计算机设备
CN110929796B (zh) 基于多源传感器决策层数据融合方法、系统及存储介质
CN109766867B (zh) 车辆运行状态确定方法、装置、计算机设备和存储介质
CN111783905B (zh) 一种目标融合方法、装置、存储介质及电子设备
CN108447076A (zh) 基于深度增强学习的多目标跟踪方法
CN113269811A (zh) 数据融合方法、装置及电子设备
CN115546705A (zh) 目标识别方法、终端设备及存储介质
CN112598715A (zh) 基于多传感器的多目标跟踪方法、系统及计算机可读介质
CN113313739B (zh) 目标跟踪方法、装置和存储介质
JP7418476B2 (ja) 運転可能な領域情報を決定するための方法及び装置
CN116902005A (zh) 一种基于无人驾驶车辆的融合处理方法、装置及介质
CN115494494B (zh) 多传感器目标融合方法、装置、电子设备及存储介质
CN115014366B (zh) 一种目标融合方法、装置、车辆及存储介质
CN115494494A (zh) 多传感器目标融合方法、装置、电子设备及存储介质
WO2023066080A1 (zh) 一种前向目标的确定方法、装置、电子设备及存储介质
US20210365039A1 (en) Target tracking method and device
CN115220002A (zh) 一种固定单站的多目标数据关联跟踪方法和相关装置
CN114063079B (zh) 目标置信度获取方法、装置、雷达系统和电子装置
CN113589252B (zh) 一种基于mht算法的多雷达传感器多目标跟踪方法
JP7355227B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム
WO2023042818A1 (ja) 物体認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant