CN114076942B - 一种基于多传感器的目标跟踪方法、装置及存储介质 - Google Patents

一种基于多传感器的目标跟踪方法、装置及存储介质 Download PDF

Info

Publication number
CN114076942B
CN114076942B CN202111358672.6A CN202111358672A CN114076942B CN 114076942 B CN114076942 B CN 114076942B CN 202111358672 A CN202111358672 A CN 202111358672A CN 114076942 B CN114076942 B CN 114076942B
Authority
CN
China
Prior art keywords
target
target object
state
sensor
state data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111358672.6A
Other languages
English (en)
Other versions
CN114076942A (zh
Inventor
赵晓萌
李发成
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202111358672.6A priority Critical patent/CN114076942B/zh
Publication of CN114076942A publication Critical patent/CN114076942A/zh
Application granted granted Critical
Publication of CN114076942B publication Critical patent/CN114076942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于多传感器的目标跟踪方法、装置及存储介质，改方法包括：当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对所述目标物进行检测；当检测结果中包含所述目标物，利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据；当检测结果中未包含所述目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；根据所述当前时刻的状态数据对所述目标物进行跟踪。该方法充分利用率多传感器配置下的多种量测信息，实现了信息融合。

Description

一种基于多传感器的目标跟踪方法、装置及存储介质
技术领域
本发明涉及传感器融合与多目标跟踪技术领域，具体涉及一种基于多传感器的目标跟踪方法、装置及存储介质。
背景技术
多目标跟踪技术在雷达数据处理、图像/视频处理、机器人导航等多个领域均是关键技术之一，它是一种利用采集的传感器量测信息，通过相应的目标跟踪算法获得目标航迹的过程。近年，基于随机有限集(RFS)理论的多目标跟踪方法成为研究热点，该方法基于有限集统计理论对传感器量测集合进行处理，直接估计出多目标的状态集合，从而避免了传统多目标跟踪方法对数据关联的依赖，并降低了计算复杂度。但是，该方法是对单传感器配置下实现目标跟踪，无法利用多传感器配置下的多种量测信息。
发明内容
有鉴于此，本发明实施例提供了涉及一种基于多传感器的目标跟踪方法、装置及存储介质，以解决现有技术中无法利用多传感器配置下的多种量测信息实现目标跟踪的技术问题。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种基于多传感器的目标跟踪方法，该基于多传感器的目标跟踪方法包括：当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对所述目标物进行检测；当检测结果中包含所述目标物，利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据；当检测结果中未包含所述目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；根据所述当前时刻的状态数据对所述目标物进行跟踪。
可选地，当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对所述目标物进行检测，包括：通过下式的目标观测模型进行目标物检测：
Figure BDA0003357926510000021
式中：Ω＝O1∪O2∪...∪On为多目标状态集合；C为杂波观测集合，O为目标观测集合；Z为单帧多目标观测集合，是目标观测集合与杂波集合的并集Z＝Ω∪C；
Figure BDA0003357926510000022
表示求和遍历集合Z的每一个观测集合；p(C)表示C的泊松点过程；λ(x)为强度函数；p(O|x)表示有单个目标状态矢量x的单个传感器下的观测模型。
可选地，所述状态数据包括目标物的坐标数据；所述利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据，包括：通过下式的目标转移模型进行状态数据更新：
Figure BDA0003357926510000023
式中：X＝Ξ∪B表示当前时刻多目标状态集合，其中Ξ＝{S1∪S2∪...∪Sn}为上一时刻多目标状态集合，B为当前时刻多传感器产生的新的多目标状态集合；p(B)表示B的泊松点过程；λ(x)为强度函数；p(S|x)为伯努利随机有限集。
可选地，所述根据所述当前时刻的状态数据对所述目标物进行跟踪，包括：输出更新后所述目标物当前时刻的目标估计值。
可选地，所述利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据之前，所述方法还包括：根据多传感器的观测模型设计并计算多传感器产生的新的多目标状态集合B的带权伯努利随机有限集参数。
可选地，当更新或预测所述目标物的状态数据之后，根据所述当前时刻的状态数据对所述目标物进行跟踪之前，所述方法还包括：根据得到的目标物在当前时刻的状态数据确定目标物轨迹；当得到的目标物轨迹包含多个时，按照目标筛选条件对多个轨迹进行筛选并将不满足预设筛选条件的轨迹从形成的轨迹池中剔除；根据轨迹池中的剩余轨迹确定目标物在当前时刻的状态数据。
可选地，所述多传感器包括：毫米波雷达与图像传感器。
本发明实施例第二方面提供一种基于多传感器的目标跟踪装置，该基于多传感器的目标跟踪装置包括：检测模块，用于当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对所述目标物进行检测；更新模块，用于当检测结果中包含所述目标物，利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据；预测模块，用于当检测结果中未包含所述目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；跟踪模块，用于根据所述当前时刻的状态数据对所述目标物进行跟踪。
本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的基于多传感器的目标跟踪方法。
本发明实施例第四方面提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的基于多传感器的目标跟踪方法。
本发明提供的技术方案，具有如下效果：
本发明实施例提供的基于多传感器的目标跟踪方法，当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对所述目标物进行检测；当检测结果中包含所述目标物，利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据；当检测结果中未包含所述目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；根据所述当前时刻的状态数据对所述目标物进行跟踪。该方法充分利用多传感器配置下的多种量测信息，实现了信息融合；相比于现有技术中，目标状态更新后需要将多目标状态融合之后再进行跟踪，本发明中因传感器模型相异，状态空间统一，在状态更新后可直接利用多传感器信息实现目标跟踪。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于多传感器的目标跟踪方法的流程图；
图2是根据本发明实施例的基于多传感器的目标跟踪方法的观测数据与杂波时域累计图；
图3是根据本发明实施例的基于多传感器的目标跟踪方法的真值轨迹与估计轨迹示意图；
图4是根据本发明实施例的基于多传感器的目标跟踪方法的目标数真值与估计值示意图；
图5是根据本发明实施例的基于多传感器的目标跟踪方法的多传感器融合运行示意图；
图6是根据本发明实施例的基于多传感器的目标跟踪装置的结构框图；
图7是根据本发明实施例提供的计算机可读存储介质的结构示意图；
图8是根据本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于多传感器的目标跟踪方法，如图1所示，该方法包括如下步骤：
步骤S101：当系统初始化完成，接收多传感器上传的报文数据并根据报文数据对目标物进行检测。其中，系统用于搭载多传感器并接收处理数据。具体地，在系统初始化之前首先针对系统配置若干传感器。其中，平台与各传感器空间坐标系之间转换关系已经通过联合标定，所有传感器观测均通过标定后的外参数转换到平台坐标系中，并且已知各个传感器的观测模型。
假设每个传感器的观测数据形式为：时间戳和报文。其中，时间戳用于记录观测到达时刻；报文用于记录观测数据；各个传感器已经经过时间同步，即记录时间戳设备的时钟源统一。且观测报文满足观测假设：每个目标至多产生一个观测；不同目标生成观测不同。
传感器配置完成后，按照传感器特性事先人为设定主导传感器类型，用于控制系统的运行与终止。其中，选取依据为：主导传感器帧率稳定适中；主导传感器检测精度较高；主导传感器工况稳定等。每个传感器都按照同源时间戳顺序发送报文队列，当系统接收到主导传感器发送的终止报文或当经过10个主导传感器报文发送周期后，系统仍未接收到主导传感器报文，则系统终止；当系统判断接收到主导传感器的报文到达时，系统初始化完成，并根据接收的多传感器上传的报文数据对目标物进行检测。
步骤S102：当检测结果中包含目标物，利用检测结果中目标物的当前时刻的状态数据更新目标物在前一时刻的状态数据。具体地，当检测到目标物时，获取目标物的当前时刻的状态数据，并利用该状态数据对目标物在前一时刻的状态数据进行更新，并得到目标物新的状态数据。
步骤S103：当检测结果中未包含目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测。具体地，当未检测到目标物时构建状态预测模型，获取目标物前一时刻的状态数据，并根据该数据与模型对目标物当前时刻的状态数据进行预测，并得到目标物当前时刻的预测状态数据。
步骤S104：根据当前时刻的状态数据对目标物进行跟踪。具体地，根据目标物更新或预测后的当前时刻的状态数据对该检测到的目标物进行跟踪。
本发明实施例提供的基于多传感器的目标跟踪方法，当系统初始化完成，接收多传感器上传的报文数据并根据报文数据对目标物进行检测；当检测结果中包含目标物，利用检测结果中目标物的当前时刻的状态数据更新目标物在前一时刻的状态数据；当检测结果中未包含目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；根据当前时刻的状态数据对目标物进行跟踪。该方法充分利用率多传感器配置下的多种量测信息，实现了信息融合；相比于现有技术中，目标状态更新后需要将多目标状态融合之后再进行跟踪，本发明中因传感器模型相异，状态空间统一，在状态更新后可直接利用多传感器信息实现目标跟踪。
作为本发明实施例一种可选的实施方式，接收多传感器上传的报文数据并根据报文数据对目标物进行检测。通过构建目标观测模型进行目标物检测，具体地，假设传感器每帧的观测状态方程为：
z＝h(v)+v
Figure BDA0003357926510000071
式中
Figure BDA0003357926510000072
为观测空间矢量，
Figure BDA0003357926510000073
为状态空间矢量，v为观测白噪声，噪声协方差为R，则有观测分布形式为：
Figure BDA0003357926510000074
并假设每种传感器存在状态依赖的检测率p(d|x)＝Ber(PD(x))，其中Ber表示伯努利(Bernoulli)分布，d∈{0,1}表示目标是否被检测，pD(x)∈[0,1]表示状态依赖的检测率的分布函数，即：
Figure BDA0003357926510000075
则在观测假设下，对于单个传感器与单个目标状态矢量，其目标观测状态集合设为O，即：
Figure BDA0003357926510000076
再结合观测模型形式可知：p(O＝{o}|d＝1,x)＝g(o|x)
则确定有目标x的传感器s下的观测模型为：
Figure BDA0003357926510000081
即p(O|x)分布为伯努利随机有限集(Bernoulli random finite set,BernoulliRFS)，记为Ber(pD,g(·))。
设置传感器每帧的杂波观测集合为C，并假设杂波C的位置分布为泊松点过程(Poisson point process)，即：
Figure BDA0003357926510000082
式中，λ(x)为强度函数。
进一步假设多目标状态集合X已知时，杂波状态C与目标观测状态O独立，且目标观测区间也独立。单帧多目标观测集合为目标观测集合与杂波集合的并集Z＝Ω∪C，式中定义多目标状态集合Ω＝O1∪O2∪...∪On。则依据随机有限集卷积定理，杂波环境下多目标观测模型为：
Figure BDA0003357926510000083
式中，
Figure BDA0003357926510000084
为集合不交并，求和符号
Figure BDA0003357926510000085
表示求和遍历集合Z的每一个观测集合。
在一实施例中，如图2所示，假设监控区域为2D空间，范围为x∈[-1000,1000],y∈[-1000,1000]；状态空间为
Figure BDA0003357926510000086
观测空间为
Figure BDA0003357926510000087
px,py分别表示目标在监视区域xy位置坐标，vx,vy分别表示目标在监视空间内xy轴方向速度分量。
假设监控区域内检测率与存活率均为状态无关的常数，即
Figure BDA0003357926510000091
Figure BDA0003357926510000092
目标观测模型为线性函数：
h(x)＝Hx
Figure BDA0003357926510000093
观测噪声协方差矩阵为：
Figure BDA0003357926510000094
杂波分布为泊松点过程，杂波密度函数在监控区域V内为常数，监视区域外为0，且杂波强度
Figure BDA0003357926510000095
为20，则：
Figure BDA0003357926510000096
Figure BDA0003357926510000097
式中，|V|表示监视区域体积。
作为本发明实施例一种可选的实施方式，当检测结果中包含目标物，利用检测结果中目标物的当前时刻的状态数据更新目标物在前一时刻的状态数据。通过构建目标转移模型进行状态数据更新，具体地，构建目标转移模型之前假设目标间运动条件独立且新的目标状态(或称新生)模型为泊松点过程，即当前时刻多目标状态集合只与上一时刻状态集合有关；则当前帧多目标状态集合X＝Ξ∪B，其中Ξ＝{S1∪S2∪...∪Sn}为上一时刻多目标状态集合，B为当前时刻多传感器产生的新的多目标状态即新生目标的集合；同样依据随机有限集卷积定理，得到多目标转移概率模型为：
Figure BDA0003357926510000101
式中，λb(·)为新生目标泊松点过程的强度函数，p(S|x)的形式为：
Figure BDA0003357926510000102
式中，pS(x)为状态x的存活概率，即p(S|x)为伯努利随机有限集，
Figure BDA0003357926510000103
为马尔可夫转移概率分布，即多目标转移模型又称马尔可夫运动模型
在一实施例中，转移模型函数为线性函数：
f(x)＝Fx
Figure BDA0003357926510000104
转移噪声协方差矩阵为：
Figure BDA0003357926510000111
构建目标转移模型之后，首先基于伯努利随机有限集，约束迭代的状态分布服从多伯努利混合分布，然后迭代更新多目标状态参数。具体地，约束迭代的状态分布服从多伯努利混合分布，即多伯努利混合(Multi-Bernoulli Mixture，MBM)随机有限集形式为：
Figure BDA0003357926510000112
式中，MB(·)表示多伯努利随机有限集；wh为全局假设h下多伯努利权重系数；
Figure BDA0003357926510000113
在MBM中要对伯努利成分带权求和，在多次迭代过程中求和项数目会指数增长，具体地，采用数据关联算法削减求和数项目。首先，依据求和项实际意义引入全局假设与局部假设的定义：
局部假设：单个轨迹的所有历史时刻的数据关联记录，记为h；
全局假设：当前存活轨迹的所有历史时刻的数据关联记录，可构成全局假设超集
Figure BDA0003357926510000114
其中每个元素为单个全局假设集合包含若干局部假设
Figure BDA0003357926510000115
则确定需要迭代更新计算的多目标状态参数集合为：
关联权重：
Figure BDA0003357926510000121
伯努利RFS参数：
Figure BDA0003357926510000122
然后迭代更新多目标状态参数。首先更新全局假设集合与全局假设权重。具体地，对全局假设中的每个局部假设，其带权伯努利参数集合为{ri,h,pi,h(·)}，更新后验带权多伯努利参数：
更新漏检假设下的后验带权伯努利RFS参数：
Figure BDA0003357926510000123
式中，定义
Figure BDA0003357926510000124
更新关联观测j(j>0)假设下的后验带权伯努利RFS参数：
Figure BDA0003357926510000125
具体地，对每个全局假设
Figure BDA0003357926510000126
应用Murty数据关联算法：依据每个全局假设集合中的所有局部假设hi中带权伯努利RFS中的关联权重wi,j,h(j＝1,…,nm)，构建关联代价矩阵CH；代价矩阵CH输入Mutry算法进行数据关联，输出K组最优数据关联匹配；依据组关联结果，分别更新全局假设集合与全局假设权重。
作为本发明实施例一种可选的实施方式，当检测结果中未包含目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测。具体地，假设当前时刻多目标后验状态矢量集合为X，当前时刻时间戳为tc，当检测结果中未包含目标物时，记录下一组观测到达时刻ts，并计算时间差δt＝ts-tc；然后对全局假设中的每个局部假设，更新多伯努利参数：
Figure BDA0003357926510000131
Figure BDA0003357926510000132
更新多伯努利参数之后，根据贝叶斯滤波公式对目标物当前时刻的状态数据进行预测。
作为本发明实施例一种可选的实施方式，根据当前时刻的状态数据对目标物进行跟踪。具体地，选择单个主导传感器的时间戳顺序，输出更新后目标物当前时刻的目标估计值：选取全局假设权重最大的最优全局假设集合
Figure BDA0003357926510000133
选取最优最优全局假设集合中的局部假设，计算各个局部假设中伯努利RFS的估计值。具体地，遍历最优全局假设集合中的局部假设，如果局部假设中伯努利RFS中存在概率
Figure BDA0003357926510000134
Te为估计阈值，则目标估计值为：
Figure BDA0003357926510000135
根据当前时刻的目标估计值确定并输出目标物状态，得到状态估计轨迹。
在一实施例中，目标估计值如图4所示；状态估计轨迹如图3所示。
作为本发明实施例一种可选的实施方式，利用检测结果中目标物的当前时刻的状态数据更新目标物在前一时刻的状态数据之前，根据多传感器的观测模型设计并计算多传感器产生的新的多目标状态集合B的带权伯努利随机有限集参数。具体地，针对平台上传感器集合S的观测特性，设计各个传感器si的先验新生权重
Figure BDA0003357926510000136
以及先验新生分布pB,i(·)，并结合传感器观测模型，构建目标物状态新生模型：
对一般非线性观测函数h做一阶泰勒展开得出对应的线性观测模型，并省略白噪声误差项，即观测模型邻域线性化后有z＝Hx，并可对应的得出广义逆观测方程为x＝H+(z)，式中H+表示Moore–Penrose广义逆。设计先验新生分布
Figure BDA0003357926510000141
有一阶矩与二阶中心矩为：
Figure BDA0003357926510000142
Figure BDA0003357926510000143
式中，PB,i为新生先验协方差矩阵。
则新生带权伯努利RFSBer(x；rB,i,pB,i(·))参数计算公式为：
Figure BDA0003357926510000144
wB,i＝λc(z)+ρ(z)
Figure BDA0003357926510000145
Figure BDA0003357926510000146
根据计算确定新生的带权伯努利随机有限集参数集合为{wB,i,rB,i,pB,i(·)|i＝1,…,ns}，然后并入到局部假设集合中。
具体地，针对平台上传感器集合的观测特性，设计各个传感器的先验新生权重之前，为满足多传感器观测假设，对多传感器进行处理。
在一实施例中，对两大类常用传感器有两种预处理方案：
点云观测：如激光雷达，毫米波雷达与深度相机等，需预先采用点云聚类算法给出目标观测。
图像观测：各类相机，可利用检测算法给出目标检测框，再依据相机内外参检测框内提取检测框内聚焦点，从而形成满足观测假设的目标观测形式。
新生权重与新生协方差为：
Figure BDA0003357926510000151
Figure BDA0003357926510000152
仿真时长为100单位时间，共新生12个目标，新生时刻为：
tbirth＝[1,0,1,20,20,20,40,40,60,60,80,80]
对应目标的消亡时刻为：
tdepth＝[70,100,70,100,100,100,100,100,100,100,100,100]
初始状态为：
{[0,0,0,-10],
[400,-600,-10,5],
[-800,-200,20,-5],
[400,-600,-7,-4],
[400,-600,-2.5,10],
[0,0,7.5,-5],
[-800,-200,12,7],
[-200,800,15,-10],
[-800,-200,3,15],
[-200,800,-3,-15],
[0,0,-20,-15],
[-200,800,15,-5]}
确定初始状态后，对目标进行跟踪，得到真值轨迹，如图3所示，且目标数真值如图4所示。具体地，例如到达时刻“8”时，状态为：
{[-0.34,-81.90,-0.56,-10.34],
[316.12,-547.54,-9.31,8.48],
[-644.20,-251.72,19.02,-6.43]}
到达时刻“29”时，状态为：
{[-6.72,-291.33,-3.97,-12.43],
[103.82,-462.60,-11.90,5.08],
[-223.45,-339.70,22.07,-1.91],
[341.49,-635.48,-3.04,-4.47],,
[373.68,-497.71,-5.04,9.64],
[75.57,-59.21,9.68,-11.49]}
到达时刻“84”时，状态为：
{[11.12,-700.30,1.09,-13.91],
[-455.67,-166.12,-9.46,8.85],
[578.68,-539.94,21.03,-5.75],
[-47.25,-859.78,1.69,-2.73],
[257.23,56.33,1.42,10.60],
[489.47,-311.43,8.11,1.96],
[-251.95,101.06,15.89,2.57],
[481.85,350.16,15.34,-8.50],
[-729.04,173.04,1.97,13.30],
[-276.70,418.05,-7.34,-16.43],
[-107.42,-83.04,-22.60,-13.61],
[-130.48,781.64,11.37,-6.56]}
其中，时刻“8”、时刻“29”、时刻“84”均为对目标进行跟踪过程中目标运行的不同时刻。
作为本发明实施例一种可选的实施方式，当更新或预测目标物的状态数据之后，根据当前时刻的状态数据对目标物进行跟踪之前，还包括：根据得到的目标物在当前时刻的状态数据确定目标物轨迹；当得到的目标物轨迹包含多个时，按照目标筛选条件对多个轨迹进行筛选并将不满足预设筛选条件的轨迹从形成的轨迹池中剔除；根据轨迹池中的剩余轨迹确定目标物在当前时刻的状态数据。具体地，在每个更新步骤后维护整个轨迹池中的轨迹质量，将质量较差的轨迹从轨迹池中剔除，得到目标物的最佳状态数据。
根据设置的RFS削减阈值Tg与Tl削减状态，并根据估计阈值Te来筛选输出的目标状态：Tg削减全局假设集合；Tl削减局部假设集合；采用树结构维护全局假设与局部假设，进一步运行N－scan剪枝算法约束轨迹树结构的深度。
在一实施例中，设定全局假设关联权重阈值Tg，削减全局假设关联权重低于Tg的全局假设；设定局部假设权重系数阈值Tl，削减低于Tl的局部假设以及对应的伯努利RFS。
作为本发明实施例一种可选的实施方式，多传感器包括：毫米波雷达与图像传感器。
在一实施例中，设置相机为图像传感器，将毫米波雷达与相机观测进行融合，如图5所示。具体地，设置状态空间
Figure BDA0003357926510000171
毫米波雷达观测空间为
Figure BDA0003357926510000172
相机观测空间为
Figure BDA0003357926510000173
毫米波雷达与相机监控区域内检测率与存活率为：
Figure BDA0003357926510000174
Figure BDA0003357926510000175
Figure BDA0003357926510000176
Figure BDA0003357926510000177
pS＝0.99
依据相机内外参数与雷达外参数将相机观测投影到雷达观测平面xy中，建立相机观测模型为：
Figure BDA0003357926510000181
Figure BDA0003357926510000182
Figure BDA0003357926510000183
泰勒展开取一阶线性部分有观测矩阵：
Figure BDA0003357926510000184
上式矩阵内省略r变量传感器上角标。
毫米波雷达观测模型为：
Figure BDA0003357926510000185
Figure BDA0003357926510000186
泰勒展开取一阶线性部分有观测矩阵：
Figure BDA0003357926510000191
转移模型为匀速模型：
Figure BDA0003357926510000192
Figure BDA0003357926510000193
本发明实施例还提供一种基于多传感器的目标跟踪装置，如图6所示，该装置包括：
检测模块401，用于当系统初始化完成，接收多传感器上传的报文数据并根据报文数据对目标物进行检测；详细内容参见上述方法实施例中步骤S101的相关描述。
更新模块402，用于当检测结果中包含目标物，利用检测结果中目标物的当前时刻的状态数据更新目标物在前一时刻的状态数据；详细内容参见上述方法实施例中步骤S102的相关描述。
预测模块403，用于当检测结果中未包含目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；详细内容参见上述方法实施例中步骤S103的相关描述。
跟踪模块404，用于根据当前时刻的状态数据对目标物进行跟踪；详细内容参见上述方法实施例中步骤S104的相关描述。
本发明实施例提供的基于多传感器的目标跟踪装置，当系统初始化完成，接收多传感器上传的报文数据并根据报文数据对目标物进行检测；当检测结果中包含目标物，利用检测结果中目标物的当前时刻的状态数据更新目标物在前一时刻的状态数据；当检测结果中未包含目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；根据当前时刻的状态数据对目标物进行跟踪。该方法充分利用率多传感器配置下的多种量测信息，实现了信息融合；相比于现有技术中，目标状态更新后需要将多目标状态融合之后再进行跟踪，本发明中因传感器模型相异，状态空间统一，在状态更新后可直接利用多传感器信息实现目标跟踪。
作为本发明实施例一种可选的实施方式，还包括：第一模型构建模块，用于构建目标观测模型；第二模型构建模块，用于构建目标转移模型；输出模块，用于输出更新后目标物当前时刻的目标估计值；第一处理模块，用于根据多传感器的观测模型设计并计算多传感器产生的新的多目标状态集合B的带权伯努利随机有限集参数；第二处理模块，用于削减所述当前时刻多目标状态集合中的成份数，确定单个成分对应的目标状态。
本发明实施例提供的基于多传感器的目标跟踪装置的功能描述详细参见上述实施例中基于多传感器的目标跟踪方法描述。
本发明实施例还提供一种存储介质，如图7所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中基于多传感器的目标跟踪方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本发明实施例还提供了一种电子设备，如图8所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的基于多传感器的目标跟踪方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－5所示实施例中的基于多传感器的目标跟踪方法。
上述电子设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (7)

1.一种基于多传感器的目标跟踪方法，其特征在于，所述方法包括如下步骤：
当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对目标物进行检测，包括：通过下式的目标观测模型进行目标物检测：
Figure FDA0003766039890000011
式中：Ω＝O1∪O2∪...∪On为多目标状态集合；C为杂波观测集合，O为目标观测集合；Z为单帧多目标观测集合，是目标观测集合与杂波集合的并集Z＝Ω∪C；
Figure FDA0003766039890000012
表示求和遍历集合Z的每一个观测集合；p(C)表示C的泊松点过程；λ(x)为强度函数；p(O|x)表示有单个目标状态矢量x的单个传感器下的观测模型；
当检测结果中包含所述目标物，利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据；
当检测结果中未包含所述目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；
根据所述当前时刻的状态数据对所述目标物进行跟踪；
所述状态数据包括目标物的坐标数据；所述利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据，包括：通过下式的目标转移模型进行状态数据更新：
Figure FDA0003766039890000021
式中：X＝Ξ∪B表示当前时刻多目标状态集合，其中Ξ＝{S1∪S2∪...∪Sn}为上一时刻多目标状态集合，B为当前时刻多传感器产生的新的多目标状态集合；p(B)表示B的泊松点过程；λ(x)为强度函数；p(S|x)为伯努利随机有限集；
所述利用所述的状态数据更新所述目标物在前一时刻的状态数据之前，还包括：根据多传感器的观测模型设计并计算多传感器产生的新的多目标状态集合的带权伯努利随机有限集参数，包括：
对多传感器进行处理；
根据处理后的多传感器的集合的观测特性设计每一个传感器的先验新生权重以及先验新生分布；
根据所述先验新生权重、所述先验新生分布以及传感器观测模型构建目标状态新生模型；
根据所述目标状态新生模型计算新生带权伯努利参数并根据所述新生带权伯努利参数确定多传感器产生的新的多目标状态集合的带权伯努利随机有限集参数。
2.根据权利要求1所述的基于多传感器的目标跟踪方法，其特征在于，所述根据所述当前时刻的状态数据对所述目标物进行跟踪，包括：输出更新后所述目标物当前时刻的目标估计值。
3.根据权利要求1所述的基于多传感器的目标跟踪方法，其特征在于，当更新或预测所述目标物的状态数据之后，根据所述当前时刻的状态数据对所述目标物进行跟踪之前，所述方法还包括：
根据得到的目标物在当前时刻的状态数据确定目标物轨迹；
当得到的目标物轨迹包含多个时，按照目标筛选条件对多个轨迹进行筛选并将不满足预设筛选条件的轨迹从形成的轨迹池中剔除；
根据轨迹池中的剩余轨迹确定目标物在当前时刻的状态数据。
4.根据权利要求1所述的基于多传感器的目标跟踪方法，其特征在于，所述多传感器包括：毫米波雷达与图像传感器。
5.一种基于多传感器的目标跟踪装置，其特征在于，包括：
检测模块，用于当系统初始化完成，接收多传感器上传的报文数据并根据所述报文数据对目标物进行检测，包括：通过下式的目标观测模型进行目标物检测：
Figure FDA0003766039890000031
式中：Ω＝O1∪O2∪...∪On为多目标状态集合；C为杂波观测集合，O为目标观测集合；Z为单帧多目标观测集合，是目标观测集合与杂波集合的并集Z＝Ω∪C；
Figure FDA0003766039890000032
表示求和遍历集合Z的每一个观测集合；p(C)表示C的泊松点过程；λ(x)为强度函数；p(O|x)表示有单个目标状态矢量x的单个传感器下的观测模型；
更新模块，用于当检测结果中包含所述目标物，利用所述检测结果中所述目标物的当前时刻的状态数据更新所述目标物在前一时刻的状态数据；
预测模块，用于当检测结果中未包含所述目标物，根据前一时刻状态数据以及预设状态预测模型对目标物当前时刻的状态数据进行预测；
跟踪模块，用于根据所述当前时刻的状态数据对所述目标物进行跟踪；
所述状态数据包括目标物的坐标数据；所述更新模块通过下式的目标转移模型进行状态数据更新：
Figure FDA0003766039890000041
式中：X＝Ξ∪B表示当前时刻多目标状态集合，其中Ξ＝{S1∪S2∪...∪Sn}为上一时刻多目标状态集合，B为当前时刻多传感器产生的新的多目标状态集合；p(B)表示B的泊松点过程；λ(x)为强度函数；p(S|x)为伯努利随机有限集；
还包括：
第一处理模块，用于根据多传感器的观测模型设计并计算多传感器产生的新的多目标状态集合的带权伯努利随机有限集参数，包括：
第一处理子模块，用于对多传感器进行处理；
第一设计子模块，用于根据处理后的多传感器的集合的观测特性设计每一个传感器的先验新生权重以及先验新生分布；
第一构建子模块，用于根据所述先验新生权重、所述先验新生分布以及传感器观测模型构建目标状态新生模型；
第一确定子模块，用于根据所述目标状态新生模型计算新生带权伯努利参数并根据所述新生带权伯努利参数确定多传感器产生的新的多目标状态集合的带权伯努利随机有限集参数。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－4任一项所述的基于多传感器的目标跟踪方法。
7.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1－4任一项所述的基于多传感器的目标跟踪方法。
CN202111358672.6A 2021-11-16 2021-11-16 一种基于多传感器的目标跟踪方法、装置及存储介质 Active CN114076942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111358672.6A CN114076942B (zh) 2021-11-16 2021-11-16 一种基于多传感器的目标跟踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111358672.6A CN114076942B (zh) 2021-11-16 2021-11-16 一种基于多传感器的目标跟踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114076942A CN114076942A (zh) 2022-02-22
CN114076942B true CN114076942B (zh) 2022-09-27

Family

ID=80283995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111358672.6A Active CN114076942B (zh) 2021-11-16 2021-11-16 一种基于多传感器的目标跟踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114076942B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114779271B (zh) * 2022-06-16 2022-10-21 杭州宏景智驾科技有限公司 目标检测方法和装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622520A (zh) * 2012-03-14 2012-08-01 北京航空航天大学 一种机动目标跟踪的分布式多模型估计融合方法
CN103064086A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆跟踪方法
CN105719312A (zh) * 2016-01-19 2016-06-29 深圳大学 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
CN107102295A (zh) * 2017-04-13 2017-08-29 杭州电子科技大学 基于glmb滤波的多传感器tdoa无源定位方法
CN109856623A (zh) * 2019-01-03 2019-06-07 中国人民解放军空军研究院战略预警研究所 一种针对多雷达直线航迹线的目标状态估计方法
CN110298865A (zh) * 2019-05-22 2019-10-01 西华大学 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法
CN111563918A (zh) * 2020-03-30 2020-08-21 西北工业大学 一种多卡尔曼滤波器数据融合的目标跟踪方法
CN112489075A (zh) * 2020-12-03 2021-03-12 杭州电子科技大学 基于特征函数的序惯式多传感器融合滤波方法
CN112598715A (zh) * 2021-03-04 2021-04-02 奥特酷智能科技(南京)有限公司 基于多传感器的多目标跟踪方法、系统及计算机可读介质
CN113311398A (zh) * 2021-05-31 2021-08-27 零八一电子集团有限公司 强杂波复杂背景高机动弱小目标的跟踪方法
CN113391209A (zh) * 2021-05-26 2021-09-14 江苏小牛电动科技有限公司 电池健康状态的预测方法、装置、系统和电池

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210157312A1 (en) * 2016-05-09 2021-05-27 Strong Force Iot Portfolio 2016, Llc Intelligent vibration digital twin systems and methods for industrial environments
CN112818873B (zh) * 2021-02-04 2023-05-26 苏州魔视智能科技有限公司 车道线检测方法、系统及电子设备
CN113537077B (zh) * 2021-07-19 2023-05-26 江苏省特种设备安全监督检验研究院 基于特征池优化的标签多伯努利视频多目标跟踪方法
CN113917449A (zh) * 2021-09-30 2022-01-11 中国船舶重工集团公司第七二四研究所 一种低检测概率下的多雷达标签多伯努利多目标跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622520A (zh) * 2012-03-14 2012-08-01 北京航空航天大学 一种机动目标跟踪的分布式多模型估计融合方法
CN103064086A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆跟踪方法
CN105719312A (zh) * 2016-01-19 2016-06-29 深圳大学 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
CN107102295A (zh) * 2017-04-13 2017-08-29 杭州电子科技大学 基于glmb滤波的多传感器tdoa无源定位方法
CN109856623A (zh) * 2019-01-03 2019-06-07 中国人民解放军空军研究院战略预警研究所 一种针对多雷达直线航迹线的目标状态估计方法
CN110298865A (zh) * 2019-05-22 2019-10-01 西华大学 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法
CN111563918A (zh) * 2020-03-30 2020-08-21 西北工业大学 一种多卡尔曼滤波器数据融合的目标跟踪方法
CN112489075A (zh) * 2020-12-03 2021-03-12 杭州电子科技大学 基于特征函数的序惯式多传感器融合滤波方法
CN112598715A (zh) * 2021-03-04 2021-04-02 奥特酷智能科技(南京)有限公司 基于多传感器的多目标跟踪方法、系统及计算机可读介质
CN113391209A (zh) * 2021-05-26 2021-09-14 江苏小牛电动科技有限公司 电池健康状态的预测方法、装置、系统和电池
CN113311398A (zh) * 2021-05-31 2021-08-27 零八一电子集团有限公司 强杂波复杂背景高机动弱小目标的跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于随机有限集的目标跟踪算法研究;秦永;《中国优秀博硕士学位论文全文数据库（博士）》;20170815;正文第41-53页 *

Also Published As

Publication number Publication date
CN114076942A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
Granström et al. New prediction for extended targets with random matrices
Zuo et al. Conditional posterior Cramér–Rao lower bounds for nonlinear sequential Bayesian estimation
Mohammadi et al. Distributed particle filter implementation with intermittent/irregular consensus convergence
WO2017124299A1 (zh) 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
US10935653B2 (en) Multi-target tracking method and tracking system applicable to clutter environment
Míguez et al. On the convergence of two sequential Monte Carlo methods for maximum a posteriori sequence estimation and stochastic global optimization
Chong et al. Comparison of tracklet fusion and distributed Kalman filter for track fusion
CN108717174B (zh) 基于信息论的预测快速协方差交互融合无源协同定位方法
WO2019047455A1 (zh) 一种适用于闪烁噪声的多机动目标跟踪方法及系统
CN114076942B (zh) 一种基于多传感器的目标跟踪方法、装置及存储介质
Mohammadi et al. Consensus-based distributed dynamic sensor selection in decentralised sensor networks using the posterior Cramér–Rao lower bound
Abd El Aziz Source localization using TDOA and FDOA measurements based on modified cuckoo search algorithm
CN112782696A (zh) 一种序列isar图像散射中心多假设跟踪航迹关联方法
Yao et al. Image moment-based extended object tracking for complex motions
WO2022045982A1 (en) Unmanned aerial vehicle and localization method for unmanned aerial vehicle
CN116929338A (zh) 地图构建方法、设备及存储介质
Bouaynaya et al. On the optimality of motion-based particle filtering
Taghavi et al. Bias estimation for practical distributed multiradar-multitarget tracking systems
CN117433538A (zh) 一种多源异构传感器航迹融合方法
CN116523972A (zh) 基于稀疏光流运动补偿的两阶段多目标追踪方法及产品
Sarıtaş et al. Posterior Cramér-Rao lower bounds for extended target tracking with random matrices
Xu et al. The multi-sensor PHD filter: Analytic implementation via Gaussian mixture and effective binary partition
CN114972429B (zh) 云边协同自适应推理路径规划的目标追踪方法和系统
CN113989332B (zh) 一种目标跟踪方法、装置、存储介质及电子设备
Pöschmann et al. Optimization based 3d multi-object tracking using camera and radar data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant