CN111860613A - 一种基于多源异构信号的多目标追踪及状态预测方法 - Google Patents

一种基于多源异构信号的多目标追踪及状态预测方法 Download PDF

Info

Publication number
CN111860613A
CN111860613A CN202010611414.3A CN202010611414A CN111860613A CN 111860613 A CN111860613 A CN 111860613A CN 202010611414 A CN202010611414 A CN 202010611414A CN 111860613 A CN111860613 A CN 111860613A
Authority
CN
China
Prior art keywords
state
source heterogeneous
signals
signal
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010611414.3A
Other languages
English (en)
Other versions
CN111860613B (zh
Inventor
陈赟
郭胜
唐文献
王月阳
王为民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Yucheng Intelligent Equipment Technology Co ltd
Jiangsu University of Science and Technology
Original Assignee
Zhenjiang Yucheng Intelligent Equipment Technology Co ltd
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenjiang Yucheng Intelligent Equipment Technology Co ltd, Jiangsu University of Science and Technology filed Critical Zhenjiang Yucheng Intelligent Equipment Technology Co ltd
Priority to CN202010611414.3A priority Critical patent/CN111860613B/zh
Publication of CN111860613A publication Critical patent/CN111860613A/zh
Application granted granted Critical
Publication of CN111860613B publication Critical patent/CN111860613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种基于多源异构信号的多目标追踪及状态预测方法，通过多源异构传感器采集多源异构信号，采用数据挖掘方法对采集的信号进行特征提取，根据特征信号建立状态空间模型，接着对场景状态进行动态跟踪和预测，并采用分类预测方法对多源异构传感信号融合，最终根据融合结果控制智能体运动。本发明即使某一信号获取精度降低，仍可根据其它信号源进行跟踪预测，避免环境变化引起信号源获取精度降低，进而导致目标识别精度降低的问题。

Description

一种基于多源异构信号的多目标追踪及状态预测方法
技术领域
本发明属于目标定位技术领域，特别涉及一种基于多源异构信号的多目标追踪及状态预测方法。
背景技术
目前目标定位方法多种多样，包括图像定位、声学定位、无线定位等，如专利一种数字图像中的目标定位方法以及装置(ZL201410359215.2)公开了一种利用数字图像进行目标定位的方法，首先获取目标Gabor滤波形状模板，利用Gabor滤波结果进行形状匹配定位，再利用骨架特征之间的相似度判定目标所在区域；专利一种水下机器人目标定位识别方法和系统(ZL201710209500.X)公开了一种利用声呐信息进行目标定位的方法；专利无线传感器网络静止目标定位方法及系统(ZL201310145553.1)公开了一种利用无线网络进行目标定位的方法。
上述定位方法均单一信息源进行定位，一旦环境变化影响了信息获取的精度，则会导致定位精度降低，例如可见度降低影响图像采集、噪音引起声波干扰等，因此需要一种基于多源信号的目标定位方法。此外，目标定位过程中，若目标随机运动，现有定位方法很难预测下一时刻目标可能出现的位置，导致监测设备不能较好的获取下一时刻目标的信息，甚至丢失监测目标。
发明内容
发明目的：针对现有技术存在的问题，提供一种基于多源异构信号的多目标追踪及状态预测方法，可以同时跟踪和预测多个目标的状态，提升了监控效率，降低监测系统成本。
技术方案：为解决上述技术问题，本发明提供一种基于多源异构信号的多目标追踪及状态预测方法，包括如下步骤：
(1)采集多源异构信号：通过多源异构传感监测系统采集多源异构信号；
(2)提取特征信号：将采集到的信号，通过通信网络传输到用户端，用户端的控制系统通过数据挖掘方法对采集的信号进行特征提取，得到多个目标的位置信息，作为特征信号；
(3)状态空间建模：将提取的特征信号作为输入，建立状态空间模型；
(4)动态追踪及预测：利用贝叶斯分析算法，针对场景状态进行动态跟踪和预测；
(5)多源异构传感信号融合：利用分类预测方法对每个传感器做各状态概率预测；
(6)智能体运动控制：用户端的控制系统根据目标的实时定位状态，控制智能体运动，保证监测目标始终在智能体的最佳监测位置。
进一步的，所述步骤(2)中的多源异构信号通过视觉传感器、红外传感器和声波传感器，分别收集场景的图像信号、光谱信号和距离信号。
进一步的，所述步骤(3)中状态空间建模的具体步骤如下：
建立状态空间模型；
xk＝f(xk-1,uk,wk)
yk＝h(xk,vk)
k为时间指数，xk为提取的特征，f(·)为状态转换函数，uk为控制输入，wk为独立分布的高斯噪声，yk为测量信号，h(·)为测量模型，vk为测量误差。
进一步的，所述步骤(4)中动态追踪及预测的具体步骤如下：
基于观测值y1:k＝{y1,y2,…,yk}估计特征xk与预测xk+1，通过顺序迭代计算得到：
Figure BDA0002562261400000021
p(xk+1|y1:k)＝∫p(xk+1|xk)p(xk|y1:k)dxk
其中状态转换概率函数p(xk+1|xk)可以由状态转换模型得到，p(yk|xk)由观察模型获得。
进一步的，所述步骤(5)中多源异构传感信号融合的具体步骤如下：
利用分类预测方法对每个传感器做各状态概率预测；
pij＝πjN(xi|θj),i＝1,2,…,I,j＝1,2,…,J
其中xi为第i个传感器信号特征，θj为第j个状态的高斯分布参数，I为传感器个数，J为状态种类数，πj为第j个状态的先验概率，pij为第i个传感器信号预测结果为第j个状态的概率；基于各传感器独立监测结果，采用Dempster-Shafer证据理论对pij进行决策融合，令Aj为第j个状态，则识别框架Θ＝{A1,A2,…,AJ}，
Figure BDA0002562261400000022
则决策融合概率为
Figure BDA0002562261400000031
其中K为归一化常数，
Figure BDA0002562261400000032
mi为mass函数且mi(Aj)＝pij；则第j个状态的置信概率为m(Aj)，通过比较各状态的置信概率，我们可以得到在现有I个传感器观测的结果下，观测物最有可能出现的状态，以此获得观测物实时定位等状态信息。
与现有技术相比，本发明的优点在于：
(1)基于多源异构信号进行多目标跟踪及状态预测，即使某一信号获取精度降低，仍可根据其它信号源进行跟踪预测，避免环境变化引起信号源获取精度降低，进而导致目标识别精度降低的问题；
(2)根据预测的状态信息，实时控制智能体运动，保证目标始终在智能体的最佳监测位置，不会出现目标丢失的情况，保证系统跟踪目标稳定可靠；
(3)系统可同时跟踪和预测多个目标的状态，提升了监控效率，降低监测系统成本。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。本发明描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的其他实施例，都属于本发明所保护的范围。
如图1所示，一种基于多源异构信号的多目标追踪及状态预测方法，包括如下步骤：
步骤1、多源异构信号采集
使用上述的多源异构传感监测系统，采集多源异构信号，每个智能体1设有视觉、红外、声波等传感器，收集场景的图像、光谱、距离等信号；
步骤2、特征信号提取
智能体1采集到的信号，通过通信网络传输到用户端7，用户端7的控制系统通过数据挖掘方法对采集的图像、光谱、距离等信号进行特征提取，得到多个目标的位置信息，作为特征信号；
步骤3、状态空间建模
将提取的特征信号作为输入，建立状态空间模型；
xk＝f(xk-1,uk,wk)
yk＝h(xk,vk)
k为时间指数，xk为提取的特征，f(·)为状态转换函数，uk为控制输入，wk为独立分布的高斯噪声，yk为测量信号，h(·)为测量模型，vk为测量误差；
步骤4、动态追踪及预测
利用贝叶斯分析算法，针对场景状态进行动态跟踪和预测，基于观测值y1:k＝{y1,y2,…,yk}估计特征xk与预测xk+1，通过顺序迭代计算得到：
Figure BDA0002562261400000041
p(xk+1|y1:k)＝∫p(xk+1|xk)p(xk|y1:k)dxk
其中状态转换概率函数p(xk+1|xk)可以由状态转换模型得到，p(yk|xk)由观察模型获得；
步骤5、多源异构传感信号融合
利用分类预测方法对每个传感器做各状态概率预测。
pij＝πjN(xi|θj),i＝1,2,…,I,j＝1,2,…,J
其中xi为第i个传感器信号特征，θj为第j个状态的高斯分布参数，I为传感器个数，J为状态种类数，πj为第j个状态的先验概率，pij为第i个传感器信号预测结果为第j个状态的概率。基于各传感器独立监测结果，采用Dempster-Shafer证据理论对pij进行决策融合，令Aj为第j个状态，则识别框架Θ＝{A1,A2,…,AJ}，
Figure BDA0002562261400000044
则决策融合概率为
Figure BDA0002562261400000042
其中K为归一化常数，
Figure BDA0002562261400000043
mi为mass函数且mi(Aj)＝pij。则第j个状态的置信概率为m(Aj)，通过比较各状态的置信概率，我们可以得到在现有I个传感器观测的结果下，观测物最有可能出现的状态，以此获得观测物实时定位等状态信息。
步骤6、智能体运动控制
用户端7的控制系统根据目标的实时定位状态，控制智能体1运动，保证监测目标始终在智能体1的最佳监测位置。

Claims (5)

1.一种基于多源异构信号的多目标追踪及状态预测方法，其特征在于，包括如下步骤：
(1)采集多源异构信号：通过多源异构传感监测系统采集多源异构信号；
(2)提取特征信号：将采集到的信号，通过通信网络传输到用户端，用户端的控制系统通过数据挖掘方法对采集的信号进行特征提取，得到多个目标的位置信息，作为特征信号；
(3)状态空间建模：将提取的特征信号作为输入，建立状态空间模型；
(4)动态追踪及预测：利用贝叶斯分析算法，针对场景状态进行动态跟踪和预测；
(5)多源异构传感信号融合：利用分类预测方法对每个传感器做各状态概率预测；
(6)智能体运动控制：用户端的控制系统根据目标的实时定位状态，控制智能体运动，保证监测目标始终在智能体的最佳监测位置。
2.根据权利要求1所述的一种基于多源异构信号的多目标追踪及状态预测方法，其特征在于，所述步骤(2)中的多源异构信号通过视觉传感器、红外传感器和声波传感器，分别收集场景的图像信号、光谱信号和距离信号。
3.根据权利要求1所述的一种基于多源异构信号的多目标追踪及状态预测方法，其特征在于，所述步骤(3)中状态空间建模的具体步骤如下：
建立状态空间模型；
xk＝f(xk-1，uk，wk)
yk＝h(xk，vk)
k为时间指数，xk为提取的特征，f(·)为状态转换函数，uk为控制输入，wk为独立分布的高斯噪声，yk为测量信号，h(·)为测量模型，vk为测量误差。
4.根据权利要求1所述的一种基于多源异构信号的多目标追踪及状态预测方法，其特征在于，所述步骤(4)中动态追踪及预测的具体步骤如下：
基于观测值y1：k＝{y1，y2，…，yk}估计特征xk与预测xk+1，通过顺序迭代计算得到：
Figure FDA0002562261390000011
p(xk+1|y1：k)＝∫p(xk+1|xk)p(xk|y1：k)dxk
其中状态转换概率函数p(xk+1|xk)可以由状态转换模型得到，p(yk|xk)由观察模型获得。
5.根据权利要求1所述的一种基于多源异构信号的多目标追踪及状态预测方法，其特征在于，所述步骤(5)中多源异构传感信号融合的具体步骤如下：
利用分类预测方法对每个传感器做各状态概率预测；
pij＝πjN(xi|θj)，i＝1，2，...，I，j＝1，2，...，J
其中xi为第i个传感器信号特征，θj为第j个状态的高斯分布参数，I为传感器个数，J为状态种类数，πj为第j个状态的先验概率，pij为第i个传感器信号预测结果为第j个状态的概率；基于各传感器独立监测结果，采用Dempster-Shafer证据理论对pij进行决策融合，令Aj为第j个状态，则识别框架Θ＝{A1，A2，…，AJ}，
Figure FDA0002562261390000021
则决策融合概率为
Figure FDA0002562261390000022
其中K为归一化常数，
Figure FDA0002562261390000023
mi为mass函数且mi(Aj)＝pij；则第j个状态的置信概率为m(Aj)，通过比较各状态的置信概率，我们可以得到在现有I个传感器观测的结果下，观测物最有可能出现的状态，以此获得观测物实时定位等状态信息。
CN202010611414.3A 2020-06-30 2020-06-30 一种基于多源异构信号的多目标追踪及状态预测方法 Active CN111860613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010611414.3A CN111860613B (zh) 2020-06-30 2020-06-30 一种基于多源异构信号的多目标追踪及状态预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010611414.3A CN111860613B (zh) 2020-06-30 2020-06-30 一种基于多源异构信号的多目标追踪及状态预测方法

Publications (2)

Publication Number Publication Date
CN111860613A true CN111860613A (zh) 2020-10-30
CN111860613B CN111860613B (zh) 2023-10-27

Family

ID=72988807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611414.3A Active CN111860613B (zh) 2020-06-30 2020-06-30 一种基于多源异构信号的多目标追踪及状态预测方法

Country Status (1)

Country Link
CN (1) CN111860613B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792755A (zh) * 2021-08-12 2021-12-14 上海理工大学 一种小波深度图像融合环境感知与目标识别方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147468A (zh) * 2011-01-07 2011-08-10 西安电子科技大学 基于贝叶斯理论的多传感器检测跟踪联合处理方法
CN105335701A (zh) * 2015-09-30 2016-02-17 中国科学院合肥物质科学研究院 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN105372534A (zh) * 2015-12-04 2016-03-02 国网河南省电力公司电力科学研究院 一种多传感器多参量信息智能融合系统
CN106156790A (zh) * 2016-06-08 2016-11-23 北京工业大学 一种应用于传感器网络的分布式协作算法和数据融合机制
CN106646366A (zh) * 2016-12-05 2017-05-10 深圳市国华光电科技有限公司 基于粒子滤波算法和智能设备的可见光定位方法和系统
CN107192995A (zh) * 2017-05-23 2017-09-22 西北工业大学 一种多层次信息融合的纯方位水下目标跟踪算法
CN107748860A (zh) * 2017-09-01 2018-03-02 中国科学院深圳先进技术研究院 无人机的目标跟踪方法、装置、无人机及存储介质
CN109190718A (zh) * 2018-11-07 2019-01-11 苏州热工研究院有限公司 一种核电厂海生物探测预警多源信息融合算法
CN110070118A (zh) * 2019-04-10 2019-07-30 广东电网有限责任公司 一种多时空数据融合方法
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147468A (zh) * 2011-01-07 2011-08-10 西安电子科技大学 基于贝叶斯理论的多传感器检测跟踪联合处理方法
CN105335701A (zh) * 2015-09-30 2016-02-17 中国科学院合肥物质科学研究院 一种基于hog与d-s证据理论多信息融合的行人检测方法
CN105372534A (zh) * 2015-12-04 2016-03-02 国网河南省电力公司电力科学研究院 一种多传感器多参量信息智能融合系统
CN106156790A (zh) * 2016-06-08 2016-11-23 北京工业大学 一种应用于传感器网络的分布式协作算法和数据融合机制
CN106646366A (zh) * 2016-12-05 2017-05-10 深圳市国华光电科技有限公司 基于粒子滤波算法和智能设备的可见光定位方法和系统
CN107192995A (zh) * 2017-05-23 2017-09-22 西北工业大学 一种多层次信息融合的纯方位水下目标跟踪算法
CN107748860A (zh) * 2017-09-01 2018-03-02 中国科学院深圳先进技术研究院 无人机的目标跟踪方法、装置、无人机及存储介质
CN109190718A (zh) * 2018-11-07 2019-01-11 苏州热工研究院有限公司 一种核电厂海生物探测预警多源信息融合算法
CN110070118A (zh) * 2019-04-10 2019-07-30 广东电网有限责任公司 一种多时空数据融合方法
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN110726990A (zh) * 2019-09-23 2020-01-24 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792755A (zh) * 2021-08-12 2021-12-14 上海理工大学 一种小波深度图像融合环境感知与目标识别方法
CN113792755B (zh) * 2021-08-12 2024-05-14 上海理工大学 一种小波深度图像融合环境感知与目标识别方法

Also Published As

Publication number Publication date
CN111860613B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
US5170440A (en) Perceptual grouping by multiple hypothesis probabilistic data association
CN112991391A (zh) 一种基于雷达信号和视觉融合的车辆检测与跟踪方法
CN115943439A (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN113192105B (zh) 一种室内多人追踪及姿态估量的方法及装置
CN116027324B (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
CN115995032B (zh) 一种多模态特征融合的舰船智能识别方法和系统
CN116229385A (zh) 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法
CN111860613B (zh) 一种基于多源异构信号的多目标追踪及状态预测方法
CN118031913A (zh) 一种无人机测绘数据处理装置
CN116543283B (zh) 一种考虑模态不确定性的多模态目标检测方法
CN108153519A (zh) 一种目标智能跟踪方法通用设计框架
CN115880332A (zh) 一种低空飞行器视角的目标跟踪方法
CN115993791A (zh) 提供识别人员和手部的运动的追踪数据来控制技术系统和传感器系统的方法和设备
CN114898202A (zh) 基于多模型融合的水下视频目标尺度空间判别式跟踪系统及方法
CN114663796A (zh) 一种目标人物持续跟踪方法、装置及系统
CN114152955A (zh) 一种基于slam技术的障碍物高精度识别系统
CN117746304B (zh) 基于计算机视觉的冰箱食材识别定位方法及系统
US12020156B2 (en) Systems and methods for automatic alignment between audio recordings and labels extracted from a multitude of asynchronous sensors in urban settings
CN117017275A (zh) 基于4d成像雷达的行人步态多模态融合识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant