CN112446440B - 基于msr-cnn的机器人多传感器目标跟踪方法 - Google Patents

基于msr-cnn的机器人多传感器目标跟踪方法 Download PDF

Info

Publication number
CN112446440B
CN112446440B CN202110125273.9A CN202110125273A CN112446440B CN 112446440 B CN112446440 B CN 112446440B CN 202110125273 A CN202110125273 A CN 202110125273A CN 112446440 B CN112446440 B CN 112446440B
Authority
CN
China
Prior art keywords
cnn
scale
data
msr
target tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110125273.9A
Other languages
English (en)
Other versions
CN112446440A (zh
Inventor
邓杨敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu D Shore Information Technology Co ltd
Original Assignee
Jiangsu D Shore Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu D Shore Information Technology Co ltd filed Critical Jiangsu D Shore Information Technology Co ltd
Priority to CN202110125273.9A priority Critical patent/CN112446440B/zh
Publication of CN112446440A publication Critical patent/CN112446440A/zh
Application granted granted Critical
Publication of CN112446440B publication Critical patent/CN112446440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明设计基于MSR‑CNN的机器人多传感器目标跟踪方法，目标跟踪技术在智能监控、无人驾驶等诸多领域得到了广泛的应用，但目标跟踪算法在复杂，环境下仍然面临着巨大的挑战。针对此问题本发明提出了基于MSR‑CNN的机器人多传感器目标跟踪方法，机器人利用双目相机采集图像，利用机器人采集的多角度信息，首先对双目相机采集图像进行多尺度分解，然后利用对多尺度分解图像进行图像显著性检测对图像关键位置进行分割。最后使用MSR‑CNN对图像目标进行识别，实现机器人目标跟踪的目的。

Description

基于MSR-CNN的机器人多传感器目标跟踪方法
技术领域
本发明涉及智能机器人，特别设计基于MSR-CNN的机器人多传感器目标跟踪方法。
背景技术
目标跟踪技术在智能监控、无人驾驶等诸多领域得到了广泛的应用，但目标跟踪算法在复杂，环境下仍然面临着巨大的挑战。尤其是无人驾驶领域，目标跟踪计算显得尤为重要，误判将会给用户的人身安全和社会经济造成巨大的损害。
近年来，随着深度学习技术的不断进步，基于深度学习的目标跟踪技术得到极大的发展。Siam R-CNN网络采用了小尺寸的卷积核，被广泛的应用到人脸识别、目标跟踪技术等。但是Siam R-CNN技术也有许多不足之处，例如，实时性鲁棒性不足等，这些极大的限制了Siam R-CNN在目标跟踪技术领域的发展。
发明内容
为了解决上述存在问题。本发明提出基于MSR-CNN的机器人多传感器目标跟踪方法，通过MSR-CNN算法利用多尺度数据图像做目标识别，并对多种数据源的采集图像进行处理，从而能够跟踪目标高效准确评估。为达此目的：
本发明提出基于MSR-CNN的机器人多传感器目标跟踪方法，具体步骤如下：
步骤1：机器人使用双目相机，采集多角度目标图像；
步骤2：图像预处理，对双目相机采集的多角度目标图像数据进行多尺度降采样，建立多尺度数据集；
步骤3：对多尺度数据集进行显著性检测，通过PDFT算法的脉冲离散傅里叶变换公式获得多尺度显著性特征集；
步骤4：把预处理输出的多尺度显著性特征集送入Siam R-CNN网络进行网络训练；
步骤5：对不同尺度的数据源训练模型进行加权决策；
步骤6：使用GA算法，GA对不同尺度的数据源训练模型进行寻优处理，得到最优权值；
步骤7：使用测试样本对训练出GA-Siam R-CNN进行性能测试；
步骤8：使用最佳评估模型对目标跟踪。
作为本发明进一步改进，所述步骤2中对 双目相机采集的多角度目标图像数据进行多尺度降采样的尺度分别为×1、×4、×16，其中，×1代表原图像，×4代表图像缩小4倍，×16代表图像缩小16倍。
作为本发明进一步改进，所述步骤3中，脉冲离散傅里叶变换，公式为：
Figure 114575DEST_PATH_IMAGE001
其中，X是数据集，DFT(•)是离散傅里叶变换函数，sign(•)代表取符号函数，DFT-1(•)是逆离散傅里叶变换函数，abs(•)是取模值函数，wiener(•)是维纳滤波函数。
作为本发明进一步改进，所述步骤5中不同数据源的加权决策处理公式为：
Figure 132209DEST_PATH_IMAGE003
其中，y1、y2、y3分别是左相机采集图像所对应多尺度×1、×4、×16数据集在SiamR-CNN模型下的识别结果，w1、w2、w3分别是y1、y2、y3在最终决策的权值，y4、y5、y6分别是右相机采集图像所对应多尺度×1、×4、×16数据集在Siam R-CNN模型下的识别结果，w4、w5、w6分别是y4、y5、y6在最终决策的权值，权值均是非负数。
作为本发明进一步改进，所述步骤6中GA算法表示为：
Figure 33300DEST_PATH_IMAGE004
其中，M为数据集的显著性数据, SRCNN表示数据集训练的Siam R-CNN网络模型，GA(•)是GA算法函数。
本发明基于MSR-CNN的机器人多传感器目标跟踪方法，有益效果在于：
1. 本发明通过MSR-CNN算法利用多尺度数据图像做目标识别，并对多种数据源的采集图像进行处理，从而能够跟踪目标高效准确评估；
2.本发明利用多源数据源，使得目标判断更加精准；
3. 本发明利用GA能够找到多源数据权值的最优值，增加了模型的准确度；
4. 本发明提出了PDFT算法，该算法是一种以离散傅里叶变换为核心的显著检测算法，通过PDFT去作为核心，进行显著性检测算法，从而有效寻找出图像的显著性区域，增加算法的鲁棒性；
5. 本发明提出了MSR-CNN算法，泛化能力强。
附图说明
图1是系统架构图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出基于MSR-CNN的机器人多传感器目标跟踪方法，通过相应算法利用多尺度数据图像做目标识别，并对多种数据源的采集图像进行处理，从而能够跟踪目标高效准确评估。如图1是系统架构图。
首先，机器人使用双目相机，采集多角度目标图像，图像预处理主要对双目相机采集的多角度数据进行多尺度降采样，建立多尺度数据集，接着，对多尺度数据集进行显著性检测，获得多尺度显著性特征集。
图像降采样的尺度分别为×1、×4、×16，其中，×1代表原图像，×代表图像缩小4倍，×16代表图像缩小16倍。
之后对多尺度数据集进行显著性检测，通过PDFT算法的脉冲离散傅里叶变换公式获得多尺度显著性特征集，其中脉冲离散傅里叶变换，公式为：
Figure 893809DEST_PATH_IMAGE005
其中，X是数据集，DFT(•)是离散傅里叶变换函数，sign(•)代表取符号函数，DFT-1(•)是逆离散傅里叶变换函数，abs(•)是取模值函数，wiener(•)是维纳滤波函数。
然后，把预处理输出的多尺度显著性特征集送入Siam R-CNN网络进行网络训练；对不同尺度的数据源训练模型进行加权决策。
不同数据源的加权决策处理公式为：
Figure 295971DEST_PATH_IMAGE006
其中，y1、y2、y3分别是左相机采集图像所对应多尺度×1、×4、×16数据集在SiamR-CNN模型下的识别结果，w1、w2、w3分别是y1、y2、y3在最终决策的权值，y4、y5、y6分别是右相机采集图像所对应多尺度×1、×4、×16数据集在Siam R-CNN模型下的识别结果，w4、w5、w6分别是y4、y5、y6在最终决策的权值，权值均是非负数。
最后，使用GA算法对不同尺度的数据源训练模型进行寻优处理，得到最优权值，使用测试样本对训练出GA-Siam R-CNN进行性能测试，最后，使用最佳评估模型对目标跟踪。
GA算法表示为：
Figure 43479DEST_PATH_IMAGE007
其中，M为数据集的显著性数据, SRCNN表示数据集训练的Siam R-CNN网络模型，GA(•)是GA算法函数。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (3)

1.基于MSR-CNN的机器人多传感器目标跟踪方法，具体步骤如下，其特征在于,
步骤1：机器人使用双目相机，采集多角度目标图像；
步骤2：图像预处理，对双目相机采集的多角度目标图像数据进行多尺度降采样，建立多尺度数据集；
所述步骤2中对 双目相机采集的多角度目标图像数据进行多尺度降采样的尺度分别为×1、×4、×16，其中，×1代表原图像，×4代表图像缩小4倍，×16代表图像缩小16倍；
步骤3：对多尺度数据集进行显著性检测，通过PDFT算法的脉冲离散傅里叶变换公式获得多尺度显著性特征集；
所述步骤3中，脉冲离散傅里叶变换公式为：
Figure 257733DEST_PATH_IMAGE001
其中，X是数据集，DFT(•)是离散傅里叶变换函数，sign(•)代表取符号函数，DFT-1(•)是逆离散傅里叶变换函数，abs(•)是取模值函数，wiener(•)是维纳滤波函数；
步骤4：把预处理输出的多尺度显著性特征集送入Siam R-CNN网络进行网络训练；
步骤5：对不同尺度的数据源训练模型进行加权决策；
步骤6：使用GA算法对不同尺度的数据源训练模型进行寻优处理，得到最优权值；
步骤7：使用测试样本对训练出GA-Siam R-CNN进行性能测试；
步骤8：使用最佳评估模型对目标跟踪。
2.根据权利要求1所述的基于MSR-CNN的机器人多传感器目标跟踪方法，其特征在于；
所述步骤5中不同数据源的加权决策处理公式为：
Figure 253502DEST_PATH_IMAGE003
其中，y1、y2、y3分别是左相机采集图像所对应多尺度×1、×4、×16数据集在Siam R-CNN模型下的识别结果，w1、w2、w3分别是y1、y2、y3在最终决策的权值，y4、y5、y6分别是右相机采集图像所对应多尺度×1、×4、×16数据集在Siam R-CNN模型下的识别结果，w4、w5、w6分别是y4、y5、y6在最终决策的权值，权值均是非负数。
3.根据权利要求2所述的基于MSR-CNN的机器人多传感器目标跟踪方法，其特征在于；
所述步骤6中GA算法表示为：
Figure 626714DEST_PATH_IMAGE004
其中，M为数据集的显著性数据, SRCNN表示数据集训练的Siam R-CNN网络模型，GA(•)是GA算法函数。
CN202110125273.9A 2021-01-29 2021-01-29 基于msr-cnn的机器人多传感器目标跟踪方法 Active CN112446440B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110125273.9A CN112446440B (zh) 2021-01-29 2021-01-29 基于msr-cnn的机器人多传感器目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110125273.9A CN112446440B (zh) 2021-01-29 2021-01-29 基于msr-cnn的机器人多传感器目标跟踪方法

Publications (2)

Publication Number Publication Date
CN112446440A CN112446440A (zh) 2021-03-05
CN112446440B true CN112446440B (zh) 2021-04-16

Family

ID=74740131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110125273.9A Active CN112446440B (zh) 2021-01-29 2021-01-29 基于msr-cnn的机器人多传感器目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112446440B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158343A1 (en) * 2009-12-24 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for estimating channel using phase compensation in wireless communication system
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法
CN108805139A (zh) * 2018-05-07 2018-11-13 南京理工大学 一种基于频域视觉显著性分析的图像相似性计算方法
CN110782447A (zh) * 2019-10-25 2020-02-11 中国科学院电子学研究所 地球静止轨道卫星光学遥感图像多运动舰船目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110158343A1 (en) * 2009-12-24 2011-06-30 Samsung Electronics Co., Ltd. Method and apparatus for estimating channel using phase compensation in wireless communication system
CN105825238A (zh) * 2016-03-30 2016-08-03 江苏大学 一种视觉显著性目标的检测方法
CN108805139A (zh) * 2018-05-07 2018-11-13 南京理工大学 一种基于频域视觉显著性分析的图像相似性计算方法
CN110782447A (zh) * 2019-10-25 2020-02-11 中国科学院电子学研究所 地球静止轨道卫星光学遥感图像多运动舰船目标检测方法

Also Published As

Publication number Publication date
CN112446440A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
Li et al. SAR image change detection using PCANet guided by saliency detection
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
Huang et al. Development and validation of a deep learning algorithm for the recognition of plant disease
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
Liu et al. Deep learning and recognition of radar jamming based on CNN
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN111310622A (zh) 一种面向水下机器人智能作业的鱼群目标识别方法
CN109655815A (zh) 基于ssd的声呐目标检测方法
CN109255339B (zh) 基于自适应深度森林人体步态能量图的分类方法
CN111709313A (zh) 基于局部和通道组合特征的行人重识别方法
CN106887012A (zh) 一种基于循环矩阵的快速自适应多尺度目标跟踪方法
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
CN115496100A (zh) 一种基于GAF-ConvNeXt-TF的周界安防扰动识别算法
Wang et al. A leaf type recognition algorithm based on SVM optimized by improved grid search method
CN110569764B (zh) 一种基于卷积神经网络的手机型号识别方法
CN112446440B (zh) 基于msr-cnn的机器人多传感器目标跟踪方法
CN116680639A (zh) 一种基于深度学习的深海潜水器传感器数据的异常检测方法
CN108399413B (zh) 一种图片拍摄区域识别及地理定位方法及装置
CN113488069B (zh) 基于生成式对抗网络的语音高维特征快速提取方法和装置
CN112926382B (zh) 一种改善目标聚类特性的深度学习激光水下目标识别仪
CN114743257A (zh) 图像目标行为的检测识别方法
Da et al. Remote sensing image ship detection based on improved YOLOv3
CN114818789A (zh) 一种基于数据增强的船舶辐射噪声识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant