CN112907624A - 一种基于多波段信息融合的目标定位、跟踪方法及系统 - Google Patents

一种基于多波段信息融合的目标定位、跟踪方法及系统 Download PDF

Info

Publication number
CN112907624A
CN112907624A CN202110122225.4A CN202110122225A CN112907624A CN 112907624 A CN112907624 A CN 112907624A CN 202110122225 A CN202110122225 A CN 202110122225A CN 112907624 A CN112907624 A CN 112907624A
Authority
CN
China
Prior art keywords
target
tracked
tracking
image sequence
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110122225.4A
Other languages
English (en)
Other versions
CN112907624B (zh
Inventor
宁鸿章
雷杨
胡黎明
武春风
李强
彭小康
王婉婷
吴伊玲
张贵清
吉宁可
张悠然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Designing Institute of Hubei Space Technology Academy
Original Assignee
General Designing Institute of Hubei Space Technology Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Designing Institute of Hubei Space Technology Academy filed Critical General Designing Institute of Hubei Space Technology Academy
Priority to CN202110122225.4A priority Critical patent/CN112907624B/zh
Publication of CN112907624A publication Critical patent/CN112907624A/zh
Application granted granted Critical
Publication of CN112907624B publication Critical patent/CN112907624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种基于多波段信息融合的目标定位、跟踪方法及系统,其包括:采集目标的红外光图像序列与可见光图像序列;提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;在所述目标区域内选取待跟踪目标;根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;基于所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新。本发明提高了目标检测识别速度与精度以及目标跟踪准确度和反应速度,同时还能提高系统的鲁棒性和抗干扰能力。

Description

一种基于多波段信息融合的目标定位、跟踪方法及系统
技术领域
本发明涉及计算机视觉领域,特别涉及一种基于多波段信息融合的目标定位、跟踪方法及系统。
背景技术
目前,计算机视觉的主要目的是用摄像机和中央处理器代替人眼对目标进行识别、跟踪和测量等,从而构建能够从图像或者多维数据中获取“信息”的人工智能系统。以相关滤波、卷积神经网络为代表的目标检测跟踪算法模型和以深度神经网络为代表的强化学习不断发展,被逐渐应用到人脸识别、无人驾驶、智慧机器人、无人酒店、无人机场、无人超市等等领域。
相关技术中,一方面,目标检测方法在速度和精度上无法两全,要实现更高的目标检测识别精度,就需要更深更复杂的卷积网络,也就带来了更大的计算量。另一方面,目标跟踪方法或多或少存在长期跟踪时目标丢失以及目标波门无法根据实际场景自动增减等问题,这些问题都从一定程度上制约了计算机视觉领域的应用和发展。
发明内容
本发明实施例提供一种基于多波段信息融合的目标定位、跟踪方法及系统,提高了目标检测识别速度与精度以及目标跟踪准确度和反应速度,同时还能提高系统的鲁棒性和抗干扰能力。
第一方面,提供了一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,其包括:采集目标的红外光图像序列与可见光图像序列;提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;在所述目标区域内选取待跟踪目标;根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;基于所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新。
一些实施例中,所述在所述目标区域内选取待跟踪目标,包括:采用分类器进行目标分类识别;基于目标分类识别结果获取待跟踪目标。
一些实施例中,所述基于目标分类识别结果获取待跟踪目标,包括:利用相关滤波算法对目标分类识别结果进行跟踪并获取待跟踪目标的位置信息。
一些实施例中,所述基于目标分类识别结果获取待跟踪目标,包括:采用中央处理器进行智能决策并根据决策结果选取待跟踪目标。
一些实施例中,在所述采用分类器进行目标分类识别之后,还包括:获取所述目标区域内目标信息,且所述目标信息包括目标的类别信息与坐标信息;基于所述目标分类识别的结果以及目标信息进行智能决策。
一些实施例中,在帧数为nT(n为自然数,T为预设周期)时启动所述中央处理器进行智能决策并根据决策结果选取待跟踪目标。
一些实施例中,所述根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置,包括:基于所述待跟踪目标在当前帧时的位置信息推演得到目标第一绝对位置P1;基于所述待跟踪目标在航迹拟合情况下得到的目标第二绝对位置P2;将所述目标绝对位置记为P,根据P=a×P1+b×P2计算所述目标绝对位置P,其中a、b为权值系数;若P1、P2之差的绝对值大于预设阈值,则设置a<b;若P1、P2之差的绝对值小于预设阈值,则设置a>b。
第二方面,提供了一种基于多波段信息融合的目标定位、跟踪系统,其包括:图像采集装置,其用于实时采集目标的红外光图像序列与可见光图像序列;图像处理装置,其用于:提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;在所述目标区域内选取待跟踪目标;根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;所述图像采集装置还用于根据所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新。
一些实施例中,所述图像处理装置还包括目标定位模块,所述目标定位模块用于:采用分类器进行目标分类识别;采用中央处理器进行智能决策并根据决策结果选取待跟踪目标。
一些实施例中,所述图像采集装置内设有伺服跟踪架以及安装于所述伺服跟踪架的红外相机和可见光相机;所述红外相机和可见光相机用于实时采集目标的红外光图像序列与可见光图像序列。
本发明提供的技术方案带来的有益效果包括:
本发明实施例提供了一种基于多波段信息融合的目标定位、跟踪方法,利用红外光、可见光图像特征提取与目标可疑区域融合,提高了目标识别速度与精度,并利用目标航迹拟合与图像目标定位相结合,提高了目标定位跟踪的抗干扰能力和鲁棒性。具体地,对红外、可见光多波段图像进行了特征级融合,丰富的图像特征有利于简化目标检测识别模型,从而提高目标检测识别速度;同时多波段相机采集的图像数据避免了单一波段图像数据采集时容易发生被干扰或被遮挡等情况从而使目标识别不准确的问题,提高了目标检测识别精度。此外,采用目标航迹拟合进行实时跟踪,可有效校正在目标受到障碍物遮挡以及利用目标检测跟踪算法偏差较大的情况下发生的误差。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多波段信息融合的目标定位、跟踪方法的流程示意图;
图2为本发明实施例提供的一种基于多波段信息融合的目标定位、跟踪系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于多波段信息融合的目标定位、跟踪方法,其包括步骤:
S10:采集目标的红外光图像序列与可见光图像序列;
S20:提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;
S30:将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;
S40:在所述目标区域内选取待跟踪目标;
S50:根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;
S60:基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;
S70:基于所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新。
需要说明的是,步骤S10中,可通过红外相机和可见光相机分别采集目标的红外光图像序列与可见光图像序列,可以设置一台或多台的红外相机和可见光相机。若为两台或多台相机进行采集,所述相机以近乎相同的角度对目标进行采集。采集到的图像序列被实时传输到图像接收装置,以备图像处理装置进行图像处理。
在步骤S20中,提取的图像特征可以是角点、边缘特征、轮廓特征、纹理特征、区域特征、灰度值特征、颜色特征、形状特征等图像特征中的一种或几种;可优选采用阈值分割的方法进行掩膜标定从而将图像序列中的目标可疑区域识别出来。步骤S20用于进行初步的目标识别,对红外光图像序列和可见光图像序列中的图像特征和目标可疑区域进行识别。所述的图像特征包括灰度特征和形状特征。
在步骤S30中,可首先掩膜标定出图像中的可疑区域,然后利用相似度及位置信息等作为判据匹配不同图像序列中的可疑区域,最后对可疑区域进行特征级融合。其中,将所有提取到的图像特征与目标可疑区域进行融合综合考虑了相机方位、焦距、视场角以及形状特征等信息。具体地,以两个相机中视场角最小的相机为基准,利用方位角、焦距、视场角信息将另一个相机的图像视场空间转换到基准空间,将两列图像中目标可疑区域的中心位置偏差小于预设阈值的区域进行匹配,再利用形状特征对已匹配好的目标可疑区域设置规则(规则包括根据区域的大小、特征相似度等条件设置的)进行筛选,并将通过筛选的结果确定目标区域。可以理解的是,利用可见、红外图像之间的特征匹配(可采用聚类算法)标定出图像中的可疑区域,可为后续分类器进行分类提供更多的可选择目标特征,有利于简化分类器模型并提升分类器精度,从而最终提高目标识别的精度。
需要说明的是,在进行图像特征与目标可疑区域的融合前,还需要判断融合哪些特征,可以是人工选取的特征或者是自动选取的特征。其特征的选取原则包括优先选取显著度高的特征,其中显著度可以从特征值的大小、特征区域大小、特征包含信息量的大小等方面度量。
在步骤S40中,在所述目标区域内选取待跟踪目标是指在前一步骤中获取的目标区域内,定位出真实目标并将其作为跟踪目标。
在步骤S50中,根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置,具体地包括先根据跟踪目标的位置信息和跟踪架伺服角度推演目标绝对位置,再根据目标绝对位置生成目标航迹。其中,目标绝对位置是根据跟踪目标、跟踪架、地面为基准构建的三维坐标系所对应的空间坐标,保存跟踪目标的空间坐标以生成目标航迹,所述目标航迹包括跟踪目标的速度、加速度、空间坐标等。
在步骤S50中,可采用最小二乘法进行目标航迹拟合。
需要说明的是,上述步骤S10至S70是基于对目标进行动态跟踪而实时进行并重复的。即,步骤S10中相机是以该时刻伺服跟踪架的角度对目标的图像序列进行采集,步骤S20至S40则是针对实时采集到的图像数据进行处理,步骤S50至S70利用目标、地面、伺服跟踪架之间的位置关系、将目标的绝对位置信息转化为跟踪架的伺服角度更新值输入给伺服跟踪架,从而实现相机对目标的动态跟踪。
本实施例利用红外光、可见光图像特征提取与目标可疑区域进行融合,提高了目标识别速度与精度,并利用目标航迹拟合与图像目标定位相结合,提高了目标定位跟踪的抗干扰能力和鲁棒性。具体地,对红外、可见光多波段图像进行了特征级融合,丰富的图像特征有利于简化目标检测识别模型,从而提高目标检测识别速度;同时多波段相机采集的图像数据避免了单一波段图像数据采集时容易发生被干扰或被遮挡等情况从而使目标识别不准确的问题,提高了目标检测识别精度。此外,采用目标航迹拟合进行实时跟踪,可有效校正在目标受到障碍物遮挡以及利用目标检测跟踪算法偏差较大的情况下发生的误差。
进一步地,在一些实施例中,步骤S40包括:
S401:采用分类器进行目标分类识别;
S402:基于目标分类识别结果获取待跟踪目标。
需要说明的是,在步骤S401中,分类器具体采用哪些特征进行目标分类识别可根据实际应用情况和场景进行认为或自动的选取。
可利用已经训练好的分类器识别目标区域内的目标信息。分类器可细分成若干子分类器,包括已训练好的SVM、神经网络、模板匹配算法等,每一个子分类器只对某一种特征进行分类,所有子分类器的结果进行加权得到最终目标的类别。为了满足快速实时检测需求,可采用SVM,对融合后的目标区域进行分类识别,判断目标区域内是否存在待跟踪目标,若是,还可继续判断属于何类目标、目标的距离范围等。
进一步地,在一些实施例中,步骤S402包括利用相关滤波算法对目标分类识别结果进行跟踪并获取待跟踪目标的位置信息。
需要说明的是,相关滤波算法可以是mosse、kcf、FDSST等算法。目标跟踪采用相关滤波时,考虑到不同相机的帧频不同以及实时性要求,这里仅采用帧频最高的相机所采集的序列图像进行图像目标跟踪。用做目标跟踪的图像序列可以是特征级信息融合后的图像也可以是某一序列的图像。除了相关滤波算法之外,还可采用其他算法包括形心算法、卡尔曼滤波等中的一种或多种来进行目标跟踪。
进一步地,在一些实施例中,步骤S402包括采用中央处理器进行智能决策并根据决策结果选取待跟踪目标。
可利用强化学习算法或已构建的专家系统结合目标类别、目标距离、以及可见、红外光图像的信噪比、信息熵等信息进行智能决策。
需要说明的是,采用中央处理器进行智能决策,可以选择何种图像序列以及第一帧图像中目标位置及所在区域信息。其中,智能决策包括:判断是采用何种图像序列(红外或可见)进行目标跟踪以及判断跟踪何种目标(基于目标分类器识别的目标类别)。根据智能决策结果,在所选取用于跟踪的图像序列中框选出待跟踪目标所在区域,输出待跟踪目标在图像中的位置信息。具体的,在对分类器识别的结果进行待跟踪目标的智能决策时,可采用专家系统,如设置空中目标优先级>地面目标优先级>海上目标优先级等,也可采用强化学习方法,通过不断训练和学习完善智能决策过程。
进一步地,在一些实施例中,步骤S401之后,还包括:
S401a:获取所述目标区域内目标信息,且所述目标信息包括目标的类别信息与坐标信息;
S401b:基于所述目标分类识别的结果以及目标信息进行智能决策。
需要说明的是,中央处理器用于整合所有目标信息,智能选取待跟踪目标。基于图像中目标类别、位置、大小及之前所作出的决策结果对当前情况作出最佳决策,即选取待跟踪目标。具体的,在选取待跟踪目标时,可通过智能决策首先判断哪种图像序列所包含的显著度高的特征最多,利用显著度高的特征最多的图像序列进行目标跟踪。利用中央处理器进行智能决策,减少了人为干预,提高了目标检测与跟踪的反应速度;中央处理器还可采用人机交互方式,可实时纠正极端情况下的错误决策,进一步提升目标检测与跟踪准确度。
进一步地,在一些实施例中,在帧数为nT(n为自然数,T为预设周期)时启动所述中央处理器进行智能决策并根据决策结果选取待跟踪目标。
一个可选的实施例中,设置预设周期为T,T可以理解为运用中央处理器进行智能决策并矫正待跟踪目标的周期。判断当前帧是否为T的整数倍,若为T的整数倍,则运用中央处理器进行智能决策,决策内容包括判断是采用何种图像序列(红外或可见)进行目标跟踪以及判断跟踪何种目标(基于目标分类器识别的目标类别)。并基于决策结果框选出待跟踪目标所在区域,输出待跟踪目标在图像中的位置信息,此时框选出的待跟踪目标可有效对之前确定的待跟踪目标进行矫正,得到更加精准的待跟踪目标位置。采用间隔若干帧的智能决策矫正方法,可有效避免待跟踪目标在长时间跟踪过程中被跟丢的情况,提高了目标跟踪准确度。
在一些实施例中,步骤S50还包括:
S501:基于所述待跟踪目标在当前帧时的位置信息推演得到目标第一绝对位置P1;
S502:基于所述待跟踪目标在航迹拟合情况下得到的目标第二绝对位置P2;
S503:将所述目标绝对位置记为P,根据P=a×P1+b×P2计算所述目标绝对位置P,其中a、b为权值系数;
S504:若P1、P2之差的绝对值大于预设阈值,则设置a<b;
S505:若P1、P2之差的绝对值小于预设阈值,则设置a>b。
可以理解的是,航迹拟合得到的P2是结合前面所有航迹信息得到的结果,受瞬时噪声等的影响较小,稳定性强但同时会丢失真实位置细节信息。由图像跟踪算法推演得到的P1可以很好地保留目标位置细节信息,但易受瞬时噪音的影响。鉴于此,当P1、P2之差的绝对值高于预设阈值时,认为P1的误差过大,设置a<b,从而使目标绝对位置P主要由P2决定;当P1、P2之差的绝对值低于预设阈值时,设置a>b,使目标绝对位置P主要由P1决定。
本实施例方法利用目标航迹拟合与图像目标定位相结合,提高了目标定位跟踪的抗干扰能力和鲁棒性,尤其是当目标受到障碍物遮挡及利用目标检测跟踪算法偏差较大时,目标航迹拟合有效校正此类误差。
如图2所示,本发明实施例还提供一种基于多波段信息融合的目标定位、跟踪系统,其包括:
图像采集装置,其用于实时采集目标的红外光图像序列与可见光图像序列;
图像处理装置,其用于:
提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;
将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;
在所述目标区域内选取待跟踪目标;
根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;
基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;
所述图像采集装置还用于根据所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新
进一步的,所述图像处理装置还包括目标定位模块,所述目标定位模块用于:
采用分类器进行目标分类识别;
采用中央处理器进行智能决策并根据决策结果选取待跟踪目标。
在一些实施例中,图像处理装置,还包括GPU模块、同步模块、服务器微卡、存储硬盘、高性能主机等设备。
其中,GPU模块用于进行快速的图像运算,显存不小于32GB,算力优于英伟达V100;同步模块用于保持多路图像序列的实时同步;服务器微卡用于搭载志强多核CPU,运行内存优于32GB;存储硬盘用于存储序列图像及图像处理结果,高性能主机用于加载并控制上述模块和板卡。
在一些实施例中,所述图像采集装置内设有伺服跟踪架以及安装于所述伺服跟踪架的红外相机和可见光相机;所述红外相机和可见光相机用于实时采集目标的红外光图像序列与可见光图像序列。其中,伺服跟踪架可同时安装多台红外、可见光相机、并可独立调整每台相机的方位和俯仰角度。相机可采用cameralink接口传输图像,帧频最快能够达到500Hz以上。
如图2所示,在一些实施例中,基于多波段信息融合的目标定位、跟踪系统,还包括数据传输装置。其用于实现图像采集装置与图像处理装置直接的数据传输。数据传输装置可包括FPGA、帧接收器、同步模块、内存卡、控制器、串口通讯模块等设备。其中,FPGA用于对输入图像信息进行预处理,帧接收器用于接收由相机输入的图像到内存卡,同步模块用于保持多路图像序列时间上的同步,控制器用于控制各个板卡与模块之间协同运作,串口通讯模块用于与图像采集装置进行通讯。
如图2所示,在一些实施例中,基于多波段信息融合的目标定位、跟踪系统,还包括显示装置。显示装置,通过HDMI接口与图像采集装置、数据传输装置、图像处理装置进行通讯,用于对多路图像序列及其处理过程的可视化显示。
在本发明的描述中,需要说明的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是,在本发明中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,其包括:
采集目标的红外光图像序列与可见光图像序列;
提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;
将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;
在所述目标区域内选取待跟踪目标;
根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;
基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;
基于所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新。
2.如权利要求1所述的一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,
所述在所述目标区域内选取待跟踪目标,包括:
采用分类器进行目标分类识别;
基于目标分类识别结果获取待跟踪目标。
3.如权利要求2所述的一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,
所述基于目标分类识别结果获取待跟踪目标,包括:
利用相关滤波算法对目标分类识别结果进行跟踪并获取待跟踪目标的位置信息。
4.如权利要求2所述的一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,
所述基于目标分类识别结果获取待跟踪目标,包括:
采用中央处理器进行智能决策并根据决策结果选取待跟踪目标。
5.如权利要求4所述的一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,
在所述采用分类器进行目标分类识别之后,还包括:
获取所述目标区域内目标信息,且所述目标信息包括目标的类别信息与坐标信息;
基于所述目标分类识别的结果以及目标信息进行智能决策。
6.如权利要求4所述的一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,
在帧数为nT(n为自然数,T为预设周期)时启动所述中央处理器进行智能决策并根据决策结果选取待跟踪目标。
7.如权利要求1所述的一种基于多波段信息融合的目标定位、跟踪方法,其特征在于,
所述根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置,包括:
基于所述待跟踪目标在当前帧时的位置信息推演得到目标第一绝对位置P1;
基于所述待跟踪目标在航迹拟合情况下得到的目标第二绝对位置P2;
将所述目标绝对位置记为P,根据P=a×P1+b×P2计算所述目标绝对位置P,其中a、b为权值系数;
若P1、P2之差的绝对值大于预设阈值,则设置a<b;
若P1、P2之差的绝对值小于预设阈值,则设置a>b。
8.一种基于多波段信息融合的目标定位、跟踪系统,其特征在于,其包括:
图像采集装置,其用于实时采集目标的红外光图像序列与可见光图像序列;
图像处理装置,其用于:
提取所述红外光图像序列、可见光图像序列分别对应的图像特征和目标可疑区域;
将所有提取到的图像特征与目标可疑区域进行融合并确定目标区域;
在所述目标区域内选取待跟踪目标;
根据所述待跟踪目标的位置信息和跟踪架伺服角度获取目标绝对位置;
基于所述目标绝对位置进行航迹拟合获取跟踪架伺服角度更新值;
所述图像采集装置还用于根据所述跟踪架伺服角度更新值对所述伺服跟踪架的角度进行更新。
9.如权利要求8所述的一种基于多波段信息融合的目标定位、跟踪系统,其特征在于,
所述图像处理装置还包括目标定位模块,所述目标定位模块用于:
采用分类器进行目标分类识别;
采用中央处理器进行智能决策并根据决策结果选取待跟踪目标。
10.如权利要求9所述的一种基于多波段信息融合的目标定位、跟踪系统,其特征在于,
所述图像采集装置内设有伺服跟踪架以及安装于所述伺服跟踪架的红外相机和可见光相机;
所述红外相机和可见光相机用于实时采集目标的红外光图像序列与可见光图像序列。
CN202110122225.4A 2021-01-27 2021-01-27 一种基于多波段信息融合的目标定位、跟踪方法及系统 Active CN112907624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110122225.4A CN112907624B (zh) 2021-01-27 2021-01-27 一种基于多波段信息融合的目标定位、跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110122225.4A CN112907624B (zh) 2021-01-27 2021-01-27 一种基于多波段信息融合的目标定位、跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN112907624A true CN112907624A (zh) 2021-06-04
CN112907624B CN112907624B (zh) 2022-07-15

Family

ID=76120083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110122225.4A Active CN112907624B (zh) 2021-01-27 2021-01-27 一种基于多波段信息融合的目标定位、跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN112907624B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361499A (zh) * 2022-08-16 2022-11-18 南京甄视智能科技有限公司 双机协同的边防目标识别与追踪系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104677406A (zh) * 2015-01-21 2015-06-03 哈尔滨工业大学 多波段运动目标模拟器
CN105096285A (zh) * 2014-05-23 2015-11-25 南京理工大学 一种基于多核dsp的图像融合与目标跟踪系统
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
US20170248971A1 (en) * 2014-11-12 2017-08-31 SZ DJI Technology Co., Ltd. Method for detecting target object, detection apparatus and robot
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
CN108693892A (zh) * 2018-04-20 2018-10-23 深圳臻迪信息技术有限公司 一种跟踪方法、电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096285A (zh) * 2014-05-23 2015-11-25 南京理工大学 一种基于多核dsp的图像融合与目标跟踪系统
US20170248971A1 (en) * 2014-11-12 2017-08-31 SZ DJI Technology Co., Ltd. Method for detecting target object, detection apparatus and robot
CN104677406A (zh) * 2015-01-21 2015-06-03 哈尔滨工业大学 多波段运动目标模拟器
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN107578432A (zh) * 2017-08-16 2018-01-12 南京航空航天大学 融合可见光与红外两波段图像目标特征的目标识别方法
CN108693892A (zh) * 2018-04-20 2018-10-23 深圳臻迪信息技术有限公司 一种跟踪方法、电子装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
云霄: "基于特征融合与联合决策的视频跟踪算法研究", 《中国优秀博士论文库》 *
卢?: "曲线进化的多波段舰船图像目标精准识别系统", 《舰船科学技术》 *
向桂山: "复杂环境下运动摄像机稳定跟踪运动目标算法", 《浙江科技学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361499A (zh) * 2022-08-16 2022-11-18 南京甄视智能科技有限公司 双机协同的边防目标识别与追踪系统及方法
CN115361499B (zh) * 2022-08-16 2024-03-12 小视科技(江苏)股份有限公司 双机协同的边防目标识别与追踪系统及方法

Also Published As

Publication number Publication date
CN112907624B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
CN107240124B (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
WO2020155522A1 (en) Three-dimension (3d) assisted personalized home object detection
US10599926B2 (en) Automated detection of nitrogen deficiency in crop
CN109977757B (zh) 一种基于混合深度回归网络的多模态的头部姿态估计方法
CN109271914A (zh) 检测视线落点的方法、装置、存储介质和终端设备
CN107292907B (zh) 一种对跟随目标进行定位的方法以及跟随设备
CN108446634B (zh) 基于视频分析和定位信息结合的航空器持续跟踪方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
Ali et al. Visual tree detection for autonomous navigation in forest environment
CN111652067A (zh) 一种基于图像探测的无人机识别方法
CN111582410B (zh) 图像识别模型训练方法、装置、计算机设备及存储介质
CN112907624B (zh) 一种基于多波段信息融合的目标定位、跟踪方法及系统
JP2015204030A (ja) 認識装置及び認識方法
Liu et al. Video-based prediction for header-height control of a combine harvester
CN117152719B (zh) 除草障碍物检测方法、设备、存储介质及装置
CN114627339A (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN106934339B (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置
CN117572885A (zh) 基于无人机热红外相机的夜间追踪方法、系统及相关装置
CN113219472A (zh) 一种测距系统和方法
EP4052224B1 (en) Method for generating a three dimensional, 3d, model
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant