CN113674319B - 一种目标跟踪的方法、系统、设备及计算机存储介质 - Google Patents

一种目标跟踪的方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN113674319B
CN113674319B CN202110969946.9A CN202110969946A CN113674319B CN 113674319 B CN113674319 B CN 113674319B CN 202110969946 A CN202110969946 A CN 202110969946A CN 113674319 B CN113674319 B CN 113674319B
Authority
CN
China
Prior art keywords
visible light
target
infrared
tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110969946.9A
Other languages
English (en)
Other versions
CN113674319A (zh
Inventor
陈明珠
杨丹
杨增启
陈天钧
徐锡芳
李硕
缪佳宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110969946.9A priority Critical patent/CN113674319B/zh
Publication of CN113674319A publication Critical patent/CN113674319A/zh
Application granted granted Critical
Publication of CN113674319B publication Critical patent/CN113674319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种目标跟踪的方法、系统、设备及存储介质，解决在跟踪目标较模糊或被遮挡时易丢失的问题，该方法包括：检测第一可见光图像中跟踪目标所在的第一可见光目标检测区域，计算第一可见光目标检测区域中存在跟踪目标的可信度；若该可信度小于预设可信阈值，至少执行一次以下操作：检测与第一可见光图像同时采集的第一红外图像中跟踪目标所在的第一红外目标检测区域；对第一红外目标检测区域对应的拍摄区域进行图像聚焦，获取聚焦后拍摄的第二可见光图像和第二红外图像，计算跟踪目标在第二可见光图像和第二红外图像中对应目标检测区域的融合可信度，直至融合可信度大于预设可信阈值；将第二可见光图像作为对跟踪目标进行跟踪所使用的图像。

Description

一种目标跟踪的方法、系统、设备及计算机存储介质
技术领域
本发明涉及目标跟踪技术领域，特别涉及一种目标跟踪的方法、系统、设备及计算机存储介质。
背景技术
随着监控设备的不断发展普及，视觉目标跟踪技术在视频监控、自动驾驶等领域具有广泛的应用，已经成为了计算机视觉领域的重点研究内容。现有的单目相机在进行目标跟踪时常常因为目标存在遮挡或者目标颜色和背景颜色较为接近而丢失目标。而双目相机虽然能依靠红外和可见光两个波段的信息构建信息更丰富的目标模型，但同时融合之后的图像往往难以保证各特征的准确性。
鉴于此，如何利用双目相机在跟踪目标较模糊或者被遮挡的时候继续跟踪目标成为了亟待解决的技术问题。
发明内容
本发明提供一种目标跟踪的方法、系统、设备及存储介质，用以解决现有技术中双目相机在跟踪目标较模糊或者被遮挡的时候容易丢失跟踪目标的问题。
本发明第一方面提供了一种目标的方法，应用于具有双目摄像功能的目标跟踪设备，所述目标跟踪设备包括红外摄像装置和可见光摄像装置，所述方法包括：
获取同时采集的第一红外图像和第一可见光图像，检测所述第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算所述第一可见光目标检测区域中存在所述跟踪目标的可信度；
若所述第一可见光目标检测区域的可信度小于预设可信阈值，则至少执行一次以下操作：检测所述第一红外图像中所述跟踪目标所在的第一红外目标检测区域；并对所述第一红外目标检测区域对应的拍摄区域进行图像聚焦，获取聚焦后的第二可见光图像和第二红外图像，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域和所述第二红外图像中跟踪目标的第二红外光目标检测区域的融合可信度，直至所述融合可信度大于所述预设可信阈值；所述融合可信度为融合可见光目标跟踪结果和红外目标跟踪结果计算出的可信度；
将所述第二可见光图像作为对所述跟踪目标进行跟踪所使用的图像。
可选的，检测所述第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算所述第一可见光目标检测区域中存在所述跟踪目标的可信度，包括：
提取所述第一可见光图像中的特征点并与预设跟踪目标图像的特征点进行匹配，将所述第一可见光图像中匹配成功的特征点作为第一可见光特征点，并将所述第一可见光特征点所在的区域作为所述第一可见光目标检测区域，所述特征点是图像中具有显著差异和代表性的点；
基于目标运动预测算法和连续的多张历史可见光图像，预测所述第一可见光图像的第一目标运动预测区域；其中，所述历史可见光图像与所述第一可见光图像具有相同的跟踪目标；
计算所述第一可见光目标检测区域和第一目标运动预测区域的相似度，将所述相似度作为所述第一可见光目标检测区域的可信度。
可选的，检测所述第一红外图像中跟踪目标所在的第一红外目标检测区域，包括：
将所述第一可见光图像中的第一可见光目标检测区域映射至所述第一红外图像上的对应区域，获得第一红外映射区域；
对所述第一红外映射区域进行几何放大并提取特征点，将提取的特征点与所述预设跟踪目标图像的特征点进行匹配，将所述提取的特征点中匹配成功的特征点作为第一红外特征点；
将所述第一红外特征点和连续的多张历史红外图像上的特征点取交集得到第一红外特征点交集，将所述第一红外映射区域中所述第一红外特征点交集所在的区域作为第一红外目标检测区域。
可选的，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域中存在所述跟踪目标的融合可信度，包括：
将从所述第二可见光图像中提取的特征点与所述预设跟踪目标图像的特征点进行匹配，将所述第二可见光图像中匹配成功的特征点作为第二可见光特征点，并将所述第二可见光特征点所在的区域作为所述第二可见光目标检测区域，所述特征点是图像中具有显著差异和代表性的点；
获取和所述第二可见光图像同时采集的第二红外图像，对所述红外图像进行特征点提取并和所述预设跟踪目标图像的特征点进行匹配，得到第二红外特征点，将所述第二红外特征点与连续的多张历史红外特征点取交集得到第二红外特征点交集，所述第二红外特征点交集所在的区域为第二红外目标检测区域；
计算所述第二可见光目标检测区域的第二可信度、所述第二可见光目标检测区域和所述第二红外目标检测区域的第二相似度，将所述第二可信度和所述第二相似度进行线性加权计算，得到所述第二可见光目标检测区域中存在所述跟踪目标的融合可信度，所述第二可信度为所述第二可见光目标检测区域和连续的多张历史可见光图像预测的目标运动预测区域之间的相似度。
可选的，计算所述第二可见光目标检测区域的第二可信度和第二相似度，包括：
利用目标运动预测算法和连续的多张历史可见光图像计算所述第二可见光图像的第二目标运动预测区域，对所述第二可见光目标检测区域和第二目标运动预测区域进行相似性校验，得到所述第二可见光目标检测区域的第二可信度；
计算所述第二可见光目标检测区域和所述第二红外目标检测区域的相似度，得到所述第二相似度。
可选的，计算所述第一可见光目标检测区域中存在所述跟踪目标的可信度之后，还包括：
若所述第一可见光目标检测区域的可信度大于或等于所述预设可信阈值，则确定所述第一可见光目标检测区域中存在所述跟踪目标，将所述第一可见光图像作为对所述跟踪目标进行跟踪所使用的图像。
可选的，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域中存在所述跟踪目标的融合可信度之后，还包括：
若所述操作执行N次后，所述融合可信度仍小于所述预设可信阈值，则确定所述跟踪目标已经离开所述目标跟踪设备的拍摄范围、所述跟踪目标丢失，放弃跟踪所述跟踪目标；其中，N为大于1的正整数。
第二方面，本申请实施例提供了一种目标跟踪系统，包括：
至少一个可见光图像采集单元，所述可见光图像采集单元用于采集可见光图像；
至少一个红外图像采集单元，所述红外图像采集单元用于采集红外图像；
所述目标跟踪系统执行如第一方面所述的方法，以获取目标跟踪结果。
第三方面，本申请实施例提供了一种目标跟踪设备，该目标跟踪设备包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令执行如第一方面所述的方法。
第四方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。
本发明实施例中的技术方案具有如下有益效果：获取同时采集的第一红外图像和第一可见光图像，检测第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算第一可见光目标检测区域中存在跟踪目标的可信度；若第一可见光目标检测区域的可信度小于预设可信阈值，则至少执行一次以下操作：检测第一红外图像中跟踪目标所在的第一红外目标检测区域；并对第一红外目标检测区域对应的拍摄区域进行图像聚焦，获取聚焦后拍摄的第二可见光图像和第二红外图像，计算第二可见光图像中跟踪目标的第二可见光目标检测区域和第二红外图像中跟踪目标的第二红外光目标检测区域的融合可信度，直至融合可信度大于预设可信阈值；融合可信度为融合可见光目标跟踪结果和红外目标跟踪结果计算出的可信度；将第二可见光图像作为对跟踪目标进行跟踪所使用的图像。从而使双目相机在可见光图像进行目标跟踪的可信度较低时利用红外目标跟踪结果进行图像聚焦后再次进行拍摄，以获得更多的目标细节，并利用聚焦后具有更多目标细节的可见光图像和红外图像进行目标跟踪，同时融合可见光目标跟踪结果和红外目标跟踪结果进行可信度判断，获取具有高可信度的目标跟踪结果，解决了在跟踪目标较模糊或者被遮挡的时候双目相机容易丢失跟踪目标的问题。
附图说明
图1是本发明实施例提供的一种目标跟踪的方法的流程图；
图2是本发明实施例提供的一种双目相机进行目标跟踪的示意图；
图3是本发明实施提供的一种可见光目标检测区域判断可信度的方法的示意图；
图4为本发明实施例提供的一种确定红外目标检测区域的方法的示意图；
图5为本发明实施例提供的一种融合可见光目标跟踪结果和红外目标跟踪结果的方法的示意图；
图6为本发明实施例提供的一种目标跟踪系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
现有技术中，为了解决双目相机丢失目标的问题一般将红外、可见光图像进行融合以获取更多的信息，一般主要方案有两种：
一，结合红外图像和可见光图像特征进行融合的方法，此方案在目标同背景颜色或形态接近的时候融合后的特征易产生偏差，无法解决这种场景下的目标跟踪问题。；
二、结合可见光和红外图像的多模态跟踪的方法，这种方法虽然充分利用了各波段独立特征进行目标跟踪，对光照、阴影等环境变化具有较好鲁棒性，但一般较难实现超越二者较优者的实际跟踪效果，目标不清楚时仍然会丢失目标。
由此可见，不管双目相机使用上述哪种方案进行目标跟踪，均无法解决在目标不清楚时容易丢失目标的问题。为此，本发明提供一种目标跟踪的方法、设备和存储介质，用以解决现有技术中双目相机在跟踪目标较模糊或者被遮挡的时候容易丢失跟踪目标的问题。
下面结合说明书附图介绍本申请实施例提供的技术方案。
请参见图1，本发明提供了一种目标跟踪的方法，应用于具有双目摄像功能的目标跟踪设备，目标跟踪设备包括红外摄像装置和可见光摄像装置，方法包括：
步骤101：获取同时采集的第一红外图像和第一可见光图像，检测第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算第一可见光目标检测区域中存在跟踪目标的可信度；
步骤102：若第一可见光目标检测区域的可信度小于预设可信阈值，则至少执行一次以下操作：检测第一红外图像中跟踪目标所在的第一红外目标检测区域；并对第一红外目标检测区域对应的拍摄区域进行图像聚焦，获取聚焦后拍摄的第二可见光图像和第二红外图像，计算第二可见光图像中跟踪目标的第二可见光目标检测区域和第二红外图像中跟踪目标的第二红外光目标检测区域的融合可信度，直至融合可信度大于预设可信阈值；融合可信度为融合可见光目标跟踪结果和红外目标跟踪结果计算出的可信度；
步骤103：将第二可见光图像作为对跟踪目标进行跟踪所使用的图像。
例如，请参见图2，图2为本发明实施例提供的一种双目相机进行目标跟踪的示意图。假设预设可信阈值为0.7，图2中双目相机中的可见光摄像装置和红外摄像装置分别拍摄了同一时刻下的第一可见光图像11和第一红外图像12并对第一可见光图像11进行目标检测。检测结果为第一可见光目标检测区域111，然后计算第一可见光目标检测区域111中存在跟踪目标的可信度，得到的结果为0.6。由于第一可见光目标检测区域的可信度0.6低于预设可信阈值。目标跟踪设备检测第一红外图像12，得到第一红外目标检测区域121，并对第一红外目标检测区域对应的拍摄区域进行聚焦，获取聚焦后拍摄到的第二可见光图像21和第二红外图像22。最后计算第二可见光图像21中跟踪目标所在的第二可见光目标检测区域211和第二红外图像22中跟踪目标的第二红外光目标检测区域221的融合可信度。假设计算出的融合可信度为0.8，大于预设可信阈值0.7，则确定跟踪目标在第二可见光检测区域211中，将第二可见光图像21作为目标跟踪所使用的图像。
在本发明提供的实施例中，当双目相机在可见光图像进行目标跟踪的可信度较低时，利用红外目标跟踪结果对红外目标检测区域对应的拍摄区域进行图像聚焦后再次拍摄，以获得更多的目标细节，并利用聚焦后具有更多目标细节的第二可见光图像和第二红外图像进行目标跟踪。同时跟踪设备融合可见光目标跟踪结果和红外目标跟踪结果进行可信度判断，获取具有高可信度的目标跟踪结果，解决了在跟踪目标较模糊或者被遮挡的时候时双目相机容易丢失跟踪目标的问题。
一种可能的实施方式，检测第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算第一可见光目标检测区域中存在跟踪目标的可信度，包括：
提取第一可见光图像中的特征点并与预设跟踪目标图像的特征点进行匹配，将第一可见光图像中匹配成功的特征点作为第一可见光特征点，并将第一可见光特征点所在的区域作为第一可见光目标检测区域，特征点是图像中具有显著差异和代表性的点；基于目标运动预测算法和连续的多张历史可见光图像，预测第一可见光图像的第一目标运动预测区域；其中，历史可见光图像与第一可见光图像具有相同的跟踪目标；计算第一可见光目标检测区域和第一目标运动预测区域的相似度，将相似度作为第一可见光目标检测区域的可信度。
例如，以图2中的例子为例，请参见图3，图3为本发明实施例提供的一种可见光目标检测区域判断可信度的方法的示意图，如图所示，目标跟踪设备利用特征点提取算法提取第一可见光图像11中的特征点，并和预设跟踪目标的图像31中提取的特征点进行匹配，匹配成功的为第一可见光特征点311。而第一可见光特征点311所在的区域为第一可见光目标检测区域111，将第一可见光目标检测区域111和基于目标运动预测算法和连续的多张历史可见光图像预测得到的第一可见光图像11的第一目标运动预测区域32进行比对，并计算其相似度，假设计算结果为0.6，则第一可见光目标检测区域的可信度就为0.6。
在实际应用中，预设可信阈值则可以综合人为经验、相机参数和环境噪声等因素自行确定。特征点提取算法可以是ORB、SIFT或SURF等算法。目标运动检测算法可以是光流法、差分法等算法。相似度计算方法可以是通过分别获取可见光目标检测区域和可见光目标运动预测区域的SSIM值进行比较计算相似度的方法，可以是使用均值哈希(aHash)、感知哈希(pHash)和差异值哈希(dHash)等算法计算图像相似度的方法，也可以是计算图像峰值信噪比(Peak signal-to-noise ratio，PSNR)进行比较获得图像相似度的方法。
在本发明提供的实施例中，目标跟踪设备利用特征点算法提取可见光图像中的特征点并与跟踪目标的图像特征点进行匹配，以获取跟踪目标所在的可见光目标检测区域。将得到的可见光目标检测区域和根据历史可见光图像预测的目标运动预测区域进行相似度对比，确定得到的可见光目标检测区域的可信度，避免了目标跟踪设备由于受到可见光图像的干扰而生成错误的目标跟踪结果。
一种可能的实施方式，检测第一红外图像中跟踪目标所在的第一红外目标检测区域，包括：将第一可见光图像中的第一可见光目标检测区域映射至第一红外图像上的对应区域，获得第一红外映射区域；对第一红外映射区域进行几何放大并提取特征点，将提取的特征点与预设跟踪目标图像的特征点进行匹配，将提取的特征点中匹配成功的特征点作为第一红外特征点；将第一红外特征点和连续的多张历史红外图像上的特征点取交集得到第一红外特征点交集，将第一红外映射区域中第一红外特征点交集所在的区域作为第一红外目标检测区域。
例如，以图2中的例子为例，请参见图4，图4为本发明实施例提供的一种确定红外目标检测区域的方法的示意图，目标跟踪设备将第一可见光目标检测区域111映射到第一红外图像12上的对应区域作为第一红外映射区域121，将第一红外映射区域放大后利用特征点提取算法提取特征点并匹配预设跟踪目标图像31的特征点，匹配成功的特征点作为第一红外特征点43。第一红外特征点43和连续的多张历史红外图像上的特征点42取交集得到第一红外特征点交集431，交集所在的区域就是第一红外目标检测区域45。
在实际应用中，上述将可见光目标检测区域和红外映射区域之间的映射关系是通过预设的可见光摄像装置和红外摄像装置的空间位置参数计算出的，一般称之为单应性转移矩阵，在目标跟踪过程中无需计算。
在本发明提供的实施例中，目标跟踪设备通过提取红外映射区中的特征点，并与历史红外图像上特征点进行比对取交集，得到高可靠的红外目标检测区域，保证了红外目标检测区域准确性，避免了后续的图像聚焦出现误差。
一种可能的实施方式，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域中存在所述跟踪目标的融合可信度，包括：
将从第二可见光图像中提取的特征点与预设跟踪目标图像的特征点进行匹配，将第二可见光图像中匹配成功的特征点作为第二可见光特征点，并将第二可见光特征点所在的区域作为第二可见光目标检测区域，特征点是图像中具有显著差异和代表性的点；获取和第二可见光图像同时采集的第二红外图像，对红外图像进行特征点提取并和预设跟踪目标图像的特征点进行匹配，得到第二红外特征点，将第二红外特征点与连续的多张历史红外特征点取交集得到第二红外特征点交集，第二红外特征点交集所在的区域为第二红外目标检测区域；计算第二可见光目标检测区域的第二可信度、第二可见光目标检测区域和第二红外目标检测区域的第二相似度，将第二可信度和第二相似度进行线性加权计算，得到第二可见光目标检测区域中存在跟踪目标的融合可信度，第二可信度为第二可见光目标检测区域和连续的多张历史可见光图像预测的目标运动预测区域之间的相似度。
其中，计算第二可见光目标检测区域的第二可信度和第二相似度的方法包括：
利用目标运动预测算法和连续的多张历史可见光图像计算第二可见光图像的第二目标运动预测区域，对第二可见光目标检测区域和第二目标运动预测区域进行相似性校验，得到第二可见光目标检测区域的第二可信度；计算第二可见光目标检测区域和第二红外目标检测区域的相似度，得到第二相似度。
例如，以图2中的例子为例，请参见图5，图5为本发明实施例提供的一种融合可见光目标跟踪结果和红外目标跟踪结果的方法的示意图，其中融合可信度的计算公式为C＝aX+bS，C为融合可信度，a、b为权重，X为可见光可信度，S为可见光目标检测区域和红外目标检测区域的相似度。假设权重a为0.7、权重b为0.3，则融合可信度公式为C＝0.7X+0.3S。
目标跟踪设备将第二可见光图像21中提取的特征点和预设跟踪目标的图像31中提取的特征点进行匹配，得到第二可见光特征点511，第二可见光特征点511所在的区域为第二可见光目标检测区域211。然后对第二红外图像22取特征点并匹配预设跟踪目标图像上的特征点，将匹配上的特征点和历史红外图像上的特征点取交集，交集中特征点所在的区域就是第二红外目标检测区域221。最后目标跟踪设备计算第二可见光目标检测区域211和连续的多张历史可见光图像通过目标运动预测算法预测的目标运动预测区域的相似度作为第二可信度，计算第二可见光目标检测区域211和第二红外目标检测区域221的相似度作为第二相似度，假设计算结果第二可信度为0.8、第二相似度为0.7，代入公式C＝0.7X+0.3S，计算出融合可信度C为0.77。
在实际应用中，融合可信度公式中的权重可以根据双目相机的拍摄场景情况和跟踪目标的不同进行自主选择，并不限于本发明实施例中的权重值，例如将上述例子中的权重a改为0.4、权重b改为0.6，则计算出的融合可信度C为0.74。
在本发明提供的实施例中，目标跟踪设备通过将可见光目标跟踪结果和红外目标跟踪结果融合计算，获得的融合可信度能够同时利用在可见光目标跟踪结果和红外目标跟踪结果确定当前目标跟踪结果的可信程度，从而避免在跟踪目标不清楚或与背景颜色接近时可见光目标跟踪结果可信度大幅下降导致丢失跟踪目标。
一种可能的实施方式，计算第一可见光目标检测区域中存在跟踪目标的可信度之后，还包括：
若第一可见光目标检测区域的可信度大于或等于预设可信阈值，则确定第一可见光目标检测区域中存在跟踪目标，将第一可见光图像作为对跟踪目标进行跟踪所使用的图像。
例如，以图2中的例子为例，假设第一可见光目标检测区域111的可信度计算结果为0.75，大于预设可信阈值0.7，则此时确定第一可见光目标检测区域111中存在跟踪目标，将第一可见光图像11作为对跟踪目标进行跟踪所使用的图像。
在本发明提供的实施例中，当跟踪目标较为清晰，可见光目标检测结果的可信度较高时，直接使用可见光图像进行目标跟踪，减少了图像调整聚焦过程，提高了目标跟踪的效率。
一种可能的实施方式，计算第二可见光图像中跟踪目标的第二可见光目标检测区域中存在跟踪目标的融合可信度之后，还包括：
若操作执行N次后，融合可信度仍小于预设可信阈值，则确定跟踪目标已经离开目标跟踪设备的拍摄范围、跟踪目标丢失，放弃跟踪目标；其中，N为大于1的正整数。
例如，以图2中的例子为例，预设可信阈值为0.7，假设N为3，目标跟踪设备第一次图像聚焦后拍摄的第二可见光图像21中检测到的第二可见光目标检测区域211的融合可信度为0.6、第二次聚焦后拍摄的第二可见光图像21中检测到的第二可见光目标检测区域211的融合可信度为0.4、第三次聚焦后拍摄的第二可见光图像21中检测到的第二可见光目标检测区域211的融合可信度为0.5，此时连续聚焦调整三次后获得的第二可见光图像21中检测到的第二可见光目标检测区域211的融合可信度均低于预设可信阈值，则判断为目标已经离开图像范围，跟踪目标已丢失，放弃继续跟踪目标。
在本发明提供的实施例中，跟踪目标离开图像范围后，无论双目相机如何调整，计算出的融合可信度均低于预设可信阈值，此时判断为目标已丢失，放弃跟踪。避免了跟踪目标不在图像范围时，双目相机无意义的重复自行调整，及时的向用户提示目标已丢失。
基于同一发明构思，本申请还提供一种目标跟踪系统，参见图6，该目标跟踪系统包括：至少一个可见光图像采集单元601，可见光图像采集单元用于采集可见光图像；至少一个红外图像采集单元602，红外图像采集单元用于采集红外图像目标跟踪系统执行如上的目标跟踪的方法，以获取目标跟踪结果。
基于同一发明构思本发明一实施例提供一种目标跟踪设备，该目标跟踪设备可以是个人电脑等电子设备，该应用设备可以包括：至少一个处理器，处理器用于执行存储器中存储的计算机程序时实现本申请实施例提供的如上的目标跟踪的方法的步骤。
可选的，处理器具体可以是中央处理器、特定应用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)，可以是一个或多个用于控制程序执行的集成电路。
可选的，该设备节点定位显示设备还包括与至少一个处理器连接的存储器，存储器可以包括只读存储器(英文：Read Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)和磁盘存储器。存储器用于存储处理器运行时所需的数据，即存储有可被至少一个处理器执行的指令，至少一个处理器通过执行存储器存储的指令，执行如图一所示的方法。其中，存储器的数量为一个或多个。
本申请实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如上的目标跟踪的方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种目标跟踪的方法，应用于具有双目摄像功能的目标跟踪设备，所述目标跟踪设备包括红外摄像装置和可见光摄像装置，其特征在于，所述方法包括：
获取同时采集的第一红外图像和第一可见光图像，检测所述第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算所述第一可见光目标检测区域中存在所述跟踪目标的可信度；
若所述第一可见光目标检测区域的可信度小于预设可信阈值，则至少执行一次以下操作：检测所述第一红外图像中所述跟踪目标所在的第一红外目标检测区域；并对所述第一红外目标检测区域对应的拍摄区域进行图像聚焦，获取聚焦后拍摄的第二可见光图像和第二红外图像，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域和所述第二红外图像中跟踪目标的第二红外光目标检测区域的融合可信度，直至所述融合可信度大于所述预设可信阈值；所述融合可信度为融合可见光目标跟踪结果和红外目标跟踪结果计算出的可信度；
将所述第二可见光图像作为对所述跟踪目标进行跟踪所使用的图像。
2.如权利要求1所述的方法，其特征在于，检测所述第一可见光图像中跟踪目标所在的第一可见光目标检测区域，并计算所述第一可见光目标检测区域中存在所述跟踪目标的可信度，包括：
提取所述第一可见光图像中的特征点并与预设跟踪目标图像的特征点进行匹配，将所述第一可见光图像中匹配成功的特征点作为第一可见光特征点，并将所述第一可见光特征点所在的区域作为所述第一可见光目标检测区域，所述特征点是图像中具有显著差异和代表性的点；
基于目标运动预测算法和连续的多张历史可见光图像，预测所述第一可见光图像的第一目标运动预测区域；其中，所述历史可见光图像与所述第一可见光图像具有相同的跟踪目标；
计算所述第一可见光目标检测区域和第一目标运动预测区域的相似度，将所述相似度作为所述第一可见光目标检测区域的可信度。
3.如权利要求1所述的方法，其特征在于，检测所述第一红外图像中跟踪目标所在的第一红外目标检测区域，包括：
将所述第一可见光图像中的第一可见光目标检测区域映射至所述第一红外图像上的对应区域，获得第一红外映射区域；
对所述第一红外映射区域进行几何放大并提取特征点，将提取的特征点与预设跟踪目标图像的特征点进行匹配，将所述提取的特征点中匹配成功的特征点作为第一红外特征点；
将所述第一红外特征点和连续的多张历史红外图像上的特征点取交集得到第一红外特征点交集，将所述第一红外映射区域中所述第一红外特征点交集所在的区域作为第一红外目标检测区域。
4.如权利要求1所述的方法，其特征在于，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域和所述第二红外图像中跟踪目标的第二红外光目标检测区域的融合可信度，包括：
将从所述第二可见光图像中提取的特征点与预设跟踪目标图像的特征点进行匹配，将所述第二可见光图像中匹配成功的特征点作为第二可见光特征点，并将所述第二可见光特征点所在的区域作为所述第二可见光目标检测区域，所述特征点是图像中具有显著差异和代表性的点；
获取和所述第二可见光图像同时采集的第二红外图像，对所述红外图像进行特征点提取并和所述预设跟踪目标图像的特征点进行匹配，得到第二红外特征点，将所述第二红外特征点与连续的多张历史红外特征点取交集得到第二红外特征点交集，所述第二红外特征点交集所在的区域为第二红外目标检测区域；
计算所述第二可见光目标检测区域的第二可信度、所述第二可见光目标检测区域和所述第二红外目标检测区域的第二相似度，将所述第二可信度和所述第二相似度进行线性加权计算，得到所述第二可见光目标检测区域中存在所述跟踪目标的融合可信度，所述第二可信度为所述第二可见光目标检测区域和连续的多张历史可见光图像预测的目标运动预测区域之间的相似度。
5.如权利要求4所述的方法，其特征在于，计算所述第二可见光目标检测区域的第二可信度和第二相似度，包括：
利用目标运动预测算法和连续的多张历史可见光图像计算所述第二可见光图像的第二目标运动预测区域，对所述第二可见光目标检测区域和第二目标运动预测区域进行相似性校验，得到所述第二可见光目标检测区域的第二可信度；
计算所述第二可见光目标检测区域和所述第二红外目标检测区域的相似度，得到所述第二相似度。
6.如权利要求1所述的方法，其特征在于，计算所述第一可见光目标检测区域中存在所述跟踪目标的可信度之后，还包括：
若所述第一可见光目标检测区域的可信度大于或等于所述预设可信阈值，则确定所述第一可见光目标检测区域中存在所述跟踪目标，将所述第一可见光图像作为对所述跟踪目标进行跟踪所使用的图像。
7.如权利要求1-6任一项所述的方法，其特征在于，计算所述第二可见光图像中跟踪目标的第二可见光目标检测区域和所述第二红外图像中跟踪目标的第二红外光目标检测区域的融合可信度之后，还包括：
若所述操作执行N次后，所述融合可信度仍小于所述预设可信阈值，则确定所述跟踪目标已经离开所述目标跟踪设备的拍摄范围、所述跟踪目标丢失，放弃跟踪所述跟踪目标；其中，N为大于1的正整数。
8.一种目标跟踪系统，其特征在于，包括：
至少一个可见光图像采集单元，所述可见光图像采集单元用于采集可见光图像；
至少一个红外图像采集单元，所述红外图像采集单元用于采集红外图像
所述目标跟踪系统执行如权利要求1-7任一项的方法，以获取目标跟踪结果。
9.一种目标跟踪设备，其特征在于，包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的方法。
CN202110969946.9A 2021-08-23 2021-08-23 一种目标跟踪的方法、系统、设备及计算机存储介质 Active CN113674319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110969946.9A CN113674319B (zh) 2021-08-23 2021-08-23 一种目标跟踪的方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110969946.9A CN113674319B (zh) 2021-08-23 2021-08-23 一种目标跟踪的方法、系统、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113674319A CN113674319A (zh) 2021-11-19
CN113674319B true CN113674319B (zh) 2024-06-21

Family

ID=78545380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110969946.9A Active CN113674319B (zh) 2021-08-23 2021-08-23 一种目标跟踪的方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113674319B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823694B (zh) * 2023-08-31 2023-11-24 佛山科学技术学院 基于多聚焦信息整合的红外与可见光图像融合方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN106385530A (zh) * 2015-07-28 2017-02-08 杭州海康威视数字技术股份有限公司 一种双光谱摄像机

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7535002B2 (en) * 2004-12-03 2009-05-19 Fluke Corporation Camera with visible light and infrared image blending
US8180168B2 (en) * 2007-01-16 2012-05-15 Hewlett-Packard Development Company, L.P. One-pass filtering and infrared-visible light decorrelation to reduce noise and distortions
JP2010124120A (ja) * 2008-11-18 2010-06-03 Fujinon Corp オートフォーカスシステム
CN106447700B (zh) * 2016-10-26 2019-06-04 中国科学院长春光学精密机械与物理研究所 经纬仪中多传感器协同跟踪方法
CN107230196B (zh) * 2017-04-17 2020-08-28 江南大学 基于非下采样轮廓波和目标可信度的红外与可见光图像融合方法
CN107253485B (zh) * 2017-05-16 2019-07-23 北京交通大学 异物侵入检测方法及异物侵入检测装置
CN108010051A (zh) * 2017-11-29 2018-05-08 广西师范大学 基于AdaBoost算法的多源视频目标融合跟踪方法
CN110111292B (zh) * 2019-04-30 2023-07-21 淮阴师范学院 一种红外与可见光图像融合方法
CN112258553B (zh) * 2020-09-21 2022-11-15 中国人民解放军战略支援部队航天工程大学 一种基于多源图像融合的全天时目标跟踪方法
CN112235506B (zh) * 2020-10-09 2022-08-16 浙江大华技术股份有限公司 摄像机聚焦处理方法、装置、存储介质及电子装置
CN112215876B (zh) * 2020-10-22 2022-10-04 烟台艾睿光电科技有限公司 一种双光谱图像配准融合方法、装置、设备及存储介质
CN112861924B (zh) * 2021-01-17 2023-04-07 西北工业大学 一种可见光/红外图像多平台分布式融合多目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079908A (zh) * 2014-07-11 2014-10-01 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
CN106385530A (zh) * 2015-07-28 2017-02-08 杭州海康威视数字技术股份有限公司 一种双光谱摄像机

Also Published As

Publication number Publication date
CN113674319A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
US10455141B2 (en) Auto-focus method and apparatus and electronic device
CN109446942B (zh) 目标跟踪方法、装置和系统
EP3008696B1 (en) Tracker assisted image capture
US20170278231A1 (en) Device for and method of determining a pose of a camera
CN110533694B (zh) 图像处理方法、装置、终端及存储介质
US8098903B2 (en) Apparatus for adjusting focus and exposure based on a face image and method of controlling same
CN111583118B (zh) 图像拼接方法、装置、存储介质及电子设备
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
US9323989B2 (en) Tracking device
US11394870B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN110675426B (zh) 人体跟踪方法、装置、设备及存储介质
WO2021084530A1 (en) Method and system for generating a depth map
CN115760912A (zh) 运动目标跟踪方法、装置、设备及计算机可读存储介质
CN113674319B (zh) 一种目标跟踪的方法、系统、设备及计算机存储介质
CN108876824B (zh) 目标跟踪方法、装置、系统及球机
CN114283089A (zh) 基于跳跃加速的深度恢复方法、电子设备及存储介质
JP2015207090A (ja) 画像処理装置、及びその制御方法
CN111259701A (zh) 行人再识别方法、装置及电子设备
CN114219938A (zh) 感兴趣区域获取方法
CN105763766B (zh) 控制方法、控制装置及电子装置
JP2022185872A5 (zh)
JP2006172064A (ja) 物体追跡装置、および方法
Sivasankar et al. Long-Run Real-Time Human Tracking at Low Light Condition
CN115661191A (zh) 一种光电导航中零位移的判断方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant