CN111242977B - 全景视频的目标跟踪方法、可读存储介质及计算机设备 - Google Patents

全景视频的目标跟踪方法、可读存储介质及计算机设备 Download PDF

Info

Publication number
CN111242977B
CN111242977B CN202010023864.0A CN202010023864A CN111242977B CN 111242977 B CN111242977 B CN 111242977B CN 202010023864 A CN202010023864 A CN 202010023864A CN 111242977 B CN111242977 B CN 111242977B
Authority
CN
China
Prior art keywords
target
tracking
frame
tracker
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010023864.0A
Other languages
English (en)
Other versions
CN111242977A (zh
Inventor
许睿
姜文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202010023864.0A priority Critical patent/CN111242977B/zh
Publication of CN111242977A publication Critical patent/CN111242977A/zh
Priority to EP21738993.1A priority patent/EP4148669A2/en
Priority to PCT/CN2021/070922 priority patent/WO2021139787A2/zh
Priority to US17/791,570 priority patent/US20230036905A1/en
Application granted granted Critical
Publication of CN111242977B publication Critical patent/CN111242977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请适用于视频处理领域，提供了一种全景视频的目标跟踪方法、可读存储介质及计算机设备。所述方法包括：采用所述跟踪器对所述待跟踪目标进行跟踪检测，得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；根据置信度和遮挡分数采取相应的跟踪策略。本申请能够区分跟踪失败的原因是由于目标丢失还是遮挡导致，进而采取相应的跟踪恢复策略，在跟踪失效时能自动恢复跟踪，从而达到长时间持续跟踪的效果，且本发明方法具有较低的运算复杂度，实时性好。

Description

全景视频的目标跟踪方法、可读存储介质及计算机设备
技术领域
本申请属于视频处理领域，尤其涉及一种全景视频的目标跟踪方法、可读存储介质及计算机设备。
背景技术
全景视频可使用户能够观看在全景相机拍摄角度范围内的任意视角的视频。在观看全景视频时，由于平面显示器某一时刻只能显示全景视频的其中一个视角，当用户想要持续观看特定目标对象时，可能由于目标消失在当前视角而需要控制平面显示器转动视角，因此操作比较麻烦。且当用户感兴趣的一个目标在全景视频中位置不断变化时，用户需要跟随目标的转动不断地调整观看视角，不仅操作麻烦，且会使用户有眩晕感。
发明内容
本申请的目的在于提供一种全景视频的目标跟踪方法、装置、计算机可读存储介质、计算机设备及全景相机，旨在解决当用户感兴趣的一个目标在全景视频中位置不断变化时，用户需要跟随目标的转动不断地调整观看视角，不仅操作麻烦，且会使用户有眩晕感的问题。
本申请提供了一种全景视频的目标跟踪方法，所述方法包括：
S101、对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
S102、初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
S103、采用所述跟踪器对所述待跟踪目标进行跟踪检测，得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
S104、判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
进一步地，所述根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪之后，所述方法还包括：
在目标跟踪过程中，每隔一预设时间间隔，重新返回S103。
进一步地，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪包括：
S1041、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，根据筛选条件对目标检测框进行筛选，将符合筛选条件的目标检测框作为第一候选目标框，筛选条件包括：检测出的目标的类别与跟踪器中的跟踪目标类别一致；检测出的目标检测框与跟踪器的目标跟踪框的尺寸差异在预设尺寸阈值范围内；和检测出的目标检测框与跟踪器的目标跟踪框的欧氏距离差距在预设欧氏阈值范围内；
S1042、使用跟踪器初始的相关滤波器对第一候选目标框分别计算得到响应图和置信度，并采用遮挡检测器计算第一候选目标框的遮挡分数，筛选出置信度大于预设置信度阈值，且遮挡分数小于预设遮挡分数阈值的第一候选目标框作为第二候选目标框；
S1043、在第二候选目标框中，选取响应图中响应值最大且无遮挡的第二候选目标框作为预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪。
进一步地，在S1042之后，所述方法还包括：
根据第二候选目标框与跟踪器的目标跟踪框的交并比IOU值，判断是否可能发生了误检，若有误检，则视为此次遮挡恢复失败，执行所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的步骤。
进一步地，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的包括：
S1051、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，将检测出的目标的类别与跟踪器中的跟踪目标类别一致的目标检测框作为第四候选目标框；
S1052、计算第四候选目标框与跟踪器的目标跟踪框的IOU值，将IOU值最大的第四候选目标框作为预测跟踪框，进入S1053；若IOU值小于预设IOU阈值，则视为此次跟踪恢复失败，返回S101重新检测跟踪；
S1053、将预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启，跟踪恢复成功。
进一步地，在S1052之前，所述方法还包括：
S1054、判断是否是经判断发生了误检，若是，则执行S1055，否则执行S1052；
S1055、根据第四候选目标框与跟踪器的目标跟踪框的尺寸差异，选取尺寸差异最小的第四候选目标框作为第五候选目标框；
S1056、根据第五候选目标框与跟踪器的目标跟踪框的欧式距离，选取距离最小的第五候选目标框作为预测跟踪框，进入S1053，若欧式距离大于预设欧式距离阈值，则视为此次跟踪恢复失败，返回S101重新检测跟踪。本申请提供了一种全景视频的目标跟踪装置，所述装置包括：
获取模块，用于对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
初始化模块，用于初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
计算模块，用于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
判断模块，用于判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
执行模块，用于如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述的全景视频的目标跟踪方法的步骤。
本申请提供了一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的全景视频的目标跟踪方法的步骤。
本申请提供了一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如所述的全景视频的目标跟踪方法的步骤
在本申请中，由于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，根据所述预测跟踪位置采用遮挡检测器对跟踪目标进行检测，计算得到遮挡分数；如果置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；如果置信度小于预设置信度阈值，且遮挡分数大于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置；如果置信度小于预设置信度阈值，且遮挡分数小于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将预测跟踪框作为跟踪器重启的初始化位置和大小，进行跟踪器重启。因此，本申请能够区分跟踪失败的原因是由于目标丢失还是遮挡导致，进而采取相应的跟踪恢复策略，在跟踪失效时能自动恢复跟踪，从而达到长时间持续跟踪的效果，且本发明方法具有较低的运算复杂度，实时性好。
附图说明
图1是本申请一实施例提供的全景视频的目标跟踪方法的应用场景示意图。
图2是本申请一实施例提供的全景视频的目标跟踪方法的流程图。
图3是本申请一实施例提供的全景视频的目标跟踪装置示意图。
图4是本申请一实施例提供的计算机设备的具体结构框图。
图5是本申请一实施例提供的全景相机的具体结构框图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1，本申请一实施例提供的全景视频的目标跟踪方法的应用场景包括相连接的计算机设备100和全景相机200。计算机设备100和全景相机200中可运行至少一个的应用程序。计算机设备100可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。计算机设备100或者是全景相机200执行本申请一实施例提供的全景视频的目标跟踪方法对全景视频的目标进行跟踪。
请参阅图2，是本申请一实施例提供的全景视频的目标跟踪方法的流程图，本实施例主要以该全景视频的目标跟踪方法应用于计算机设备或全景相机为例来举例说明，本申请一实施例提供的全景视频的目标跟踪方法包括以下步骤：
S101、对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标。
在本申请一实施例中，S101具体可以包括：
采用目标检测算法对所述当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标，并确定所述待跟踪目标的类别。
获取待跟踪目标之后，所述方法还可以包括：
在所述全景视频帧上用边界框标识所述待跟踪目标，例如用矩形框、环形线圈等任意形状的边界框将所述待跟踪目标标识出来。
所述待跟踪目标可以是用户在所述全景视频帧中选定的，或者是通过目标检测算法自动选定的。待跟踪目标包括但不限于人、动物、车辆等物体；所述目标检测算法包括但不限于深度学习中的SSD算法(Single Shot MultiBox Detector)、R-CNN系列算法(Region-Convolutional Neural Networks)和YOLO系列算法(You Only Look Once)等。
S102、初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别。
在本申请一实施例中，初始化跟踪器包括：
S1021、获取当前全景视频帧中待跟踪目标的边界框所在区域；
S1022、对边界框所在区域的所有边界根据预设的扩大尺寸作扩边处理，生成图像块；
S1023、将所述图像块作为目标跟踪搜索区域，将所述待跟踪目标的边界框作为目标跟踪框，初始化目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；其中，前景尺寸为目标跟踪框的尺寸，背景尺寸为图像块的尺寸；
S1024、初始化相关滤波器的参数，初始化目标跟踪搜索区域的颜色特征相关前景信息和背景信息，所述相关滤波器为在线学习的相关滤波器；其中，前景信息为目标跟踪框的颜色特征相关信息，背景信息为图像块的颜色特征相关信息。
初始化遮挡检测器包括：
初始化遮挡检测器中目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；
分别计算初始化时刻前景的遮挡分数，作为后续遮挡检测的基准。其中，前景的遮挡分数为目标跟踪框的遮挡分数。
S103、采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数。
在本申请一实施例中，所述采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置具体可以包括以下步骤：
S1031、对图像块提取HOG(Histogram of Oriented Gradient，梯度方向直方图)特征和颜色特征生成特征图；
S1032、采用相关滤波器对特征图进行滤波生成响应图；
S1033、获取响应图中最大值对应的位置作为所述待跟踪目标在下一全景视频帧的预测跟踪位置。
在本申请一实施例中，所述计算所述预测跟踪位置的置信度具体可以包括：
计算所述预测跟踪位置的置信度的指标APCE(average peak-to correlationenergy，平均峰值相关能量)采用如下公式：
Figure BDA0002361748050000091
其中，Fmax为响应图中的最大值，Fmin为响应图中的最小值，Fw,h为响应图中坐标(w,h)位置的值。
当然也可以采用现有技术的其他指标作为所述预测跟踪位置的置信度的指标。例如：一、响应图中的最大值；二、MOSSE中的峰值旁瓣比(Peak to Sidelobe Ratio,PSR)，由相关滤波峰值，与11*11峰值窗口以外旁瓣的均值与标准差计算得到；三、每个通道的最大响应峰值；四、响应图中第二和第一主模式之间的比率，反映每个通道响应中主模式的表现力，但需要先做极大值检测。
所述根据所述预测跟踪位置采用遮挡检测器对跟踪目标进行检测，计算得到遮挡分数OSraw(n)具体可以是通过以下公式计算：
Figure BDA0002361748050000092
其中，wn为图像块的宽度值，hn为图像块的高度值，xn和yn为图像块左上角x轴坐标值和y轴坐标值，HSV颜色空间下的图像坐标用(i,j)表示，L(target|H(i,j))为对数的似然函数，
Figure BDA0002361748050000093
其中，P(H(i,j)|target)表示量化图中HUE值属于目标跟踪框的像素的概率，P(H(i,j)|background)表示量化图中HUE值属于除目标跟踪框之外的其他背景的像素的概率，ε为常数，防止公式分母为0。
S104、判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
在本申请一实施例中，所述根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪之后，所述方法还可以包括：
在目标跟踪过程中，每隔一预设时间间隔，重新返回S103。从而可以消除跟踪目标形变导致跟踪漂移进而导致的跟踪丢失问题。
如果置信度小于预设置信度阈值，且遮挡分数大于预设分数阈值，则说明跟踪目标被遮挡，所述根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置具体步骤包括：
S1041、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，根据筛选条件对目标检测框进行筛选，将符合筛选条件的目标检测框作为第一候选目标框，筛选条件包括：一、检测出的目标的类别与跟踪器中的跟踪目标类别一致；二、检测出的目标检测框与跟踪器的目标跟踪框的尺寸差异在预设尺寸阈值范围内；三、检测出的目标检测框与跟踪器的目标跟踪框的欧氏距离差距在预设欧氏阈值范围内；
S1042、使用跟踪器初始的相关滤波器对第一候选目标框分别计算得到响应图和置信度，并采用遮挡检测器计算第一候选目标框的遮挡分数，筛选出置信度大于预设置信度阈值，且遮挡分数小于预设遮挡分数阈值的第一候选目标框作为第二候选目标框；
S1043、在第二候选目标框中，选取响应图中响应值最大且无遮挡的第二候选目标框作为预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪(但是不用重新初始化跟踪器，之前训练更新维护的相关滤波器参数仍然有效，跟踪恢复成功)。
在S1042之后，所述方法还可以包括以下步骤：
根据第二候选目标框与跟踪器的目标跟踪框的IOU(Intersection over Union，交并比)值，判断是否可能发生了误检，若有误检，则视为此次遮挡恢复失败，执行所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的的步骤。
IOU是一种测量在特定数据集中检测相应物体准确度的一个标准。IOU是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxes)的任务都可以用IOU来进行测量。
如果置信度小于预设置信度阈值，且遮挡分数小于预设分数阈值，则说明跟踪目标丢失，所述根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将预测跟踪框作为跟踪器重启的初始化位置和大小，进行跟踪器重启具体包括：
S1051、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，将检测出的目标的类别与跟踪器中的跟踪目标类别一致的目标检测框作为第四候选目标框；
S1052、计算第四候选目标框与跟踪器的目标跟踪框的IOU值，将IOU值最大的第四候选目标框作为预测跟踪框，进入S1053；若IOU值小于预设IOU阈值，则视为此次跟踪恢复失败，返回S101重新检测跟踪；
S1053、将预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启，跟踪恢复成功。
在S1052之前，所述方法还可以包括：
S1054、判断是否是经判断发生了误检，若是，则执行S1055，否则执行S1052；
S1055、根据第四候选目标框与跟踪器的目标跟踪框的尺寸差异，选取尺寸差异最小的第四候选目标框作为第五候选目标框；
S1056、根据第五候选目标框与跟踪器的目标跟踪框的欧式距离，选取距离最小的第五候选目标框作为预测跟踪框，进入S1053，若欧式距离大于预设欧式距离阈值，则视为此次跟踪恢复失败，返回S101重新检测跟踪。
请参阅图3，本申请一实施例提供的全景视频的目标跟踪装置可以是运行于计算机设备或全景相机中的一个计算机程序或一段程序代码，例如该全景视频的目标跟踪装置为一个应用软件；该全景视频的目标跟踪装置可以用于执行本申请实施例提供的全景视频的目标跟踪方法中的相应步骤。本申请一实施例提供的全景视频的目标跟踪装置包括：
获取模块11，用于对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
初始化模块12，用于初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
计算模块13，用于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
判断模块14，用于判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
执行模块15，用于如果置信度大于预设所述预测跟踪位置的置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果置信度小于预设置所述预测跟踪位置的信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
本申请一实施例提供的全景视频的目标跟踪装置与本申请一实施例提供的全景视频的目标跟踪方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
本申请一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请一实施例提供的全景视频的目标跟踪方法的步骤。
图4示出了本申请一实施例提供的计算机设备的具体结构框图，该计算机设备可以是图1中所示的计算机设备，一种计算机设备100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本申请一实施例提供的全景视频的目标跟踪方法的步骤。
计算机设备可以是台式计算机、移动终端等，移动终端包括手机、平板电脑、笔记本电脑、个人数字助理等。
图5示出了本申请一实施例提供的全景相机的具体结构框图，该全景相机可以是图1中所示的全景相机，一种全景相机200包括：一个或多个处理器201、存储器202、以及一个或多个计算机程序，其中所述处理器201和所述存储器202通过总线连接，所述一个或多个计算机程序被存储在所述存储器202中，并且被配置成由所述一个或多个处理器201执行，所述处理器201执行所述计算机程序时实现如本申请一实施例提供的全景视频的目标跟踪方法的步骤。
在本申请中，由于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，根据所述预测跟踪位置采用遮挡检测器对跟踪目标进行检测，计算得到遮挡分数；如果置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；如果置信度小于预设置信度阈值，且遮挡分数大于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置；如果置信度小于预设置信度阈值，且遮挡分数小于预设分数阈值，则根据在当前全景视频帧中检测出的目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将预测跟踪框作为跟踪器重启的初始化位置和大小，进行跟踪器重启。因此，本申请能够区分跟踪失败的原因是由于目标丢失还是遮挡导致，进而采取相应的跟踪恢复策略，达到跟踪失效自动恢复的长时间跟踪的效果，在跟踪失效时能自动恢复跟踪，从而达到长时间持续跟踪的效果，且本发明方法具有较低的运算复杂度，实时性好。
应该理解的是，本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种全景视频的目标跟踪方法，其特征在于，所述方法包括：
S101、对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
S102、初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
S103、采用所述跟踪器对所述待跟踪目标进行跟踪检测，得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
S104、判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
2.如权利要求1所述的方法，其特征在于，S101包括：
采用目标检测算法对所述当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标，并确定所述待跟踪目标的类别。
3.如权利要求2所述的方法，其特征在于，所述获取待跟踪目标之后，所述方法还包括：
在所述全景视频帧上用边界框标识所述待跟踪目标。
4.如权利要求3所述的方法，其特征在于，所述初始化跟踪器包括：
S1021、获取当前全景视频帧中所述待跟踪目标的边界框所在区域；
S1022、对边界框所在区域的所有边界根据预设的扩大尺寸作扩边处理，生成图像块；
S1023、将所述图像块作为目标跟踪搜索区域，将所述待跟踪目标的边界框作为目标跟踪框，初始化目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；
S1024、初始化相关滤波器的参数，初始化目标跟踪搜索区域的颜色特征相关前景信息和背景信息；
所述初始化遮挡检测器包括：
初始化遮挡检测器中目标跟踪搜索区域的前景尺寸和背景尺寸，并进行尺寸归一化；
分别计算初始化时刻前景的遮挡分数，作为后续遮挡检测的基准。
5.如权利要求4所述的方法，其特征在于，所述采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置包括：
S1031、对图像块提取梯度方向直方图HOG特征和颜色特征生成特征图；
S1032、采用相关滤波器对特征图进行滤波生成响应图；
S1033、获取响应图中最大值对应的位置作为所述待跟踪目标在下一全景视频帧的预测跟踪位置。
6.如权利要求1所述的方法，其特征在于，所述根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪之后，所述方法还包括：
在目标跟踪过程中，每隔一预设时间间隔，重新返回S103。
7.如权利要求4所述的方法，其特征在于，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪包括：
S1041、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，根据筛选条件对目标检测框进行筛选，将符合筛选条件的目标检测框作为第一候选目标框，筛选条件包括：检测出的目标的类别与跟踪器中的跟踪目标类别一致；检测出的目标检测框与跟踪器的目标跟踪框的尺寸差异在预设尺寸阈值范围内；和检测出的目标检测框与跟踪器的目标跟踪框的欧氏距离差距在预设欧氏阈值范围内；
S1042、使用跟踪器初始的相关滤波器对第一候选目标框分别计算得到响应图和置信度，并采用遮挡检测器计算第一候选目标框的遮挡分数，筛选出置信度大于预设置信度阈值，且遮挡分数小于预设遮挡分数阈值的第一候选目标框作为第二候选目标框；
S1043、在第二候选目标框中，选取响应图中响应值最大且无遮挡的第二候选目标框作为预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪。
8.如权利要求7所述的方法，其特征在于，在S1042之后，所述方法还包括：
根据第二候选目标框与跟踪器的目标跟踪框的交并比IOU值，判断是否可能发生了误检，若有误检，则视为此次遮挡恢复失败，执行所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的步骤。
9.如权利要求1或8所述的方法，其特征在于，所述在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启的包括：
S1051、对所述下一全景视频帧进行目标检测，检测出目标检测框和目标的类别，将检测出的目标的类别与跟踪器中的跟踪目标类别一致的目标检测框作为第四候选目标框；
S1052、计算第四候选目标框与跟踪器的目标跟踪框的IOU值，将IOU值最大的第四候选目标框作为预测跟踪框，进入S1053；若IOU值小于预设IOU阈值，则视为此次跟踪恢复失败，返回S101重新检测跟踪；
S1053、将预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启，跟踪恢复成功。
10.如权利要求9所述的方法，其特征在于，在S1052之前，所述方法还包括：
S1054、判断是否是经判断发生了误检，若是，则执行S1055，否则执行S1052；
S1055、根据第四候选目标框与跟踪器的目标跟踪框的尺寸差异，选取尺寸差异最小的第四候选目标框作为第五候选目标框；
S1056、根据第五候选目标框与跟踪器的目标跟踪框的欧式距离，选取距离最小的第五候选目标框作为预测跟踪框，进入S1053，若欧式距离大于预设欧式距离阈值，则视为此次跟踪恢复失败，返回S101重新检测跟踪。
11.一种全景视频的目标跟踪装置，其特征在于，所述装置包括：
获取模块，用于对当前需确定跟踪目标的全景视频帧进行目标检测，获取待跟踪目标；
初始化模块，用于初始化跟踪器和遮挡检测器，将所述待跟踪目标的边界框作为跟踪器的目标跟踪框，将所述待跟踪目标的类别作为跟踪器的跟踪目标类别；
计算模块，用于采用所述跟踪器对所述待跟踪目标进行跟踪检测得到所述待跟踪目标在下一全景视频帧的预测跟踪位置，计算所述预测跟踪位置的置信度，并采用遮挡检测器计算所述预测跟踪位置的遮挡分数；
判断模块，用于判断所述预测跟踪位置的置信度是否大于预设置信度阈值，并判断所述预测跟踪位置的遮挡分数是否大于预设遮挡分数阈值；
执行模块，用于如果所述预测跟踪位置的置信度大于预设置信度阈值，则根据所述待跟踪目标的预测跟踪位置对所述待跟踪目标进行跟踪；
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数大于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框代替跟踪器的目标跟踪框，通过预测跟踪框进行跟踪；和/或，
如果所述预测跟踪位置的置信度小于预设置信度阈值，且所述预测跟踪位置的遮挡分数小于预设遮挡分数阈值，则在所述下一全景视频帧中检测目标的类别和目标检测框，并根据所述目标的类别和目标检测框以及跟踪器中的跟踪信息重新确定预测跟踪框，将所述预测跟踪框的位置和大小作为跟踪器重启的初始化位置和大小，进行跟踪器重启。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的全景视频的目标跟踪方法的步骤。
13.一种计算机设备，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的全景视频的目标跟踪方法的步骤。
14.一种全景相机，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，所述处理器和所述存储器通过总线连接，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的全景视频的目标跟踪方法的步骤。
CN202010023864.0A 2020-01-09 2020-01-09 全景视频的目标跟踪方法、可读存储介质及计算机设备 Active CN111242977B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010023864.0A CN111242977B (zh) 2020-01-09 2020-01-09 全景视频的目标跟踪方法、可读存储介质及计算机设备
EP21738993.1A EP4148669A2 (en) 2020-01-09 2021-01-08 Target tracking method for panoramic video, readable storage medium, and computer device
PCT/CN2021/070922 WO2021139787A2 (zh) 2020-01-09 2021-01-08 全景视频的目标跟踪方法、可读存储介质及计算机设备
US17/791,570 US20230036905A1 (en) 2020-01-09 2021-01-08 Target tracking method for panorama video,readable storage medium and computer equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010023864.0A CN111242977B (zh) 2020-01-09 2020-01-09 全景视频的目标跟踪方法、可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN111242977A CN111242977A (zh) 2020-06-05
CN111242977B true CN111242977B (zh) 2023-04-25

Family

ID=70865116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023864.0A Active CN111242977B (zh) 2020-01-09 2020-01-09 全景视频的目标跟踪方法、可读存储介质及计算机设备

Country Status (4)

Country Link
US (1) US20230036905A1 (zh)
EP (1) EP4148669A2 (zh)
CN (1) CN111242977B (zh)
WO (1) WO2021139787A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414447B (zh) * 2019-07-31 2022-04-15 京东方科技集团股份有限公司 行人跟踪方法、装置及设备
CN111242977B (zh) * 2020-01-09 2023-04-25 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN111598088B (zh) * 2020-05-15 2023-12-29 京东方科技集团股份有限公司 目标检测方法、装置、计算机设备及可读存储介质
CN112614154B (zh) * 2020-12-08 2024-01-19 深圳市优必选科技股份有限公司 目标跟踪轨迹的获取方法、装置及计算机设备
CN112489090B (zh) * 2020-12-16 2024-06-04 影石创新科技股份有限公司 目标跟踪的方法、计算机可读存储介质及计算机设备
CN112634355A (zh) * 2020-12-22 2021-04-09 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置、设备及存储介质
CN113052019A (zh) * 2021-03-10 2021-06-29 南京创维信息技术研究院有限公司 目标跟踪方法及装置、智能设备和计算机存储介质
CN113158794B (zh) * 2021-03-16 2024-05-28 西安天和防务技术股份有限公司 目标检测方法、边缘设备及计算机可读存储介质
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
CN112950687B (zh) * 2021-05-17 2021-08-10 创新奇智(成都)科技有限公司 一种确定跟踪状态的方法、装置、存储介质和电子设备
CN113315914B (zh) * 2021-05-25 2022-05-17 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
CN113470078A (zh) * 2021-07-15 2021-10-01 浙江大华技术股份有限公司 一种目标跟踪方法、装置及系统
CN113298852A (zh) * 2021-07-27 2021-08-24 第六镜科技(北京)有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN113850209B (zh) * 2021-09-29 2024-05-28 广州文远知行科技有限公司 一种动态物体检测方法、装置、交通工具及存储介质
CN116228817B (zh) * 2023-03-10 2023-10-03 东南大学 一种基于相关滤波的实时抗遮挡抗抖动单目标跟踪方法
CN116402862B (zh) * 2023-06-09 2023-08-22 泉州装备制造研究所 多目标跟踪方法、装置、电子设备及存储介质
CN116703983B (zh) * 2023-06-14 2023-12-19 石家庄铁道大学 联合遮挡目标检测及目标跟踪方法
CN116665133B (zh) * 2023-07-24 2023-10-13 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质
CN117218162B (zh) * 2023-11-09 2024-03-12 深圳市巨龙创视科技有限公司 一种基于ai的全景追踪控视系统
CN118038341A (zh) * 2024-04-15 2024-05-14 苏州元脑智能科技有限公司 多目标跟踪方法、装置、计算机设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564034A (zh) * 2017-07-27 2018-01-09 华南理工大学 一种监控视频中多目标的行人检测与跟踪方法
CN109003290A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种监控系统的视频跟踪方法
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN110136171A (zh) * 2019-05-20 2019-08-16 哈尔滨工程大学 一种目标跟踪过程中判断遮挡的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734587B2 (en) * 2015-09-30 2017-08-15 Apple Inc. Long term object tracker
CN106408591B (zh) * 2016-09-09 2019-04-05 南京航空航天大学 一种抗遮挡的目标跟踪方法
CN108765470A (zh) * 2018-06-17 2018-11-06 天津理工大学 一种针对目标遮挡改进的kcf跟踪算法
CN109886994B (zh) * 2019-01-11 2021-07-20 上海交通大学 视频跟踪中自适应遮挡检测系统及方法
CN111242977B (zh) * 2020-01-09 2023-04-25 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564034A (zh) * 2017-07-27 2018-01-09 华南理工大学 一种监控视频中多目标的行人检测与跟踪方法
WO2019041519A1 (zh) * 2017-08-29 2019-03-07 平安科技（深圳）有限公司 目标跟踪装置、方法及计算机可读存储介质
CN109003290A (zh) * 2017-12-11 2018-12-14 罗普特（厦门）科技集团有限公司 一种监控系统的视频跟踪方法
CN110136171A (zh) * 2019-05-20 2019-08-16 哈尔滨工程大学 一种目标跟踪过程中判断遮挡的方法

Also Published As

Publication number Publication date
US20230036905A1 (en) 2023-02-02
EP4148669A2 (en) 2023-03-15
WO2021139787A2 (zh) 2021-07-15
CN111242977A (zh) 2020-06-05
WO2021139787A3 (zh) 2023-03-02

Similar Documents

Publication Publication Date Title
CN111242977B (zh) 全景视频的目标跟踪方法、可读存储介质及计算机设备
CN109035299B (zh) 目标跟踪方法、装置、计算机设备及存储介质
CN109635657B (zh) 目标跟踪方法、装置、设备及存储介质
CN109446942B (zh) 目标跟踪方法、装置和系统
CN109271870B (zh) 行人重识别方法、装置、计算机设备及存储介质
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110956171A (zh) 铭牌自动识别方法、装置、计算机设备和存储介质
US9922423B2 (en) Image angle variation detection device, image angle variation detection method and image angle variation detection program
WO2021174789A1 (zh) 基于特征提取的图像识别方法及图像识别装置
US9342759B1 (en) Object recognition consistency improvement using a pseudo-tracklet approach
US9105101B2 (en) Image tracking device and image tracking method thereof
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN110428442B (zh) 目标确定方法、目标确定系统和监控安防系统
JP2021518950A (ja) ビデオ異常検出のためのシステム及び方法
WO2022205843A1 (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
WO2020024394A1 (zh) 背景剔除方法、装置、计算机设备及存储介质
CN112036362A (zh) 图像处理方法、装置、计算机设备和可读存储介质
CN111429477A (zh) 目标追踪方法及装置、存储介质、计算机设备
US20190318196A1 (en) Guided sparse feature matching via coarsely defined dense matches
CN111105436B (zh) 目标跟踪方法、计算机设备及存储介质
CN112836682B (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN114387296A (zh) 目标轨迹追踪方法、装置、计算机设备及存储介质
Shuai et al. Salient region detection via texture-suppressed background contrast
US11238309B2 (en) Selecting keypoints in images using descriptor scores
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant