CN114529587A - 一种视频目标跟踪方法、装置、电子设备及存储介质 - Google Patents

一种视频目标跟踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114529587A
CN114529587A CN202210422503.2A CN202210422503A CN114529587A CN 114529587 A CN114529587 A CN 114529587A CN 202210422503 A CN202210422503 A CN 202210422503A CN 114529587 A CN114529587 A CN 114529587A
Authority
CN
China
Prior art keywords
tracking
target
information
video
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210422503.2A
Other languages
English (en)
Other versions
CN114529587B (zh
Inventor
黄泽鑫
梁江荣
伍思樾
郭志飞
任均宇
吴春波
安昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oupu Mandi Technology Co ltd
Original Assignee
Guangdong Optomedic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Optomedic Technology Co Ltd filed Critical Guangdong Optomedic Technology Co Ltd
Priority to CN202210422503.2A priority Critical patent/CN114529587B/zh
Publication of CN114529587A publication Critical patent/CN114529587A/zh
Application granted granted Critical
Publication of CN114529587B publication Critical patent/CN114529587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及视频跟踪技术领域，具体公开了一种视频目标跟踪方法、装置、电子设备及存储介质，其中，方法包括以下步骤：获取视频信息；根据视频信息设定初始跟踪目标信息；基于具有尺度变化追踪特性及利用L‑K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息；根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪；该方法能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。

Description

一种视频目标跟踪方法、装置、电子设备及存储介质
技术领域
本申请涉及视频跟踪技术领域，具体而言，涉及一种视频目标跟踪方法、装置、电子设备及存储介质。
背景技术
视频目标跟踪技术，就是在视频的连续帧中定位目标的技术。
视频目标跟踪广泛应用在各个领域中，如智能视频监控，视觉导航、医学诊断、虚拟现实等。
现有技术中，视频目标跟踪一般采用Boosting、MIL、KCF、TLD、Median Flow、GOTURN、MOSSE和CSRT中的一种算法进行跟踪；这些算法功能、原理、效果、速度不一，跟踪运算速度快的跟踪算法不能获取视频中目标尺寸变化特征（即尺度特征），能获取视频中目标尺寸变化特征的跟踪算法的运算速度快较低。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请的目的在于提供一种视频目标跟踪方法、装置、电子设备及存储介质，以在保证目标跟踪运算效率的同时获知目标尺度变化情况。
第一方面，本申请提供了一种视频目标跟踪方法，用于跟踪视频中的目标，所述方法包括以下步骤：
获取视频信息；
根据所述视频信息设定初始跟踪目标信息；
基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；
基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；
根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。
本申请的视频目标跟踪方法，利用具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法并仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
所述的视频目标跟踪方法，其中，所述基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息的步骤包括：
根据所述初始跟踪目标信息获取目标位置信息；
利用所述具有滤波特性的追踪算法根据所述目标位置信息分析所述视频信息获取所述位置变化信息。
所述的视频目标跟踪方法，其中，所述基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息的步骤包括：
根据所述初始跟踪目标信息获取目标尺度信息；
利用所述具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法根据所述目标尺度信息在不进行目标位置追踪的情况下分析所述视频信息获取所述尺度变化信息。
在该示例的视频目标跟踪方法中，为了配合具有滤波特性的追踪算法的运行效率进行使用并在目标跟踪过程中获取目标的尺度变化情况，仅调用具有滤波特性的追踪算法的比例变化计算功能分析获取视频信息的尺度变化信息，从而使得具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法的运行效率能匹配具有滤波特性的追踪算法进行使用，在确保目标跟踪效率高的情况下实现尺度变化信息的分析获取，即实现了目标尺度变化的追踪。
所述的视频目标跟踪方法，其中，所述根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪的步骤包括：
跟据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以在所述视频信息中的所有帧或指定的连续帧中生成跟踪目标信息。
在该示例的视频目标跟踪方法中，生成的跟踪目标信息为本申请的视频目标跟踪方法的输出结果，其旨在视频信息中增加跟踪目标信息来标志目标的位置移动及尺度变化情况，即跟踪目标信息为目标在视频信息进行目标跟踪后的目标标记。
所述的视频目标跟踪方法，其中，所述根据所述视频信息设定初始跟踪目标信息的步骤包括：
在所述视频信息中任一帧或任意多个连续帧中根据需要跟踪的所述目标设定所述初始跟踪目标信息。
所述的视频目标跟踪方法，其中，所述具有尺度变化追踪特性的跟踪算法为TLD算法或Median Flow算法。
所述的视频目标跟踪方法，其中，所述具有滤波特性的追踪算法为KCF算法或CSRT算法。
第二方面，本申请还提供了一种视频目标跟踪装置，用于跟踪视频中的目标，所述装置包括：
获取模块，用于获取视频信息；
设定模块，用于根据所述视频信息设定初始跟踪目标信息；
第一追踪模块，用于基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；
第二追踪模块，用于基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；
输出模块，用于根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。
本申请的一种视频目标跟踪装置，利用具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法并仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请提供了一种视频目标跟踪方法、装置、电子设备及存储介质，其中，视频目标跟踪方法，在设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
附图说明
图1为本申请实施例提供的视频目标跟踪方法的流程图。
图2为本申请实施例提供的更优选的视频目标跟踪方法的流程图。
图3为一视频信息中两图像帧的目标跟踪示意图。
图4为另一视频信息中两图像帧的目标跟踪示意图。
图5为本申请实施例提供的视频目标跟踪装置的结构示意图。
图6为本申请实施例提供的电子设备的结构示意图。
附图标记：201、获取模块；202、设定模块；203、第一追踪模块；204、第二追踪模块；205、输出模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
目标跟踪可以基于视频前一帧检测的位置、运动方向和位移速度来预测下一帧的位置，并围绕预测位置进行小范围搜索以准确定位物体。
在手术内窥镜使用场景下，随着器官组织的颤动和内窥镜的移动，可使用目标跟踪技术对体内感兴趣目标进行实时的跟踪定位。
但随着内窥镜在体内的深度位置不同，跟踪目标在画面中的尺寸会发生改变（即尺度发生改变），现有技术中，跟踪运算速度快的跟踪算法不能获取视频中目标尺寸变化特征（即尺度特征），如KCF算法，能获取视频中目标尺寸变化特征的跟踪算法的运算速度快较低，如Median Flow算法。
第一方面，请参照图1-图2，图1-图2是本申请一些实施例中的一种视频目标跟踪方法，用于跟踪视频中的目标，方法包括以下步骤：
S1、获取视频信息；
具体地，视频信息为连续的视频流，可以是移动拍摄的视频流，还可以是定点拍摄且视频内具有运动物体的视频流；本申请实施例的视频目标跟踪方法在获取的是移动拍摄的视频流时，主要应用于视觉导航、医学诊断等应用场景中进行目标跟踪，在获取的是定点拍摄且视频具有运动物体的视频流时，主要应用于视频监控、虚拟现实等应用场景中进行目标跟踪；本申请实施例的视频目标跟踪方法优选为应用在移动拍摄的视频流的目标跟踪中，尤其适用于医学诊断领域使用，如对内窥镜获取的视频进行目标跟踪。
更具体地，连续的视频流中各帧图像之间表征了运动物体的关于时间方向的位置变化关系，故能用于目标跟踪。
更具体地，本申请实施例的视频目标跟踪方法优选为采用基于OpenCV软件库配置的追踪算法对视频信息进行分析以实现目标跟踪。
S2、根据视频信息设定初始跟踪目标信息；
具体地，初始跟踪目标信息为视频信息中需要跟踪的目标，可以是通过人机交互的方式进行设定，还可以是基于学习模型根据预设需求在视频信息中搜索设定；在本申请实施例中，初始跟踪目标信息优选为通过人机交互的方式进行设定，使得本申请实施例的视频目标跟踪方法能根据用户的使用需求设定对应的初始跟踪目标信息以进行目标跟踪，适用于不同医疗诊断场合，尤其是在对内窥镜获取的视频进行目标跟踪时，能根据医护人员需求追踪对应的器官或组织或其他体内物。
更具体地，初始跟踪目标信息为在视频信息中一帧或多帧中设定的目标。
更具体地，初始跟踪目标信息可以是包括目标位置信息和目标规格信息，即包含表征目标位置的图像坐标和表征目标大小的尺寸，还可以是包括边界框架信息，即利用边界框架限定需要跟踪的区域所包含的图像数据以进行对应图像数据的跟踪；在本申请实施例中，优选为采用后者方式设计初始跟踪目标信息，利用边界框架限定需要跟踪的目标能简化目标输入、追踪过程和目标输出，从而提高整个目标追踪的运算效率。
更具体地，边界框架为圆形框、凸多边形框或不规则框等，可以根据使用需求进行设定，其中，利用不规则框能准确地标定目标的大小、位置，使得跟踪过程具有更为精确的图像数据作为输入数据供跟踪算法进行精确地运算跟踪，但存在输出复杂的问题；利用圆形框、凸多边形框能快速便捷地确定跟踪目标，能有效简化跟踪算法的输入、输出；在本申请实施例中，优选为采用矩形边框确定初始跟踪目标信息。
S3、基于具有滤波特性的追踪算法根据初始跟踪目标信息获取视频信息中目标的位置变化信息；
具体地，具有滤波特性的追踪算法是基于当前帧的图像信息和之前帧的图像信息训练出一个相关滤波器，然后与在后帧的图像信息进行相关性计算，得到的置信图就是预测的跟踪结果。
更具体地，在本申请实施例中，设定初始跟踪目标信息应当理解为具有滤波特性的追踪算法根据初始跟踪目标信息初步部署了相关滤波器，能根据滤波特性进行跟踪结果预测以获取视频信息中目标的位置变化信息。
更具体地，位置变化信息为跟踪目标的基准点位置变换的轨迹信息，即初始跟踪目标信息的基准点在视频信息的连续帧中的位置变化轨迹。
更具体地，由于初始跟踪目标信息优选为矩形边框，因此，位置变化信息优选为矩形边框的基准点的位置变化轨迹，可以是矩形边框的一边角点或对角线交点的位置变化轨迹。
更具体地，具有滤波特性的追踪算法与采用其他原理进行跟踪的跟踪算法相比，具有运算高效的特点。
S4、基于具有尺度变化追踪特性及利用L-K(Lucas-Kanade）光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息；
具体地，具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法能基于视频流中不同帧之间的具有光学特性的像素变化关系进行视频目标跟踪，并能根据前后帧具有光学特性的像素距离的前后变换关系获取前后帧图像之间的尺度比例关系，即获取了尺度变化信息，从而实现尺度变化追踪，能确认跟踪目标在视频信息中不同帧上的尺度。
更具体地，在本申请实施例中，具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法仅用于利用L-K光流法获取尺度变化信息，并不需要进行目标跟踪，即本申请实施例旨在调用具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法的尺度计算功能来获取尺度变化信息，在不完全执行该跟踪算法的所有功能的情况下能有效减少该跟踪算法的运行时间，从而提高本申请实施例的视频目标跟踪方法的运行效率。
更具体地，本申请实施例的方法通过屏蔽尺度比例跟踪以外的其余功能来使用具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法。
S5、根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪。
具体地，利用位置变化信息能对视频信息中的跟踪目标进行基准点的位置跟踪，利用尺度变化信息能分析出视频信息中的跟踪目标的大小相对于初始跟踪目标信息的大小的变化情况，从而实现视频信息中目标的精确定位跟踪。
更具体地，由于本申请实施例的视频目标跟踪方法中的初始跟踪目标信息优选为采用边界框架设定，因此，步骤S5应当理解为根据位置变化信息及初始跟踪目标信息确定边界框架在视频信息中不同帧中的位置，并根据尺度变化信息确定边界框架在视频信息中不同帧中的比例大小，以在视频信息的不同帧中生成合适大小、位置的边界框架，以利用该边界框架完成目标跟踪。
本申请实施例的视频目标跟踪方法，在设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
具体地，步骤S3和S4均为根据步骤S2确定的初始跟踪目标信息对步骤S1获取的视频信息进行跟踪分析以分别获取目标的位置变化信息和尺度变化信息，因此，在本申请实施例实施过程中，步骤S3和S4应当理解为没有必然的先后执行顺序，即步骤S3可以执行在步骤S4之后，也可以执行在步骤S4之前，还可以是与步骤S4同时执行，其中，如图2所示，步骤S3优选为与步骤S4同时启动执行，以提高本申请实施例的方法的跟踪计算速度。
在一些优选的实施方式中，基于具有滤波特性的追踪算法根据初始跟踪目标信息获取视频信息中目标的位置变化信息的步骤包括：
S31、根据初始跟踪目标信息获取目标位置信息；
具体地，目标位置信息为用于标记初始跟踪目标信息位置的标志信息，可以是初始跟踪目标信息中的一个基准点的位置，还可以是拟合初始跟踪目标信息中所有像素数据生成的基准点的位置。
更具体地，根据前述内容可知，在初始跟踪目标信息优选为矩形边框时，目标位置信息为该矩形边框的基准点的位置，可以是矩形边框的一边角点或对角线交点的位置，在本申请实施例中还可以是基于具有滤波特性的追踪算法分析滤波获取的滤波数据的中心。
更具体地，目标位置信息能标志目标在视频信息的设定帧（设定初始跟踪目标信息的图像帧）中的位置，因此，基于该目标位置信息分析目标在视频信息中其余图像帧中的位置变化情况便能获取目标在视频信息中的位置变化情况以实现目标跟踪。
S32、利用具有滤波特性的追踪算法根据目标位置信息分析视频信息获取位置变化信息。
具体地，具有滤波特性的追踪算法能根据目标位置信息逐帧分析出在后帧中目标的位置，即位置变化信息，其中，在后帧中的目标的位置为基于该追踪算法根据若干邻近的在前帧的目标的位置或所有在前帧的目标的位置进行预测及识别来确定的，即具有滤波特性的追踪算法为基于对视频信息进行滤波处理生成的滤波图像训练一个目标预测器，利用该目标预测器预测并识别出视频信息中目标的位置。
更具体地，在后帧中的目标的位置为基于该追踪算法根据所有在前帧的目标的位置进行预测及识别来确定的，使得该追踪算法的目标预测器在目标跟踪过程中逐步训练更新，提高预测及识别精确度，使得目标跟踪更准确并能逐步提高跟踪效率。
在一些优选的实施方式中，具有滤波特性的追踪算法为KCF算法或CSRT算法。
具体地，KCF算法全称为Kernel Correlation Filter 核相关滤波算法，是一种基于滤波器和跟踪块进行相乘获取相关性，并根据相贯线分析获取目标位置的跟踪算法；CSRT算法为具有通道和空间可靠性的判别相关滤波器算法，能对非矩形区域的目标进行跟踪。
更具体地，CSRT算法的跟踪精度略高于KCF算法的跟踪精度，但运算速度不如KCF算法，且由于本申请实施例的视频目标跟踪方法主要应用于矩形边框的目标跟踪，KCF算法已具有足够高的跟踪精度，因此，本申请实施例优选为采用KCF算法来执行步骤S3，以在确保具有足够的跟踪精度的前提下进一步提高本申请实施例的视频目标跟踪方法的跟踪运算效率。
更具体地，采用KCF算法来执行步骤S3时，KCF算法通过滤波分析矩形边框内的滤波核来跟踪目标的位置。
在一些优选的实施方式中，基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息的步骤包括：
S41、根据初始跟踪目标信息获取目标尺度信息；
具体地，目标尺度信息为用于标记初始跟踪目标信息的大小参数信息，可以是一个长度参数，也可以是一个比例参数，还可以是一个面积参数，用于反映目标在设定帧中的大小。
更具体地，在初始跟踪目标信息优选为矩形边框时，目标尺度信息用于表征该矩形边框的大小，为矩形边框的长度参数、宽度参数、对角线长度参数中的一个或多个，在本申请实施例中，优选为长度参数和宽度参数。
S42、利用具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法根据目标尺度信息分析视频信息获取尺度变化信息。
具体地，具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法能根据初始跟踪目标位置分析出在后帧中目标的位置及比例变化，其中，比例变化一般是基于多个特征点的追踪并根据特征点的距离变换关系进行确定的；这类算法的运行精度一般比具有滤波特性的追踪算法更高，但运行速度较慢；在本申请实施例中，为了配合具有滤波特性的追踪算法的运行效率进行使用并在目标跟踪过程中获取目标的尺度变化情况，仅调用具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法的比例变化计算功能分析获取视频信息的尺度变化信息，从而使得具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法的运行效率能匹配具有滤波特性的追踪算法进行使用，在确保目标跟踪效率高的情况下实现尺度变化信息的分析获取，即实现了目标尺度变化的追踪。
更具体地，在初始跟踪目标信息优选为矩形边框时，尺度变化信息为可以是矩形边框的变化比例，还可以是矩形边框的变化后的长度参数及宽度具体参数。
更具体地，在目标跟踪过程中，目标在视频信息中会产生放大或缩小的情况，对应的尺度变化信息也用于放大或缩小矩形边框，如图3所示，右侧图像帧中的目标显然比左边图像帧中的目标大，步骤S42分析获取到两帧之间的尺度变化信息，即获取了对应的缩放比例，步骤S5根据步骤S32位置变化信息确定的目标的位置并根据步骤S42获取的尺度变化信息对矩形边框放大，右侧图像帧放大后的矩形边框仍能有效、准确地将左侧图像帧的矩形边框标记范围内的组织图像包含在内，完成两帧之间的目标跟踪；反之，如图4所示，在目标在视频信息中缩小时，步骤S5则根据步骤S32位置变化信息确定的目标的位置并根据步骤S42获取的尺度变化信息对矩形边框缩小。
在一些优选的实施方式中，具有尺度变化追踪特性的跟踪算法为TLD算法或Median Flow算法。
其中，TLD（Tracking-Learning-Detection）算法是一种将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡、消失等问题，并通过在线学习机制不断更新检测模块的目标模型及相关系数的追踪算法，该算法能根据L-K光流计算对象的尺度变化；Median Flow算法则是一种基于L-K光流跟踪算法，并使用FB（正向/反向评估点追踪质量的一种方法）、NCC交叉验证进行反馈以进行目标跟踪的追踪算法。
在一些优选的实施方式中，具有尺度变化追踪特性的跟踪算法优选为采用MedianFlow算法，该追踪算法相比其余两种追踪算法具有精度及稳定性更高的特点，能更准确地获取尺度变化信息；另外，Median Flow算法为基于光流法跟踪的，故其能根据基于稀疏光流快速计算不同帧之间的特征点之间的坐标变化情况以获取不同帧之间的比例变化，即能基于前后帧的一对点或多对点的距离变化获取距离变化比例；本申请实施例的视频目标跟踪方法，旨在利用Median Flow算法中根据前后帧的一对点或多对点的距离变化获取距离变化比例的手段换算尺度变化信息，而不进行目标跟踪，然后综合该尺度变化信息和位置变化信息实现目标的快速跟踪。
在一些优选的实施方式中，根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪的步骤包括：
S51、根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以在视频信息中的所有帧或指定的连续帧中生成跟踪目标信息。
具体地，生成的跟踪目标信息为本申请实施例的视频目标跟踪方法的输出结果，其旨在视频信息中增加跟踪目标信息来标志目标的位置移动及尺度变化情况，即跟踪目标信息为目标在视频信息进行目标跟踪后的目标标记，因此步骤S51可以理解为：根据位置变化信息及尺度变化信息在视频信息中的所有帧或指定的连续帧中，输出带有跟踪目标信息的视频流。
更具体地，跟踪目标信息为与初始跟踪目标信息匹配，即初始跟踪目标信息采用矩形边框进行标记时，跟踪目标信息采用与初始跟踪目标信息匹配的矩形边框进行标记。
更具体地，在跟踪目标信息为矩形边框时，步骤S51为根据位置变化信息及尺度变化信息在视频信息中所有帧或指定的连续帧中添加由位置变化信息主导位置、由尺度变化信息主导大小的矩形边框，从而实现目标的跟踪标记。
在一些优选的实施方式中，根据视频信息设定初始跟踪目标信息的步骤包括：
S21、在视频信息中任一帧或任意多个连续帧中根据需要跟踪的目标设定初始跟踪目标信息。
具体地，在完整的视频信息中，需要跟踪的目标未必能存在于整个视频的所有帧中，故本申请实施例的视频目标跟踪方法能根据使用需求在视频信息中需要进行目标跟踪的图像帧中进行初始跟踪目标信息的设定。
实施例1
为更清楚地产生本申请实施例的视频目标跟踪方法的实施过程，下面以KCF算法结合Median Flow算法来举例说明整个目标跟踪过程，该跟踪过程包括以下步骤：
A1、获取一段视频；
A2、在视频中确定需要跟踪的目标的出现帧；
A3、在出现帧中，或在出现帧及出现帧的后几帧中，采用矩形边框标记该目标，标记过程应满足：尽可能将目标标记在矩形边框内，尽可能缩小矩形边框尺寸；
A4、记录该矩形边框左上角的角点坐标、长度及宽度；
A5、启动KCF算法模块和Median Flow算法模块逐帧地分析该视频以对出现帧的在后帧中的目标进行跟踪，其中，KCF算法模块用于分析目标跟踪过程中，矩形边框左上角的角点的坐标变化情况，Median Flow算法模块用于分析目标跟踪过程中矩形边框的长度及宽度变化情况，从而在视频中逐帧地添加用于标记目标位置、大小变化情况的矩形边框。
为更详细地解释步骤A5的实施过程，以一帧的分析为例，根据利用KCF算法模块和Median Flow算法模块分析获取的结果在视频中逐帧地添加用于标记目标位置、大小变化情况的矩形边框的处理过程如下：
根据KCF算法模块跟踪分析在前帧获取在后一帧的矩形边框的位置参数(x1,y1,w1,h1)，其中，x1、y1分别为KCF算法获取的后一帧的矩形边框的左上角交点的横坐标和纵坐标，w1、h1分别为KCF算法获取的后一帧的矩形边框的长度和宽度；根据Median Flow算法模块跟踪分析在前帧获取在后一帧的矩形边框的尺寸参数（w2，h2），其中，w2、h2分别为MedianFlow算法获取的后一帧的矩形边框的长度和宽度，故有后一帧的矩形边框的位置参数为(x3, y3, w2, h2)，其中，x3=x1+(w1–w2)/2，y3=y1+(h2–h1)/2。
根据上述矩形边框的运算流程便能获取视频中各个时刻的矩形边框以对目标进行跟踪标记。
另外，Median Flow算法模块分析矩形边框的长度及宽度变化情况的过程如下：
B1、对矩形框内的点进行追踪，给定一个图像序列S，并定义当前时刻为t，设S=(I[t],I[t+1],…,I[t+k])，I为图像帧，t+k为当前时刻t经过k时间间隔后的时刻；
B2、点在t时刻的位置为x[t]，使用LK光流跟踪算法（Lucas-Kanade），向前跟踪k步，得到一个向前轨迹T[k,f]=( x[t] , x[t+1] , … , x[t+k] )，其中f代表forward，k是向前k个序列；
B3、建立一个验证轨迹，点x[t+k]使用LK光流跟踪算法向后跟踪到x[t]，产生一个验证轨迹 T[k,b] = (x`[t] , x`[t+1] , … , x`[t+k] )，在这里x`[t+k]=x[t+k]，x`[t]=x[t]，其中b代表backward，k是向后k个序列；
B4、对向前轨迹和验证轨迹进行FB验证（ForwardBackward error，正向/反向验证）和NCC验证（Normalized Cross Correlation，归一化互相关），过滤掉矩形边框中质量最差的点的50%，对于剩下的点通过中值计算出t+1时刻物体边界盒的位移估计，其中，物体边界盒为矩形边框，故能获取变化后的矩形边框的长度和宽度。
KCF算法模块进行目标跟踪属于现有技术手段，在此不再赘述；在训练KCF算法模块目标检测器的过程中，可通过将一帧内的矩形边框内的图像进行循环移位来获取多个训练样本，使得起始时在一帧中设定矩形边框便具有足够多的训练样本来训练KCF算法模块。
第二方面，请参照图5，图5是本申请一些实施例中提供的一种视频目标跟踪装置，用于跟踪视频中的目标，装置包括：
获取模块201，用于获取视频信息；
设定模块202，用于根据视频信息设定初始跟踪目标信息；
第一追踪模块203，用于基于具有滤波特性的追踪算法根据初始跟踪目标信息获取视频信息中目标的位置变化信息；
第二追踪模块204，用于基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息；
输出模块205，用于根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪。
本申请实施例的一种视频目标跟踪装置，在利用设定模块202设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
在一些优选的实施方式中，本申请实施例的视频目标跟踪装置用于执行上述第一方面提供的视频目标跟踪方法。
第三方面，请参照图6，图6为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本申请实施例提供了一种视频目标跟踪方法、装置、电子设备及存储介质，其中，视频目标跟踪方法，在设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频目标跟踪方法，用于跟踪视频中的目标，其特征在于，所述方法包括以下步骤：
获取视频信息；
根据所述视频信息设定初始跟踪目标信息；
基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；
基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；
根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。
2.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息的步骤包括：
根据所述初始跟踪目标信息获取目标位置信息；
利用所述具有滤波特性的追踪算法根据所述目标位置信息分析所述视频信息获取所述位置变化信息。
3.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息的步骤包括：
根据所述初始跟踪目标信息获取目标尺度信息；
利用所述具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法根据所述目标尺度信息在不进行目标位置追踪的情况下分析所述视频信息获取所述尺度变化信息。
4.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪的步骤包括：
跟据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以在所述视频信息中的所有帧或指定的连续帧中生成跟踪目标信息。
5.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述根据所述视频信息设定初始跟踪目标信息的步骤包括：
在所述视频信息中任一帧或任意多个连续帧中根据需要跟踪的所述目标设定所述初始跟踪目标信息。
6.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述具有尺度变化追踪特性的跟踪算法为TLD算法或Median Flow算法。
7.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述具有滤波特性的追踪算法为KCF算法或CSRT算法。
8.一种视频目标跟踪装置，用于跟踪视频中的目标，其特征在于，所述装置包括：
获取模块，用于获取视频信息；
设定模块，用于根据所述视频信息设定初始跟踪目标信息；
第一追踪模块，用于基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；
第二追踪模块，用于基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；
输出模块，用于根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。
CN202210422503.2A 2022-04-21 2022-04-21 一种视频目标跟踪方法、装置、电子设备及存储介质 Active CN114529587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210422503.2A CN114529587B (zh) 2022-04-21 2022-04-21 一种视频目标跟踪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210422503.2A CN114529587B (zh) 2022-04-21 2022-04-21 一种视频目标跟踪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114529587A true CN114529587A (zh) 2022-05-24
CN114529587B CN114529587B (zh) 2022-09-13

Family

ID=81627801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210422503.2A Active CN114529587B (zh) 2022-04-21 2022-04-21 一种视频目标跟踪方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114529587B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836684A (zh) * 2021-03-09 2021-05-25 上海高德威智能交通系统有限公司 基于辅助驾驶的目标尺度变化率计算方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364305A (zh) * 2018-02-07 2018-08-03 福州大学 基于改进型dsst的车载摄像视频目标跟踪方法
CN111161309A (zh) * 2019-11-19 2020-05-15 北航航空航天产业研究院丹阳有限公司 一种车载视频动态目标的搜索与定位方法
CN111696133A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种实时目标跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364305A (zh) * 2018-02-07 2018-08-03 福州大学 基于改进型dsst的车载摄像视频目标跟踪方法
CN111161309A (zh) * 2019-11-19 2020-05-15 北航航空航天产业研究院丹阳有限公司 一种车载视频动态目标的搜索与定位方法
CN111696133A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种实时目标跟踪方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
易诗等: "基于改进TLD的自动目标跟踪方法", 《重庆邮电大学学报(自然科学版)》 *
李麒骥等: "尺度自适应的核相关滤波跟踪器", 《计算机应用》 *
王姣尧等: "采用核相关滤波的快速TLD视觉目标跟踪", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836684A (zh) * 2021-03-09 2021-05-25 上海高德威智能交通系统有限公司 基于辅助驾驶的目标尺度变化率计算方法、装置及设备
CN112836684B (zh) * 2021-03-09 2023-03-10 上海高德威智能交通系统有限公司 基于辅助驾驶的目标尺度变化率计算方法、装置及设备

Also Published As

Publication number Publication date
CN114529587B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN112669349B (zh) 一种客流统计方法、电子设备及存储介质
JP7147078B2 (ja) ビデオフレームの情報ラベリング方法、装置、機器及びコンピュータプログラム
CN111627045B (zh) 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
Wojek et al. Monocular 3d scene understanding with explicit occlusion reasoning
US8320618B2 (en) Object tracker and object tracking method
US8885876B2 (en) Visual tracking system and method thereof
JP5848341B2 (ja) 単眼３次元ポーズ推定および検出による追跡
US10825187B2 (en) Method and system for object tracking
JPH1186004A (ja) 移動体追跡装置
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
KR101051389B1 (ko) 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
Elhayek et al. Fully automatic multi-person human motion capture for vr applications
Mikolajczyk et al. Face detection in a video sequence-a temporal approach
CN106127766B (zh) 基于空间耦合关系和历史模型的目标跟踪方法
CN114529587B (zh) 一种视频目标跟踪方法、装置、电子设备及存储介质
Fortun et al. Fast piecewise-affine motion estimation without segmentation
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN111415370A (zh) 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
Gu et al. Linear time offline tracking and lower envelope algorithms
KR20220064857A (ko) 세그먼테이션 방법 및 세그먼테이션 장치
Nguyen et al. 3d pedestrian tracking using local structure constraints
CN115100565A (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN114494970A (zh) 一种多目标跟踪方法
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration)

Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd.

Address before: 528251 room 503, floor 5, building a, Jingu Zhichuang industrial community, No. 2, Yong'an North Road, Dawei community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province

Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address