CN113497889A - 一种运动拍摄条件下的物体跟踪方法、装置及存储介质 - Google Patents
一种运动拍摄条件下的物体跟踪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113497889A CN113497889A CN202010268334.2A CN202010268334A CN113497889A CN 113497889 A CN113497889 A CN 113497889A CN 202010268334 A CN202010268334 A CN 202010268334A CN 113497889 A CN113497889 A CN 113497889A
- Authority
- CN
- China
- Prior art keywords
- video frame
- optical flow
- current video
- tracking target
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000003287 optical effect Effects 0.000 claims abstract description 223
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种运动拍摄条件下的物体跟踪方法、装置及存储介质，该方法包括：获取运动状态下的摄像头拍摄的视频帧；利用相关滤波器确定跟踪目标在当前视频帧中的预估位置；确定当前视频帧是关键帧时，选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；确定当前视频帧不是关键帧时，根据最近一次计算的光流信息指示的光流速度对所述预估位置进行向最近一次计算的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种运动拍摄条件下的物体跟踪方法、装置及存储介质。
背景技术
目标跟踪是在连续图像序列中不断对初始帧中所确定的目标进行状态预测的过程。现有目标跟踪算法主要分为两类：基于对于目标本身进行描述和刻画的生成式方法和旨在将目标和背景分离开的判别式方法。
现有实现中，无论是生成式方法还是判别式方法实现的目标跟踪算法，均只关注视频本身，未考虑摄像头在运动拍摄条件下拍摄视频图像时对目标跟踪效果的影响。实际上，摄像头在运动拍摄条件下拍摄视频相比于静止拍摄条件下拍摄视频，被跟踪的目标的位置会有更大的变化，现有跟踪方法没有考虑运动拍摄条件下对目标跟踪的影响，容易导致跟踪目标丢失。
发明内容
有鉴于此，本发明的目的在于提供了一种运动拍摄条件下的物体跟踪方法、装置及存储介质，能够解决运动拍摄条件下的跟踪目标丢失问题。
为了达到上述目的，本发明提供了如下技术方案：
一种运动拍摄条件下的物体跟踪方法，包括：
获取运动状态下的摄像头拍摄的视频帧；
利用相关滤波器确定跟踪目标在当前视频帧中的预估位置；
确定当前视频帧是关键帧时，选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
确定当前视频帧不是关键帧时，根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
其中，所述摄像头拍摄的首个视频帧被指定为关键帧，且相邻关键帧之间的间隔帧数是第一预设值。
一种运动拍摄条件下的物体跟踪装置，包括：处理器、以及与所述处理器通过总线相连的非瞬时计算机可读存储介质；
所述非瞬时计算机可读存储介质，存储有可被所述处理器执行的一个或多个计算机程序；所述处理器执行所述一个或多个计算机程序时实现以下步骤：
获取运动状态下的摄像头拍摄的视频帧；
利用相关滤波器确定跟踪目标在当前视频帧中的预估位置；
确定当前视频帧是关键帧时，选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
确定当前视频帧不是关键帧时，根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
其中，所述摄像头拍摄的首个视频帧被指定为关键帧，且相邻关键帧之间的间隔帧数是第一预设值。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上述运动拍摄条件下的物体跟踪方法中的步骤。
由上面的技术方案可知，本发明中，将运动状态下的摄像头拍摄的视频帧分为关键帧和非关键帧，对于非关键帧，利用相关滤波器确定跟踪目标的预估位置，之后直接利用最近关键帧的代表区域的光流信息对预估位置进行调整，对于关键帧，利用相关滤波器确定跟踪目标的预估位置，之后还在关键中选取代表区域并计算代表区域的光流信息，根据关键帧的代表区域的光流信息对预估位置进行调整。可以看出，本发明中通过利用关键帧的代表区域的光流信息对跟踪目标的预估位置进行调整，可以减少因摄像头的运动对跟踪目标的位置预测带来的影响，因而能够解决运动拍摄条件下的跟踪目标丢失问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一运动拍摄条件下的物体跟踪方法流程图；
图2是本发明实施例二运动拍摄条件下的物体跟踪方法流程图；
图3是现有技术循环移位采样方法示意图；
图4是本发明实施例采样比例示意图；
图5是本发明实施例三运动拍摄条件下的物体跟踪方法流程图；
图6是本发明实施例当前视频帧的代表区域选择示意图；
图7是本发明实施例四运动拍摄条件下的物体跟踪方法流程图；
图8是本发明实施例对跟踪目标图像的特征点提取和光流计算结果示意图；
图9是本发明实施例运动拍摄条件下的物体跟踪装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在实际应用中，运动状态下的摄像头在拍摄视频时，摄像头的运动导致视频中的跟踪目标向与摄像头的运动方向相反的方向偏离，基于这一特点，本发明实施例中，通过对视频帧的代表区域进行光流计算(视频帧的光流方向与摄像头的运动方向相反)，根据代表区域的光流对跟踪目标的预估位置进行调整，可以纠正摄像头的运动对跟踪目标的位置预测的影响，因而能够解决运动拍摄条件下的跟踪目标丢失问题。
参见图1，图1是本发明实施例一运动拍摄条件下的物体跟踪方法流程图，如图1所示，该方法主要包括以下步骤：
步骤101、获取运动状态下的摄像头拍摄的视频帧。
步骤102、利用相关滤波器确定跟踪目标在当前视频帧中的预估位置。
本实施例中，摄像头拍摄的首个视频帧中跟踪目标的位置已经确定/指定，可以据此在首个视频帧中采集多个样本图像，并对采集的样本图像进行特征提取，利用提取的特征训练相关滤波器。之后将利用此相关滤波器确定摄像头后续拍摄的视频帧中跟踪目标的预估位置。
步骤103、确定当前视频帧是否是关键帧，是关键帧则执行步骤104，不是关键帧则执行步骤105。
本实施例中，将视频帧分为关键帧和非关键帧，其中，所述摄像头拍摄的首个视频帧被指定为关键帧，且相邻关键帧之间的间隔帧数是第一预设值。例如第一预设值为3时，则关键帧的序号依次是1、5、9、13、17……。
步骤104、选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
本实施例中，在当前视频帧是关键帧时，根据当前视频帧的代表区域的光流信息对跟踪目标的预估位置进行一次调整，以此纠正摄像头的运动/移动造成的对跟踪目标在当前视频帧中的实际位置和预估位置之间的偏差。
步骤105、根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
本实施例中，在当前视频帧不是关键帧时，不执行代表区域的选取和光流计算操作，而是直接利用当前视频帧之前的最近一个关键帧的代表区域的光流信息(即最近一次计算的光流信息)对跟踪目标在当前视频帧中的预估位置进行调整，可以减少光流计算次数，降低跟踪设备负载。
从图1所示实施例可以看出，本实施例中，在当前视频帧是关键帧时，通过在当前帧中选取代表区域，确定代表区域的光流信息，然后利用代表区域的光流信息对跟踪目标在当前视频帧中的预估位置进行调整，一方面可以纠正摄像头的运动对跟踪目标的位置预测的影响，解决运动拍摄条件下的跟踪目标丢失问题，另一方面，仅在当前视频帧是关键帧时，对当前视频帧的代表区域进行光流计算，而不是对每个视频帧都进行光流计算，也不是对整个关键帧进行光流计算，因此可以减少光流计算次数，降低跟踪设备负载。
参见图2，图2是本发明实施例二运动拍摄条件下的物体跟踪方法流程图，如图2所示，该方法主要包括以下步骤：
步骤201、获取运动状态下的摄像头拍摄的视频帧。
步骤202、利用相关滤波器确定跟踪目标在当前视频帧中的预估位置。
步骤203、确定当前视频帧是否是关键帧，是关键帧则执行步骤204，不是关键帧则执行步骤105。
步骤204、选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
在执行本步骤204之后，即确定跟踪目标在当前视频帧中的位置之后，转至步骤206执行。
步骤205、根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
在执行本步骤205之后，即确定跟踪目标在当前视频帧中的位置之后，继续执行步骤206。
以上步骤201至步骤205与图1所示步骤101至105的实现原理相同，不再赘述。
步骤206、根据跟踪目标在当前视频帧中的位置确定跟踪目标的光流信息；
步骤207、根据预设的光流方向与非光流方向的采样比例、以及跟踪目标的光流信息指示的光流方向在当前视频中采集样本图像；
现有实现中，在对视频帧采样时，一般采用循环移位的方法，如图3所示，循环移位方法将被跟踪目标周围的信息都考虑进去，然而在实际场景中，跟踪目标是有运动方向的，比如图3中骑自行车的人的运动方向只可能是自行车行进方向，而不可能是其它方向，但是循环移位方法并未考虑到这一点，从而使得采集到的样本中有大量对分类无用的信息，导致模型训练时产生过拟合问题。
本实施例中，通过预先设置光流方向与非光流方向的采样比例，在采样时按照此采样比例采集样本图像，并且通过将此采样比例的比值设置为一个较大的值，例如图4所示，光流方向和非光流方向的采样比例分别70％：30％，其比值7/3是一个大于1的值，此采样比例可以使得在跟踪目标的运动方向上采集到较多的样本图像，而在不是跟踪目标的运动方向上采集较少的样本图像，从而避免采集到过多对分类无用的样本图像而造成模型训练时产生过拟合问题。
步骤208、对采集的样本图像进行特征提取，基于提取的图像特征训练所述相关滤波器。
本实施例中，基于提取的图像特征训练所述相关滤波器之后，此相关滤波器可用于下一视频帧的处理。
从图2所示实施例可以看出，本实施例除了具有图1所示实施例的优点外，在确定跟踪目标在当前视频帧中的位置之后，还进一步对跟踪目标进行光流计算，并根据预设的光流方向与非光流方向的采样比例、以及跟踪目标的光流信息指示的光流方向在当前视频中采集样本图像，相对于现有循环移位采样方法，可以避免模型训练时产生过拟合问题。
参见图5，图5是本发明实施例三运动拍摄条件下的物体跟踪方法流程图，如图5所示，该方法主要包括以下步骤：
步骤501、获取运动状态下的摄像头拍摄的视频帧。
步骤502、利用相关滤波器确定跟踪目标在当前视频帧中的预估位置。
步骤503、确定当前视频帧是否是关键帧，是关键帧则执行步骤5041a至步骤5043，不是关键帧则执行步骤505。
步骤5041a、从当前视频帧中选取以当前视频帧中心为中心点、以预设长度R为边长的正方形区域。
步骤5041b、将正方形区域基于以当前视频帧中心为原点的四个象限划分为四个区域，对划分的每一区域进行梯度计算，并计算每一区域的梯度和。
步骤5041c、确定四个区域中梯度和最大的区域，如果该区域的梯度和大于预设梯度阈值，则将该区域作为当前视频帧的代表区域，否则，将当前视频帧基于以当前视频帧中心为原点的四个象限划分为四个区域，对划分的每一区域进行梯度计算，并计算每一区域的梯度和，将梯度和最大的区域作为当前视频帧的代表区域。
以上步骤5041a至步骤5041c是图1所示实施例中步骤104中“选取当前视频帧的代表区域”的一种具体实现方法。
以图6为例进行说明，图6是本发明实施例当前视频帧的代表区域选择示意图。在实际实现步骤中，可以对图6的原图中A、B、C、D四个区域进行梯度计算并求梯度和，假设区域D的梯度和最大，如果区域D的梯度和大于预设梯度阈值(thresh_grad)，则可以将区域D作为当前视频帧的代表区域，如果区域D的梯度和不大于预设梯度阈值(thresh_grad)，则可以继续对AA、BB、CC、DD四个区域进行梯度计算并求各区域的梯度和，假设区域DD的梯度和最大，则可以将区域DD作为当前视频帧的代表区域。
步骤5042a、从当前视频帧的前N个视频帧中选择当前视频帧的第一参考帧，确定第一参考帧中对应于所述代表区域的参考区域。
本实施例中，N为一预设正整数，例如关键帧之间的间隔的视频帧数是3的情况下，将N的值设置为4，使得第一参考帧只能在当前视频帧的前4个视频帧中选择(即在当前视频帧的前一关键帧到前一视频帧之间选择第一参考帧)。
本实施例中，从当前视频帧的前N个视频帧中选择当前视频帧的第一参考帧的方法具体可以为：将前N帧视频图像中与当前视频帧的间隔帧数是第二预设值的视频帧选择作为当前视频帧的第一参考帧。第二预设值为0时，第一参考帧即为当前视频帧的前一视频帧。
本实施例中，第一参考帧中对应于所述代表区域的参考区域，即第一参考帧中与所述代表区域在当前视频帧中的位置相同的区域。
步骤5042b、在所述参考区域中提取特征点，利用光流法对所述代表区域进行基于提取的特征点的光流计算，确定所述代表区域的光流信息。
本实施例中，利用光流法对所述代表区域进行基于提取的特征点的光流计算时，可以采用现有光流算法，例如Lucas-Kanade光流法、Farneback光流法、TV-L1光流法等，本发明不对使用的光流算法做限制。
以上步骤5042a至步骤5042b是图1所示实施例中步骤104中“确定所述代表区域的光流信息”的一种具体实现方法。
步骤5043、根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
本实施例中，将当前视频帧的代表区域的光流信息作为当前视频帧的光流信息使用。摄像头向某一方向运动时，当前视频帧中的物体相对于摄像头来说是向该方向的相反方向运动，即与当前视频帧的光流方向一致，因此，在对跟踪目标的预估位置调整时，是向当前视频帧的代表区域的光流信息指示的光流方向调整，调整幅度则由当前视频帧的代表区域的光流信息指示的光流速度决定。
本实施例中，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，具体包括：
S11、根据所述代表区域的光流信息指示的光流速度和当前视频帧与参考帧之间的时间间隔确定所述代表区域在所述代表区域的光流信息指示的光流方向上的位移；
S12、根据所述代表区域在所述代表区域的光流信息指示的光流方向上的位移，确定所述代表区域分别在x轴和y轴方向上的位移；
S13、根据代表区域分别在x轴和y轴方向上的位移调整所述预估位置的x轴坐标和y轴坐标。
以上步骤5041a至步骤5043是图1所示实施例中步骤104的具体细化。
步骤505、根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
以上步骤501-503、505的实现原理与图1所示步骤101-103、105的实现原理相同，不再赘述。
从图5所示实施例可以看出，本实施例除了具有图1所示实施例的优点外，还在通过以当前视频帧选取代表区域，通过计算代表区域的光流信息，利用代表区域的光流信息对跟踪目标在当前视频帧中的预估位置进行调整，由于代表区域比当前视频帧小很多，光流计算量耗时较少，可以保证目标跟踪的实时性。
参见图7，图7是本发明实施例四运动拍摄条件下的物体跟踪方法流程图，如图7所示，该方法主要包括以下步骤：
步骤701、获取运动状态下的摄像头拍摄的视频帧。
步骤702、利用相关滤波器确定跟踪目标在当前视频帧中的预估位置。
本实施例中，在利用相关滤波器确定跟踪目标在当前视频帧中的预估位置时，还可以进一步利用相关滤波器确定跟踪目标在当前视频帧中的预估尺寸。
步骤703、确定当前视频帧是否是关键帧，是关键帧则执行步骤704，不是关键帧则执行步骤705。
步骤704、选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
本实施例中，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置，即确定跟踪目标在当前视频帧中的位置之后，还可以进一步将跟踪目标在当前视频帧中的预估尺寸确定为跟踪目标在当前视频帧中的尺寸。
在执行本步骤704之后，即确定跟踪目标在当前视频帧中的位置之后，转至步骤7061执行。
步骤705、根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置。
本实施例中，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置，即确定跟踪目标在当前视频帧中的位置之后，还可以进一步将跟踪目标在当前视频帧中的预估尺寸确定为跟踪目标在当前视频帧中的尺寸。
在执行本步骤705之后，即确定跟踪目标在当前视频帧中的位置之后，继续执行步骤7061。
以上步骤701至步骤705与图2所示步骤201至205的实现原理相同，不再赘述。
步骤7061、根据跟踪目标在当前视频帧中的位置和尺寸确定当前视频帧中的跟踪目标图像。
本实施例中，跟踪目标在当前视频帧中的位置和尺寸决定了跟踪目标在当前视频帧中所占用的矩形区域，此矩形区域内的图像即为跟踪目标在当前视频帧中的跟踪目标图像。
步骤7062、从当前视频帧的前M个视频帧中选择当前视频帧的第二参考帧，根据跟踪目标在第二参考帧中的位置和尺寸确定第二参考帧中的跟踪目标图像；
本实施例中，M为一预设正整数，M值可以与图5所示实施例中的N值相同，例如取值4。
本实施例中，从当前视频帧的前M个视频帧中选择当前视频帧的第二参考帧的方法具体可以为：将前M帧视频图像中与当前视频帧的间隔帧数是第三预设值的视频帧选择作为当前视频帧的第二参考帧。这里，第三预设值和图5中所示实施例中的第二预设值可以相同也可以不同，两者相同时，当前视频帧的第一参考帧和第二参考帧相同。
步骤7063、在第二参考帧中的跟踪目标图像中提取特征点，利用光流法对当前视频帧中的跟踪目标图像进行基于提取的特征点的光流计算，确定跟踪目标图像的光流信息，将跟踪目标图像的光流信息作为跟踪目标的光流信息。
本实施例中，利用光流法对当前视频帧中的跟踪目标图像进行基于提取的特征点的光流计算时，可以采用现有光流算法，例如Lucas-Kanade光流法、Farneback光流法、TV-L1光流法等，本发明不对使用方法做限制。
本实施例中，对跟踪目标图像的特征点提取和光流计算结果可以如图8所示。
以上步骤7061至步骤7063是图2所示步骤206的具体细化，即根据跟踪目标在当前视频帧中的位置确定跟踪目标的光流信息的具体实现方法。
步骤707、根据预设的光流方向与非光流方向的采样比例、以及跟踪目标的光流信息指示的光流方向在当前视频中采集样本图像；
步骤708、对采集的样本图像进行特征提取，基于提取的图像特征训练所述相关滤波器。
现有实现中，对样本图像进行特征提取时，一般是使用深度神经网络进行深度特征提取，由于深度特征提取的计算量大，占用内存资源多，很难保证实时性。
为解决上述问题，本实施例中，可以利用预先训练的浅层神经网络模型对采集的样本图像进行特征提取；或者，还可以对采集的样本图像进行手工特征提取。无论是使用浅层神经网络模型对样本图像进行特征提取，还是对样本图像进行手工特征提取，均可以用较小的计算量和较少的内存资源占用实现，因此可以进一步保证目标跟踪的实时性。
从图7所示实施例可以看出，本实施例中，在确定跟踪目标在当前视频帧中的位置之后，还进一步对跟踪目标进行光流计算，并根据预设的光流方向与非光流方向的采样比例、以及跟踪目标的光流信息指示的光流方向在当前视频中采集样本图像，相对于现有循环移位采样方法，可以避免模型训练时产生过拟合问题。另外，本实施例中还通过使用浅层神经网络模型对样本图像进行特征提取或对样本图像进行手工特征提取，可以进一步保证目标跟踪的实时性。
以上对本发明实施例提供的运动拍摄条件下的物体跟踪方法进行了详细说明，本发明实施例还提供了一种运动拍摄条件下的物体跟踪装置，以下结合图9进行详细说明。
参见图9，图9是本发明实施例运动拍摄条件下的物体跟踪装置的结构示意图，如图9所示，该装置包括：处理器901，以及与所述处理器901通过总线相连的非瞬时计算机可读存储介质902；
所述非瞬时计算机可读存储介质902，存储有可被所述处理器901执行的一个或多个计算机程序；所述处理器901执行所述一个或多个计算机程序时实现以下步骤：
获取运动状态下的摄像头拍摄的视频帧；
利用相关滤波器确定跟踪目标在当前视频帧中的预估位置；
确定当前视频帧是关键帧时，选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
确定当前视频帧不是关键帧时，根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
其中，所述摄像头拍摄的首个视频帧被指定为关键帧，且相邻关键帧之间的间隔帧数是第一预设值。
图9所示装置中，
所述处理器901，确定跟踪目标在当前视频帧中的位置之后，进一步用于：
根据跟踪目标在当前视频帧中的位置确定跟踪目标的光流信息；
根据预设的光流方向与非光流方向的采样比例、以及跟踪目标的光流信息指示的光流方向在当前视频中采集样本图像；
对采集的样本图像进行特征提取，基于提取的图像特征训练所述相关滤波器。
图9所示装置中，
所述处理器901，选取当前视频帧的代表区域，包括：
从当前视频帧中选取以当前视频帧中心为中心点、以预设长度R为边长的正方形区域；
将正方形区域基于以当前视频帧中心为原点的四个象限划分为四个区域，对划分的每一区域进行梯度计算，并计算每一区域的梯度和；
确定四个区域中梯度和最大的区域，如果该区域的梯度和大于预设梯度阈值，则将该区域作为当前视频帧的代表区域，否则，将当前视频帧基于以图像当前视频帧中心为原点的四个象限划分为四个区域，对划分的每一区域进行梯度计算，并计算每一区域的梯度和，将梯度和最大的区域作为当前视频帧的代表区域。
图9所示装置中，
所述处理器901，确定所述代表区域的光流信息，包括：
从当前视频帧的前N个视频帧中选择当前视频帧的第一参考帧，确定第一参考帧中对应于所述代表区域的参考区域；其中，N为一预设正整数；
在所述参考区域中提取特征点，利用光流法对所述代表区域进行基于提取的特征点的光流计算，确定所述代表区域的光流信息。
图9所示装置中，
所述处理器901，从当前视频帧的前N个视频帧中选择当前视频帧的第一参考帧时，用于：
将前N帧视频图像中与当前视频帧的间隔帧数是第二预设值的视频帧选择作为当前视频帧的第一参考帧。
图9所示装置中，
所述处理器901，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，包括：
根据所述代表区域的光流信息指示的光流速度和当前视频帧与参考帧之间的时间间隔确定所述代表区域在所述代表区域的光流信息指示的光流方向上的位移；
根据所述代表区域在所述代表区域的光流信息指示的光流方向上的位移，确定所述代表区域分别在x轴和y轴方向上的位移；
根据代表区域分别在x轴和y轴方向上的位移调整所述预估位置的x轴坐标和y轴坐标。
图9所示装置中，
所述处理器901，利用相关滤波器确定跟踪目标在当前视频帧中的预估位置时，进一步利用相关滤波器确定跟踪目标在当前视频帧中的预估尺寸；
所述处理器901，确定跟踪目标在当前视频帧中的位置之后，进一步用于：将跟踪目标在当前视频帧中的预估尺寸确定为跟踪目标在当前视频帧中的尺寸；
所述处理器901，根据跟踪目标在当前视频帧中的位置确定跟踪目标的光流信息，包括：
根据跟踪目标在当前视频帧中的位置和尺寸确定当前视频帧中的跟踪目标图像；
从当前视频帧的前M个视频帧中选择当前视频帧的第二参考帧，根据跟踪目标在第二参考帧中的位置和尺寸确定第二参考帧中的跟踪目标图像；其中，M为一预设正整数；
在第二参考帧中的跟踪目标图像中提取特征点，利用光流法对当前视频帧中的跟踪目标图像进行基于提取的特征点的光流计算，确定跟踪目标图像的光流信息，将跟踪目标图像的光流信息作为跟踪目标的光流信息。
图9所示装置中，
所述处理器901，从当前视频帧的前M个视频帧中选择当前视频帧的第二参考帧时，用于：
将前M帧视频图像中与当前视频帧的间隔帧数是第三预设值的视频帧选择作为当前视频帧的第二参考帧。
图9所示装置中，
所述处理器901，对采集的样本图像进行特征提取，包括：
利用预先训练的浅层神经网络模型对采集的样本图像进行特征提取；
或者，对采集的样本图像进行手工特征提取。
本发明实施例还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行图1、图2、图5、或图7所示的运动拍摄条件下的物体跟踪方法中的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (11)
1.一种运动拍摄条件下的物体跟踪方法，其特征在于，该方法包括：
获取运动状态下的摄像头拍摄的视频帧；
利用相关滤波器确定跟踪目标在当前视频帧中的预估位置；
确定当前视频帧是关键帧时，选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
确定当前视频帧不是关键帧时，根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
其中，所述摄像头拍摄的首个视频帧被指定为关键帧，且相邻关键帧之间的间隔帧数是第一预设值。
2.根据权利要求1所述的方法，其特征在于，
确定跟踪目标在当前视频帧中的位置之后，进一步包括：
根据跟踪目标在当前视频帧中的位置确定跟踪目标的光流信息；
根据预设的光流方向与非光流方向的采样比例、以及跟踪目标的光流信息指示的光流方向在当前视频中采集样本图像；
对采集的样本图像进行特征提取，基于提取的图像特征训练所述相关滤波器。
3.根据权利要求1或2所述的方法，其特征在于，
选取当前视频帧的代表区域，包括：
从当前视频帧中选取以当前视频帧中心为中心点、以预设长度R为边长的正方形区域；
将正方形区域基于以当前视频帧中心为原点的四个象限划分为四个区域，对划分的每一区域进行梯度计算，并计算每一区域的梯度和；
确定四个区域中梯度和最大的区域，如果该区域的梯度和大于预设梯度阈值，则将该区域作为当前视频帧的代表区域，否则，将当前视频帧基于以当前视频帧中心为原点的四个象限划分为四个区域，对划分的每一区域进行梯度计算，并计算每一区域的梯度和，将梯度和最大的区域作为当前视频帧的代表区域。
4.根据权利要求1或2所述的方法，其特征在于，
确定所述代表区域的光流信息，包括：
从当前视频帧的前N个视频帧中选择当前视频帧的第一参考帧，确定第一参考帧中对应于所述代表区域的参考区域；其中，N为一预设正整数；
在所述参考区域中提取特征点，利用光流法对所述代表区域进行基于提取的特征点的光流计算，确定所述代表区域的光流信息。
5.根据权利要求4所述的方法，其特征在于，
从当前视频帧的前N个视频帧中选择当前视频帧的第一参考帧的方法为：
将前N帧视频图像中与当前视频帧的间隔帧数是第二预设值的视频帧选择作为当前视频帧的第一参考帧。
6.根据权利要求1或2所述的方法，其特征在于，
根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，包括：
根据所述代表区域的光流信息指示的光流速度和当前视频帧与参考帧之间的时间间隔确定所述代表区域在所述代表区域的光流信息指示的光流方向上的位移；
根据所述代表区域在所述代表区域的光流信息指示的光流方向上的位移，确定所述代表区域分别在x轴和y轴方向上的位移；
根据所述代表区域分别在x轴和y轴方向上的位移调整所述预估位置的x轴坐标和y轴坐标。
7.根据权利要求2所述的方法，其特征在于，
利用相关滤波器确定跟踪目标在当前视频帧中的预估位置时，进一步利用相关滤波器确定跟踪目标在当前视频帧中的预估尺寸；
确定跟踪目标在当前视频帧中的位置之后，进一步包括：将跟踪目标在当前视频帧中的预估尺寸确定为跟踪目标在当前视频帧中的尺寸；
根据跟踪目标在当前视频帧中的位置确定跟踪目标的光流信息，包括：
根据跟踪目标在当前视频帧中的位置和尺寸确定当前视频帧中的跟踪目标图像；
从当前视频帧的前M个视频帧中选择当前视频帧的第二参考帧，根据跟踪目标在第二参考帧中的位置和尺寸确定第二参考帧中的跟踪目标图像；其中，M为一预设正整数；
在第二参考帧中的跟踪目标图像中提取特征点，利用光流法对当前视频帧中的跟踪目标图像进行基于提取的特征点的光流计算，确定跟踪目标图像的光流信息，将跟踪目标图像的光流信息作为跟踪目标的光流信息。
8.根据权利要求2所述的方法，其特征在于，
从当前视频帧的前M个视频帧中选择当前视频帧的第二参考帧的方法为：
将前M帧视频图像中与当前视频帧的间隔帧数是第三预设值的视频帧选择作为当前视频帧的第二参考帧。
9.根据权利要求2所述的方法，其特征在于，
对采集的样本图像进行特征提取，包括：
利用预先训练的浅层神经网络模型对采集的样本图像进行特征提取；
或者，对采集的样本图像进行手工特征提取。
10.一种运动拍摄条件下的物体跟踪装置，其特征在于，该装置包括：处理器、以及与所述处理器通过总线相连的非瞬时计算机可读存储介质；
所述非瞬时计算机可读存储介质，存储有可被所述处理器执行的一个或多个计算机程序；所述处理器执行所述一个或多个计算机程序时实现以下步骤：
获取运动状态下的摄像头拍摄的视频帧；
利用相关滤波器确定跟踪目标在当前视频帧中的预估位置；
确定当前视频帧是关键帧时，选取当前视频帧的代表区域，确定所述代表区域的光流信息，根据所述代表区域的光流信息指示的光流速度对所述预估位置进行向所述代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
确定当前视频帧不是关键帧时，根据当前视频帧之前的最近关键帧的代表区域的光流信息指示的光流速度对所述预估位置进行向该最近关键帧的代表区域的光流信息指示的光流方向上的调整，将调整后的预估位置确定为跟踪目标在当前视频帧中的位置；
其中，所述摄像头拍摄的首个视频帧被指定为关键帧，且相邻关键帧之间的间隔帧数是第一预设值。
11.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至9中任一权项所述的运动拍摄条件下的物体跟踪方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268334.2A CN113497889B (zh) | 2020-04-08 | 2020-04-08 | 一种运动拍摄条件下的物体跟踪方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010268334.2A CN113497889B (zh) | 2020-04-08 | 2020-04-08 | 一种运动拍摄条件下的物体跟踪方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113497889A true CN113497889A (zh) | 2021-10-12 |
| CN113497889B CN113497889B (zh) | 2023-05-26 |
Family
ID=77995734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010268334.2A Active CN113497889B (zh) | 2020-04-08 | 2020-04-08 | 一种运动拍摄条件下的物体跟踪方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113497889B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494085A (zh) * | 2022-04-14 | 2022-05-13 | 季华实验室 | 一种视频流复原方法、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035304A (zh) * | 2018-08-07 | 2018-12-18 | 北京清瑞维航技术发展有限公司 | 目标跟踪方法、介质、计算设备和装置 |
| CN109146926A (zh) * | 2018-09-28 | 2019-01-04 | 耿四化 | 一种基于全景摄像机的运动目标智能追踪系统及方法 |
| CN109978756A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 目标检测方法、系统、装置、存储介质和计算机设备 |
| CN110458017A (zh) * | 2019-07-08 | 2019-11-15 | 浙江大华技术股份有限公司 | 目标跟踪的尺度估计方法以及相关装置 |
| CN110610510A (zh) * | 2019-08-29 | 2019-12-24 | Oppo广东移动通信有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN110738108A (zh) * | 2019-09-09 | 2020-01-31 | 北京地平线信息技术有限公司 | 目标物体检测方法、装置、存储介质及电子设备 |
| CN110910418A (zh) * | 2019-11-04 | 2020-03-24 | 北京理工大学 | 基于旋转不变性图像特征描述子的目标跟踪算法 |
-
2020
- 2020-04-08 CN CN202010268334.2A patent/CN113497889B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035304A (zh) * | 2018-08-07 | 2018-12-18 | 北京清瑞维航技术发展有限公司 | 目标跟踪方法、介质、计算设备和装置 |
| CN109146926A (zh) * | 2018-09-28 | 2019-01-04 | 耿四化 | 一种基于全景摄像机的运动目标智能追踪系统及方法 |
| CN109978756A (zh) * | 2019-03-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 目标检测方法、系统、装置、存储介质和计算机设备 |
| CN110458017A (zh) * | 2019-07-08 | 2019-11-15 | 浙江大华技术股份有限公司 | 目标跟踪的尺度估计方法以及相关装置 |
| CN110610510A (zh) * | 2019-08-29 | 2019-12-24 | Oppo广东移动通信有限公司 | 目标跟踪方法、装置、电子设备及存储介质 |
| CN110738108A (zh) * | 2019-09-09 | 2020-01-31 | 北京地平线信息技术有限公司 | 目标物体检测方法、装置、存储介质及电子设备 |
| CN110910418A (zh) * | 2019-11-04 | 2020-03-24 | 北京理工大学 | 基于旋转不变性图像特征描述子的目标跟踪算法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHU XIZHOU: "Deep Feature Flow for Video Recognition", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| ZHU XIZHOU: "Flow-Guided Feature Aggregation for Video Object Detection", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494085A (zh) * | 2022-04-14 | 2022-05-13 | 季华实验室 | 一种视频流复原方法、系统、电子设备及存储介质 |
| CN114494085B (zh) * | 2022-04-14 | 2022-07-15 | 季华实验室 | 一种视频流复原方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113497889B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748894B2 (en) | Video stabilization method and apparatus and non-transitory computer-readable medium | |
| CN109993712B (zh) | 图像处理模型的训练方法、图像处理方法及相关设备 | |
| KR100985805B1 (ko) | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 | |
| CN113011329B (zh) | 一种基于多尺度特征金字塔网络及密集人群计数方法 | |
| US20110211233A1 (en) | Image processing device, image processing method and computer program | |
| EP1542155A1 (en) | Object detection | |
| CN111242973A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN106412441B (zh) | 一种视频防抖控制方法以及终端 | |
| JP2012212373A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN112598587A (zh) | 一种联合人脸去口罩和超分辨率的图像处理系统和方法 | |
| CN113743357B (zh) | 视频表征自监督对比学习方法和装置 | |
| CN113497889B (zh) | 一种运动拍摄条件下的物体跟踪方法、装置及存储介质 | |
| CN117218161B (zh) | 一种鱼缸内鱼类轨迹跟踪方法及系统 | |
| CN113763420A (zh) | 一种目标跟踪方法、系统及存储介质和终端设备 | |
| CN109886963B (zh) | 一种图像处理方法及系统 | |
| CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
| CN115512263A (zh) | 一种面向高空坠物的动态视觉监测方法及装置 | |
| CN116883883A (zh) | 一种基于生成对抗网络抗抖动的海上船舶目标检测方法 | |
| CN109815911B (zh) | 基于深度融合网络的视频运动物体检测系统、方法及终端 | |
| JP7253967B2 (ja) | 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム | |
| JP2825863B2 (ja) | 移動物体検出装置 | |
| CN110705345A (zh) | 一种基于深度学习的行人重识别方法及系统 | |
| CN117456097B (zh) | 一种三维模型构建方法及装置 | |
| CN115909508B (zh) | 一种单人体育运动场景下的图像关键点增强检测方法 | |
| CN111698427B (zh) | 一种图像处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |