CN110827313B - 快速光流跟踪方法及相关设备 - Google Patents
快速光流跟踪方法及相关设备 Download PDFInfo
- Publication number
- CN110827313B CN110827313B CN201910889323.3A CN201910889323A CN110827313B CN 110827313 B CN110827313 B CN 110827313B CN 201910889323 A CN201910889323 A CN 201910889323A CN 110827313 B CN110827313 B CN 110827313B
- Authority
- CN
- China
- Prior art keywords
- optical flow
- determining
- target
- points
- offsets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种快速光流跟踪方法及相关设备，应用于电子设备，该方法包括：调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数；调用预设光流值计算算法计算所述N个第一光流点的光流值，每个第一光流点对应一个光流值；根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化。采用本申请实施例可提高对跟踪目标的跟踪速度。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种快速光流跟踪方法及相关设备。
背景技术
在视频监控领域，一般通过目标检测与跟踪技术来检测和跟踪人脸、行人或车辆的运动，在视频压缩、机器人导航领域，也需要对目标的运动信息进行分析。在这些快速的运动场景中，跟踪速度和跟踪准确度要求极高。目前常采用光流跟踪方法来进行运动分析，如何进一步提高光流跟踪方法对跟踪目标的跟踪速度是一个急需解决的问题。
发明内容
本申请实施例提供一种快速光流跟踪方法及相关设备，用于提高对跟踪目标的跟踪速度。
第一方面，本申请实施例提供一种快速光流跟踪方法，应用于电子设备，所述方法包括：
调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数；
调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值；
根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；
基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化。
第二方面，本申请实施例提供一种快速光流跟踪装置，应用于电子设备，所述装置包括：
光流点选取单元，用于调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数；
光流值计算单元，用于调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值；
光流值确定单元，用于根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；
跟踪目标预测单元，用于基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化。
第三方面，本申请实施例提供一种电子设备，该电子设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质用于存储计算机程序，其中，上述计算机程序被处理器执行，以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，调用预设光流点选取模型获取N个第一光流点；调用预设光流值计算算法计算N个第一光流点的光流值；根据预设偏移量阈值从确定的N个光流值中筛选出M个目标光流值；基于M个目标光流值确定跟踪目标的位移变化和尺度变化，不同于现有的光流跟踪算法在目标区域随机选取光流点或均匀选择光流点的方法，调用预设光流点选取模型获取光流点，能够选择更为合适的光流点，从而提高对跟踪目标的跟踪准确性；其次，并不是对目标区域内所有的光流点均进行计算，而是通过两次筛选，第一次选取N个光流点，第二次从N个光流值中选择M个光流值，选取的数量上少于现有的光流跟踪算法所选取的数量，从而只需处理所选取的光流点和光流值，提高了对跟踪目标的跟踪速度。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种快速光流跟踪方法的流程示意图；
图1B时本申请实施例提供的一种光流值的结构示意图；
图1C是本申请提供的一种ResNet18网络模型的结构示意图；
图2是本申请实施例提供的一种快速光流跟踪方法的流程示意图；
图3是本申请实施例提供的一种电子设备的结构示意图；
图4是本申请实施例提供的一种快速光流跟踪装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或通信连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
请参阅图1A，图1A是本申请实施例提供的一种快速光流跟踪方法的流程示意图，应用于电子设备，所述方法包括：
步骤101：调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数。
在本申请的一实现方式中，所述预设光流点选取模型包括P个卷积层和Q个全连接层，所述调用预设光流点选取模型获取N个第一光流点包括：
获取目标跟踪图像；
通过所述P个卷积层和所述Q个全连接层提取所述目标跟踪图像的待测光流点信息，其中，所述待测光流点信息包括所述待测光流点和所述待测光流点对应的置信度；
根据所述置信度大小对所述待测光流点进行降序排列；
获取前N个所述置信度对应的所述待测光流点作为第一光流点，其中，所述第一光流点对应的置信度均大于预设置信度阈值。
其中，所述P和所述Q均为大于0的整数。
其中，置信度用于表征其对应待测光流点的质量，置信度越高，其对应的待测光流点的质量越高。
其中，预设置信度阈值例如可以为0.8、0.85、0.9、0.95，或是其他值，在此不作限定。
其中，所述N例如可以为5、15、25、35，或是其他值，在此不作限定。
步骤102：调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值。
具体地，所述调用预设光流值计算算法计算所述N个第一光流点的光流值，包括：
确定N个第二光流点，所述N个第二光流点与所述N个第一光流点一一对应，所述N个第一光流点位于第一目标帧之中，所述N个第二光流点位于第二目标帧之中，所述第一目标帧与所述第二目标帧为按照时间顺序相邻的目标帧；
基于所述N个第一光流点与所述N个第二光流点确定N个目标向量；
将所述N个目标向量作为所述N个第一光流点的光流值。
举例说明，如图1B所示，图1B时本申请实施例提供的一种光流值的结构示意图。第一光流点a1(x1，y1)位于第一目标帧i之中，第二光流点a2(x2，y2)位于第二目标帧i+1之中，则第一光流点a1(x1，x2)的光流值为A(x2-x1，y2-y1)。
步骤103：根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数。
需要说明的是，可以从N个所述光流值中筛选出M个目标光流值，M个目标光流值的偏移量可以是大于或等于所述预设偏移量，也可以是小于或等于所述预设偏移量，还可以是大于或等于第一预设偏移量，且小于或等于第二预设偏移量，所述预设偏移量包括所述第一预设偏移量和所述第二预设偏移量，在此均不做限定。
其中，所述M例如可以为小于所述N的整数，若所述N为25，则所述M例如可以为5、10、15、20，或是其他值，在此不作限定。
步骤104：基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化。
可以看出，在本申请实施例中，调用预设光流点选取模型获取N个第一光流点；调用预设光流值计算算法计算N个第一光流点的光流值；根据预设偏移量阈值从确定的N个光流值中筛选出M个目标光流值；基于M个目标光流值确定跟踪目标的位移变化和尺度变化，不同于现有的光流跟踪算法在目标区域随机选取光流点或均匀选择光流点的方法，调用预设光流点选取模型获取光流点，能够选择更为合适的光流点，从而提高对跟踪目标的跟踪准确性；其次，并不是对目标区域内所有的光流点均进行计算，而是通过两次筛选，第一次选取N个光流点，第二次从N个光流值中选择M个光流值，选取的数量上少于现有的光流跟踪算法所选取的数量，从而只需处理所选取的光流点和光流值，提高了对跟踪目标的跟踪速度。
在本申请的一实现方式中，所述P为16，所述Q为4，所述N为25，所述16个卷积层和所述4个全连接层中的其中2个全连接层与ResNet18网络模型中的16个卷积层和2个全连接层相同。
如图1C所示，图1C是本申请提供的一种ResNet18网络模型的结构示意图。每个卷积层与每个全连接层的结构以及连接方式如图所示。
可以看出，在本申请实施例中，通过设置全连接层的数量来控制输出的第一光流点的数量，不同于现有的光流跟踪算法在目标区域随机选取光流点或均匀选择光流点的方法，能够选择更为合适且数量更少的光流点，在提高对跟踪目标的跟踪准确性的同时，还能够提高对跟踪目标的跟踪速度。
在本申请的一实现方式中，所述预设光流值计算算法为金字塔Lucas-Kanade算法，所述金字塔Lucas-Kanade算法的金字塔层数为R，迭代次数为S，所述R为小于5的整数，所述S为大于0的整数。
其中，R可以为0、1、2、3、4，在此不作限定。
其中，S可以为1、5、10、50，或是其他值，在此不作限定。
其中，Lucas-Kanade方法是一种基于像素递归的光流算法，就是预测校正型的位移估算器。预测值可以作为前一个像素位置的运动估算值，或作为当前像素邻域内的运动估算线性组合。据该像素上的位移帧差的梯度的最小值，对预测作进一步的修正。为了进一步提高Lucas-Kanade方法的准确度以及运算速度，本申请将高斯金字塔分层与Lucas-Kanade方法结合起来，也就是金字塔Lucas-Kanade算法。采用了由粗到精的分层策略将图像分解成不同的帧率，随着级别的增加，分辨率越来越低，并将粗精度下得到的结果作为下一尺度的初始值，在不同的分辨率上对图像序列进行流速计算。
可以看出，在本申请实施例中，减少金字塔Lucas-Kanade算法的金字塔层数和迭代次数去计算光流值，在保证光流值的精确度的同时，减少不必要的计算过程，从而提高对跟踪目标的跟踪速度。
在本申请的一实现方式中，所述基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化，包括：
确定每个目标光流值的偏移量；
确定M个偏移量中的最大偏移量与最小偏移量；
基于所述最大偏移量与所述最小偏移量确定L个分段区间，所述L为大于0的整数；
确定每个分段区间中所包括的偏移量的数量；
确定目标分段区间，所述目标分段区间所包括的偏移量的数量大于或等于第一阈值；
确定所述目标分段区间包括的O个偏移量，所述O为大于0的整数；
基于所述O个偏移量确定跟踪目标的位移变化，以及基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化。
具体地，所述每个光流值的偏移量包括水平偏移量和竖直偏移量，所述确定每个目标光流值的偏移量的一具体方式为：将每个光流值对应的目标向量的模在水平方向上的投影确定为所述水平偏移量，以及将所述每个光流值对应的目标向量的模在竖直方向上的投影确定为所述竖直偏移量。
其中，L例如可以为5、10、15、20，或是其他值，在此不做限定。
需要说明的是，分段区间个数L为在计算之前人为预先设定的值。
其中，每个分段区间的间隔为(最大偏移量-最小偏移量)/(L-1)。
具体地，所述基于所述O个偏移量确定跟踪目标的位移变化的一具体实现方式为：确定所述O个水平偏移量的第一平均值，以及确定所述O个竖直偏移量的第二平均值；将所述第一平均值和所述第二平均值作为跟踪目标的位移变化。
具体地，所述基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化的一具体实现方式为：确定所述O个偏移量对应的第一光流点和第二光流点；确定
个第一距离，即所述第一距离为Q个第一光流点中的任意两个第一光流点之间的距离；确定
个第二距离，即所述第二距离为Q个第二光流点中的任意两个第二光流点之间的距离，所述
个第一距离与所述
个第二距离一一对应；确定每个第一距离与所述第一距离对应的第二距离的比值；确定
个比值中的中位数；将所述中位数作为跟踪目标的尺度变化。
举例说明，假定有10个目标光流值，这10个光流值分别为A1(1,1)、A2(2,2)、A3(2.1,2.1)、A4(3,3)、A5(3.1,3.1)、A6(4,4)、A7(4.1,4.1)、A8(4.2,4.2)、A9(5,5)、A10(6,6)，水平偏移量和竖直偏移量的最大偏移量均为6，最小偏移量均为1，则确定6个分段区间，6个分段区间分别为1～2、2～3、3～4、4～5、5～6、6～7。分段区间1～2中包括的偏移量为A1(1,1)，分段区间2～3中包括的偏移量为A2(2,2)、A3(2.1,2.1)，分段区间3～4中包括的偏移量为A4(3,3)、A5(3.1,3.1)，分段区间4～5中包括的偏移量为A6(4,4)、A7(4.1,4.1)、A8(4.2,4.2)，分段区间5～6中包括的偏移量为A9(5,5)，分段区间6～7中包括的偏移量为A10(6,6)。若将包括的偏移量的数量大于或等于3的分段区间作为目标区间，则目标分段区间为4～5。目标分段区间的水平偏移量和竖直偏移量的平均值均为4.1，则跟踪目标的位移变化为(4.1,4.1)。
又举例说明，假定目标分段区间4～5中包括的偏移量为A6(4,4)、A7(4.1,4.1)、A8(4.2,4.2)，A6(4,4)对应的第一光流点为a1(1,3)和第二光流点a2(5,7)，A7(4.1,4.1)对应的第一光流点为a1(0,1)和第二光流点a2(4.1,5.1)，A8(4.2,4.2)对应的第一光流点为a1(1,2)和第二光流点a2(5.2,6.2)，则可以确定第一距离[(1-0)2+(3-1)2]1/2以及其对应的第二距离[(5-4.1)2+(7-5.1)2]1/2,可以确定第一距离[(1-1)2+(3-2)2]1/2以及其对应的第二距离[(5-5.2)2+(7-6.2)2]1/2，可以确定第一距离[(1-0)2+(2-1)2]1/2以及其对应的第二距离[(5.2-4.1)2+(6.2-5.1)2]1/2，所以第一距离与第二距离的比值为1.06、1.25、0.91，中位数为1.06，则跟踪目标的位移变化为1.06。
可以看出，在本申请实施例中，通过将得到的偏移量进行划分区间，然后从划分的区间中确定多个偏移量，最后基于这多个偏移量确定位移变化和角度变化，保证了计算得到的位移变化和尺度变化的准确度。
在本申请的一实现方式中，在确定M个偏移量中的最大偏移量与最小偏移量之前，所述方法还包括：
基于所述M个偏移量的偏移均值和偏移方差；
确定所述偏移均值小于第二阈值，以及确定所述偏移方差小于第三阈值。
其中第二阈值可以为1、2、3、4，或是其他值，在此不作限定。
其中第三阈值可以为1、4、9、16，或是其他值，在此不作限定。
需要说明的是，所述偏移均值可以是x方向上的水平偏移均值，也可以是y方向上的竖直偏移均值，还可以是包括x方向和y方向上的偏移均值；同样，所述偏移方差可以是x方向上的水平偏移方差，也可以是y方向上的竖直偏移方差，还可以是包括x方向和y方向上的偏移方差，在此均不做限定。
举例说明，假定M个偏移量分别为(1,2)、(2，2)、(3,4)、(2，1)和(3，3)，则x方向上的水平偏移均值为：
(1+2+3+2+3)/5＝2.2，
y方向上的竖直偏移均值为：
(2+2+4+1+3)/5＝2.4，
包括x方向和y方向上的偏移均值为：
[(12+22)1/2+(22+22)1/2+(32+42)1/2+(22+12)1/2+(32+32)1/2]/5＝3.31。
则x方向上的水平偏移方差为：
[(2.2-1)2+(2.2-2)2+(2.2-3)2+(2.2-2)2+(2.2-3)2]/5＝2.8，
y方向上的竖直偏移均值为：
[(2.4-2)2+(2.4-2)2+(2.4-4)2+(2.4-1)2+(2.4-3)2]/5＝1.04，
包括x方向和y方向上的偏移均值为：
[(3.31-51/2)2+(3.31-81/2)2+(3.31-5)2+(3.31-51/2)2+(3.31-181/2)2]/5＝1.26。
进一步地，所述方法还包括：
若确定所述偏移均值大于或等于所述第二阈值，和/或，确定所述偏移方差大于或等于所述第三阈值，则调用所述预设光流点选取算法重新选取E个第一光流点，以及基于所述E个光流点确定所述跟踪目标的位移变化和尺度变化
可以看出，在本申请实施例中，基于多个目标光流值的偏移均值和偏移方差去判断该多个目标光流值是不是符合要求的光流值，在多个目标光流值符合要求时才进行下一步计算，进而保证了计算得到的位移变化和尺度变化的准确度。
请参阅图2，图2是本申请实施例提供的一种快速光流跟踪方法的流程示意图，应用于电子设备，所述方法包括：
步骤201：获取目标跟踪图像。
步骤202：通过P个卷积层和Q个全连接层提取所述目标跟踪图像的待测光流点信息，其中，所述待测光流点信息包括所述待测光流点和所述待测光流点对应的置信度，所述P和所述Q均为大于0的整数。
步骤203：根据所述置信度大小对所述待测光流点进行降序排列。
步骤204：获取前N个所述置信度对应的所述待测光流点作为第一光流点，其中，所述第一光流点对应的置信度均大于预设置信度阈值。
步骤205：确定N个第二光流点，所述N个第二光流点与所述N个第一光流点一一对应，所述N个第一光流点位于第一目标帧之中，所述N个第二光流点位于第二目标帧之中，所述第一目标帧与所述第二目标帧为按照时间顺序相邻的目标帧。
步骤206：基于所述N个第一光流点与所述N个第二光流点确定N个目标向量。
步骤207：将所述N个目标向量作为所述N个第一光流点的光流值。
步骤208：根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数。
步骤209：确定每个目标光流值的偏移量。
步骤210：确定所述M个偏移量中的最大偏移量与最小偏移量。
步骤211：基于所述最大偏移量与所述最小偏移量确定L个分段区间，所述L为大于0的整数。
步骤212：确定每个分段区间中所包括的偏移量的数量。
步骤213：确定目标分段区间，所述目标分段区间所包括的偏移量的数量大于或等于第一阈值。
步骤214：确定所述目标分段区间包括的O个偏移量，所述O为大于0的整数。
步骤215：基于所述O个偏移量确定跟踪目标的位移变化，以及基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
与上述图1A和图2所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图3所示，该电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数；
调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值；
根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；
基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化。
在本申请的一实现方式中，所所述预设光流点选取模型包括P个卷积层和Q个全连接层，在调用预设光流点选取模型获取N个第一光流点方面，上述程序包括具体用于执行以下步骤的指令：
获取目标跟踪图像；
通过所述P个卷积层和所述Q个全连接层提取所述目标跟踪图像的待测光流点信息，其中，所述待测光流点信息包括所述待测光流点和所述待测光流点对应的置信度；
根据所述置信度大小对所述待测光流点进行降序排列；
获取前N个所述置信度对应的所述待测光流点作为第一光流点，其中，所述第一光流点对应的置信度均大于预设置信度阈值。
在本申请的一实现方式中，在调用预设光流值计算算法计算所述N个第一光流点的光流值方面，上述程序包括具体用于执行以下步骤的指令：
确定N个第二光流点，所述N个第二光流点与所述N个第一光流点一一对应，所述N个第一光流点位于第一目标帧之中，所述N个第二光流点位于第二目标帧之中，所述第一目标帧与所述第二目标帧为按照时间顺序相邻的目标帧；
基于所述N个第一光流点与所述N个第二光流点确定N个目标向量；
将所述N个目标向量作为所述N个第一光流点的光流值。
在本申请的一实现方式中，在基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化方面，上述程序包括具体用于执行以下步骤的指令：
确定每个目标光流值的偏移量；
确定M个偏移量中的最大偏移量与最小偏移量；
基于所述最大偏移量与所述最小偏移量确定L个分段区间，所述L为大于0的整数；
确定每个分段区间中所包括的偏移量的数量；
确定目标分段区间，所述目标分段区间所包括的偏移量的数量大于或等于第一阈值；
确定所述目标分段区间包括的O个偏移量，所述O为大于0的整数；
基于所述O个偏移量确定跟踪目标的位移变化，以及基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化。
在本申请的一实现方式中，确定M个偏移量中的最大偏移量与最小偏移量之前，上述程序包括还具体用于执行以下步骤的指令：
基于所述M个偏移量的偏移均值和偏移方差；
确定所述偏移均值小于第二阈值，以及确定所述偏移方差小于第三阈值。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
下面为本申请装置实施例，本申请装置实施例用于执行本申请方法实施例所实现的方法。请参阅图4，图4是本申请实施例提供的一种快速光流跟踪装置的结构示意图，应用于电子设备，所述装置包括：
光流点选取单元401，用于调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数；
光流值计算单元402，用于调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值；
光流值筛选单元403，用于根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；
跟踪目标预测单元404，用于基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化。
在本申请的一实现方式中，所述预设光流点选取模型包括P个卷积层和Q个全连接层，在调用预设光流点选取模型获取N个第一光流点方面，所述光流点选取单元401，具体用于：
获取目标跟踪图像；
通过所述P个卷积层和所述Q个全连接层提取所述目标跟踪图像的待测光流点信息，其中，所述待测光流点信息包括所述待测光流点和所述待测光流点对应的置信度；
根据所述置信度大小对所述待测光流点进行降序排列；
获取前N个所述置信度对应的所述待测光流点作为第一光流点，其中，所述第一光流点对应的置信度均大于预设置信度阈值。
在本申请的一实现方式中，在调用预设光流值计算算法计算所述N个第一光流点的光流值方面，所述光流值计算单元402，具体用于：
确定N个第二光流点，所述N个第二光流点与所述N个第一光流点一一对应，所述N个第一光流点位于第一目标帧之中，所述N个第二光流点位于第二目标帧之中，所述第一目标帧与所述第二目标帧为按照时间顺序相邻的目标帧；
基于所述N个第一光流点与所述N个第二光流点确定N个目标向量；
将所述N个目标向量作为所述N个第一光流点的光流值。
在本申请的一实现方式中，在基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化方面，所述跟踪目标预测单元404，具体用于：
确定每个目标光流值的偏移量；
确定M个偏移量中的最大偏移量与最小偏移量；
基于所述最大偏移量与所述最小偏移量确定L个分段区间，所述L为大于0的整数；
确定每个分段区间中所包括的偏移量的数量；
确定目标分段区间，所述目标分段区间所包括的偏移量的数量大于或等于第一阈值；
确定所述目标分段区间包括的O个偏移量，所述O为大于0的整数；
基于所述O个偏移量确定跟踪目标的位移变化，以及基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化。
在本申请的一实现方式中，确定M个偏移量中的最大偏移量与最小偏移量之前，所述跟踪目标预测单元404，还用于：
基于所述M个偏移量的偏移均值和偏移方差；
确定所述偏移均值小于第二阈值，以及确定所述偏移方差小于第三阈值。
需要说明的是，光流点选取单元401、光流值计算单元402、光流值筛选单元403和跟踪目标预测单元404可通过处理器实现。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种快速光流跟踪方法，其特征在于，应用于电子设备，所述方法包括：
调用预设光流点选取模型获取N个第一光流点，所述预设光流点选取模型包括P个卷积层和Q个全连接层，所述N为大于0的整数；
调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值；
根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；
基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化；
其中，所述基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化包括：
确定每个目标光流值的偏移量；确定M个偏移量中的最大偏移量与最小偏移量；基于所述最大偏移量与所述最小偏移量确定L个分段区间，所述L为大于0的整数；确定每个分段区间中所包括的偏移量的数量；确定目标分段区间，所述目标分段区间所包括的偏移量的数量大于或等于第一阈值；确定所述目标分段区间包括的O个偏移量，所述O为大于0的整数；基于所述O个偏移量确定跟踪目标的位移变化，以及基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化；
其中，
基于所述O个偏移量确定跟踪目标的位移变化包括：确定O个水平偏移量的第一平均值，以及确定O个竖直偏移量的第二平均值；将所述第一平均值和所述第二平均值作为跟踪目标的位移变化；
其中，
基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化包括：
确定所述O个偏移量对应的第一光流点和第二光流点；
确定
个第一距离，所述第一距离为Q个第一光流点中的任意两个第一光流点之间的距离；
确定
个第二距离，所述第二距离为Q个第二光流点中的任意两个第二光流点之间的距离，所述
个第一距离与所述
个第二距离一一对应；
确定每个第一距离与所述第一距离对应的第二距离的比值；确定
个比值中的中位数；将所述中位数作为跟踪目标的尺度变化。
2.根据权利要求1所述的方法，其特征在于，所述调用预设光流点选取模型获取N个第一光流点，包括：
获取目标跟踪图像，所述目标跟踪图像包括多幅图像；
通过所述P个卷积层和所述Q个全连接层提取所述目标跟踪图像的待测光流点信息，其中，所述待测光流点信息包括所述待测光流点和所述待测光流点对应的置信度；
根据所述置信度大小对所述待测光流点进行降序排列；
获取前N个所述置信度对应的所述待测光流点作为第一光流点，其中，所述第一光流点对应的置信度均大于预设置信度阈值。
3.根据权利要求1或2所述的方法，其特征在于，所述调用预设光流值计算算法计算所述N个第一光流点的光流值，包括：确定N个第二光流点，所述N个第二光流点与所述N个第一光流点一一对应，所述N个第一光流点位于第一目标帧之中，所述N个第二光流点位于第二目标帧之中，所述第一目标帧与所述第二目标帧为按照时间顺序相邻的目标帧；
基于所述N个第一光流点与所述N个第二光流点确定N个目标向量；
将所述N个目标向量作为所述N个第一光流点的光流值。
4.根据权利要求1或2所述的方法，其特征在于，所述确定M个偏移量中的最大偏移量与最小偏移量之前，所述方法还包括：
基于所述M个偏移量的偏移均值和偏移方差；
确定所述偏移均值小于第二阈值，以及确定所述偏移方差小于第三阈值。
5.一种快速光流跟踪装置，其特征在于，应用于电子设备，所述装置包括：
光流点选取单元，用于调用预设光流点选取模型获取N个第一光流点，所述N为大于0的整数，其中，所述预设光流点选取模型包括P个卷积层和Q个全连接层；
光流值计算单元，用于调用预设光流值计算算法计算所述N个第一光流点的光流值，每个所述第一光流点对应一个光流值；
光流值确定单元，根据预设偏移量阈值从N个所述光流值中筛选出M个目标光流值，所述M≤N且M为正整数；
跟踪目标预测单元，用于基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化；
其中，所述基于所述M个目标光流值确定跟踪目标的位移变化和尺度变化方面，所述跟踪目标预测单元，具体用于：
确定每个目标光流值的偏移量；
确定M个偏移量中的最大偏移量与最小偏移量；
基于所述最大偏移量与所述最小偏移量确定L个分段区间，所述L为大于0的整数；
确定每个分段区间中所包括的偏移量的数量；
确定目标分段区间，所述目标分段区间所包括的偏移量的数量大于或等于第一阈值；
确定所述目标分段区间包括的O个偏移量，所述O为大于0的整数；
基于所述O个偏移量确定跟踪目标的位移变化，以及基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化；
其中，
基于所述O个偏移量确定跟踪目标的位移变化包括：确定O个水平偏移量的第一平均值，以及确定O个竖直偏移量的第二平均值；将所述第一平均值和所述第二平均值作为跟踪目标的位移变化；
其中，
基于所述O个偏移量对应的光流值确定跟踪目标的尺度变化包括：
确定所述O个偏移量对应的第一光流点和第二光流点；
确定
个第一距离，所述第一距离为Q个第一光流点中的任意两个第一光流点之间的距离；
确定
个第二距离，所述第二距离为Q个第二光流点中的任意两个第二光流点之间的距离，所述
个第一距离与所述
个第二距离一一对应；
确定每个第一距离与所述第一距离对应的第二距离的比值；确定
个比值中的中位数；将所述中位数作为跟踪目标的尺度变化。
6.根据权利要求5所述的装置，其特征在于，所述确定M个偏移量中的最大偏移量与最小偏移量之前，所述跟踪目标预测单元，还用于：
基于所述M个偏移量的偏移均值和偏移方差；
确定所述偏移均值小于第二阈值，以及确定所述偏移方差小于第三阈值。
7.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-4任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至4任意一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910889323.3A CN110827313B (zh) | 2019-09-19 | 2019-09-19 | 快速光流跟踪方法及相关设备 |
| PCT/CN2019/121609 WO2021051654A1 (zh) | 2019-09-19 | 2019-11-28 | 快速光流跟踪方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910889323.3A CN110827313B (zh) | 2019-09-19 | 2019-09-19 | 快速光流跟踪方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827313A CN110827313A (zh) | 2020-02-21 |
| CN110827313B true CN110827313B (zh) | 2023-03-03 |
Family
ID=69548165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910889323.3A Active CN110827313B (zh) | 2019-09-19 | 2019-09-19 | 快速光流跟踪方法及相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110827313B (zh) |
| WO (1) | WO2021051654A1 (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871080A (zh) * | 2014-03-25 | 2014-06-18 | 上海交通大学 | 复杂视频监控场景中光流特征自适应量化方法 |
| CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
| CN104657994A (zh) * | 2015-02-13 | 2015-05-27 | 厦门美图之家科技有限公司 | 一种基于光流法判断图像一致性的方法和系统 |
| CN106204594A (zh) * | 2016-07-12 | 2016-12-07 | 天津大学 | 一种基于视频图像的弥散性运动物体的方向检测方法 |
| DE102016123058A1 (de) * | 2016-11-30 | 2018-05-30 | Connaught Electronics Ltd. | Optischer Fluss mit Konfidenzschätzung |
| CN108133491A (zh) * | 2017-12-29 | 2018-06-08 | 重庆锐纳达自动化技术有限公司 | 一种实现动态目标跟踪的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8027513B2 (en) * | 2007-03-23 | 2011-09-27 | Technion Research And Development Foundation Ltd. | Bitmap tracker for visual tracking under very general conditions |
| US8866821B2 (en) * | 2009-01-30 | 2014-10-21 | Microsoft Corporation | Depth map movement tracking via optical flow and velocity prediction |
| DE112016004109T5 (de) * | 2015-09-11 | 2018-08-09 | Intel Corporation | Echtzeit-mehrfach-fahrzeugdetektion und -tracking |
| CN105261042A (zh) * | 2015-10-19 | 2016-01-20 | 华为技术有限公司 | 光流估计的方法及装置 |
| CN108288021A (zh) * | 2017-12-12 | 2018-07-17 | 深圳市深网视界科技有限公司 | 一种人群异常事件检测方法、电子设备和存储介质 |
| CN108090919B (zh) * | 2018-01-02 | 2020-12-22 | 华南理工大学 | 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法 |
| CN109523573A (zh) * | 2018-11-23 | 2019-03-26 | 上海新世纪机器人有限公司 | 目标对象的跟踪方法和装置 |
-
2019
- 2019-09-19 CN CN201910889323.3A patent/CN110827313B/zh active Active
- 2019-11-28 WO PCT/CN2019/121609 patent/WO2021051654A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871080A (zh) * | 2014-03-25 | 2014-06-18 | 上海交通大学 | 复杂视频监控场景中光流特征自适应量化方法 |
| CN104574439A (zh) * | 2014-12-25 | 2015-04-29 | 南京邮电大学 | 一种融合卡尔曼滤波与tld算法的目标跟踪方法 |
| CN104657994A (zh) * | 2015-02-13 | 2015-05-27 | 厦门美图之家科技有限公司 | 一种基于光流法判断图像一致性的方法和系统 |
| CN106204594A (zh) * | 2016-07-12 | 2016-12-07 | 天津大学 | 一种基于视频图像的弥散性运动物体的方向检测方法 |
| DE102016123058A1 (de) * | 2016-11-30 | 2018-05-30 | Connaught Electronics Ltd. | Optischer Fluss mit Konfidenzschätzung |
| CN108133491A (zh) * | 2017-12-29 | 2018-06-08 | 重庆锐纳达自动化技术有限公司 | 一种实现动态目标跟踪的方法 |
Non-Patent Citations (5)
| Title |
|---|
| Exploiting Semantic Information and Deep Matching for Optical Flow;Min Bai 等;《arXiv》;20160823;第1-16页 * |
| GPS盲区下基于视觉感知的车辆高精度定位技术研究;周经美;《中国优秀博硕士学位论文全文数据库(博士)工程科技II辑》;20180615;第C035-21页 * |
| Large Displacement Optical Flow Descriptor Matching in Variational Motion Estimation;Thomas Brox 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20100819;第500-513页 * |
| 一种改进的 Lucas-Kanade 光流估计方法;张永亮 等;《海军航空工程学院学报》;20090731;第24卷(第4期);第443-452页 * |
| 视频显著目标检测算法研究;徐屹伟;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190715;第I138-1176页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021051654A1 (zh) | 2021-03-25 |
| CN110827313A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933497B (zh) | 视频图像数据插帧处理方法及相关设备 | |
| US11081139B2 (en) | Video inpainting via confidence-weighted motion estimation | |
| EP1577836B1 (en) | Image deformation estimating method and apparatus | |
| US7860343B2 (en) | Constructing image panorama using frame selection | |
| US20150178899A1 (en) | Non-local mean-based video denoising method and apparatus | |
| WO2015121535A1 (en) | Method, apparatus and computer program product for image-driven cost volume aggregation | |
| US20090226097A1 (en) | Image processing apparatus | |
| CN105303514A (zh) | 图像处理方法和装置 | |
| WO2015014111A1 (zh) | 一种光流跟踪方法和装置 | |
| US10013741B2 (en) | Method for deblurring video using modeling blurred video with layers, recording medium and device for performing the method | |
| CN108921131B (zh) | 一种生成人脸检测模型、三维人脸图像的方法及装置 | |
| US7885483B2 (en) | Image alignment method | |
| CN110942484B (zh) | 基于遮挡感知和特征金字塔匹配的相机自运动估计方法 | |
| CN107301366B (zh) | 一种嵌码视频中图形码的解码方法及装置 | |
| CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
| CN113029128A (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| CN110650295A (zh) | 图像处理方法及装置 | |
| CN112184609B (zh) | 图像融合方法及装置、存储介质、终端 | |
| US8665318B2 (en) | Digital video coding | |
| CN110827313B (zh) | 快速光流跟踪方法及相关设备 | |
| CN112732682B (zh) | 时空轨迹数据的处理方法、装置及计算机存储介质 | |
| CN114663314A (zh) | 图像降噪方法、装置、计算机设备及介质 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| CN110348374B (zh) | 车辆检测方法、装置、电子设备及存储介质 | |
| CN111369592A (zh) | 一种基于牛顿插值的快速全局运动估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 1st floor, building 17, Shenzhen Dayun software Town, 8288 Longgang Avenue, Yuanshan street, Longgang District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Yuntian lifeI Technology Co.,Ltd. Address before: 518000 1st floor, building 17, Shenzhen Dayun software Town, 8288 Longgang Avenue, Yuanshan street, Longgang District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN INTELLIFUSION TECHNOLOGIES Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |