CN110910416A - 运动障碍物跟踪方法、装置及终端设备 - Google Patents
运动障碍物跟踪方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110910416A CN110910416A CN201911142987.XA CN201911142987A CN110910416A CN 110910416 A CN110910416 A CN 110910416A CN 201911142987 A CN201911142987 A CN 201911142987A CN 110910416 A CN110910416 A CN 110910416A
- Authority
- CN
- China
- Prior art keywords
- frame
- moving obstacle
- tracking
- area
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Abstract
本发明提供了一种运动障碍物跟踪方法、装置及终端设备，该方法包括：获取当前检测区域的多帧图像；基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域；其中，目标区域为当前检测区域中包含运动障碍物的最小区域；自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测；若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪；若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。本发明提供的运动障碍物跟踪方法、装置及终端设备能够减少运动障碍物跟踪过程中的计算量并提高运动障碍物的跟踪精度。
Description
技术领域
本发明属于机器视觉技术领域，更具体地说，是涉及一种运动障碍物跟踪方法、装置及终端设备。
背景技术
机器人视觉是目前计算机视觉领域研究的一个热点。运动障碍物的跟踪对于机器人选择性环境建模、多机器人编队以及智能监控等应用都非常重要，因此其一直是机器视觉领域的研究热点。
已知，运动障碍物的跟踪主要分为两个过程：检测和跟踪。
在运动障碍物的检测方面，目前常用的目标检测方法有光流法、帧间差分法和背景减法。光流法是通过计算图像中像素点的光流来进行运动目标检测的方法，该方法检测准确度高但是其计算量相当大，且抗噪性能差；帧间差分法是利用视频图像序列的连续帧，通过差分来检测像素变化的区域，判断出运动目标区域，该方法简单易实现，计算速度快，但是容易产生空洞的检测结果，无法检测出相似度高及运动速度较快的运动目标；背景减法是将当前图像与事先设定或随时间更新的背景图像相减，若差值大于设定的阈值，则认为该图像属于运动目标，该方法背景模型的更新难度较大，且对背景中的干扰特别敏感。
在运动障碍物的跟踪方面，目前常用的目标跟踪方法有均值漂移法、粒子滤波法、卡尔曼滤波法、核相关滤波法等，但以上方法均有跟踪精度不高，计算量过大等缺点。
因此，如何减少运动障碍物跟踪过程中的计算量并提高运动障碍物的跟踪精度成为机器视觉领域备受关注的前沿课题之一。
发明内容
本发明的目的在于提供一种运动障碍物跟踪方法、装置及终端设备，以减少运动障碍物跟踪过程中的计算量并提高运动障碍物的跟踪精度。
本发明实施例的第一方面，提供了一种运动障碍物跟踪方法，包括：
获取当前检测区域的多帧图像；
基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域；其中，目标区域为当前检测区域中包含运动障碍物的最小区域；
自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测；若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪；若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。
本发明实施例的第二方面，提供了一种运动障碍物跟踪装置，包括：
数据获取模块，用于获取当前检测区域的多帧图像；
差分处理模块，用于基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域；其中，目标区域为当前检测区域中包含运动障碍物的最小区域；
物体跟踪模块，用于自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测；若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪；若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。
本发明实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的运动障碍物跟踪方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的运动障碍物跟踪方法的步骤。
本发明实施例提供的运动障碍物跟踪方法、装置及终端设备的有益效果在于：在运动障碍物检测方面，与现有技术中采用帧间差分法对运动障碍物进行检测的方法相比，本发明实施例通过多帧差分法对多帧图像进行差分处理，能够采集更多的图像信息，避免空洞的检测结果；在运动障碍物的跟踪方面，与现有技术相比，本发明实施例在运动障碍物未被遮挡时，使用时空上下文法进行目标跟踪，在运动障碍物被遮挡时，使用卡尔曼滤波法进行目标跟踪，也就是说，本发明实施例可根据运动障碍物的被遮挡状态自适应的选择跟踪方法，从而结合时空上下文法以及卡尔曼滤波法的优势，在降低运动障碍物跟踪过程中的计算量的同时，提高运动障碍物的跟踪精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的运动障碍物跟踪方法的流程示意图；
图2为本发明另一实施例提供的运动障碍物跟踪方法的流程示意图；
图3为本发明再一实施例提供的运动障碍物跟踪方法的流程示意图；
图4为本发明又一实施例提供的运动障碍物跟踪方法的流程示意图；
图5为本发明又一实施例提供的运动障碍物跟踪方法的流程示意图；
图6为本发明又一实施例提供的运动障碍物跟踪方法的流程示意图；
图7为本发明又一实施例提供的运动障碍物跟踪方法的流程示意图；
图8为本发明一实施例提供的运动障碍物跟踪装置的结构框图；
图9为本发明一实施例提供的终端设备的示意框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参考图1，图1为本发明一实施例提供的运动障碍物跟踪方法的流程示意图，该方法包括：
S11：获取当前检测区域的多帧图像。
在本实施例中，可使用数据采集设备(例如摄像机)采集当前检测区域的视频数据，并从当前检测区域的视频数据中获取当前检测区域的多帧图像。
S12：基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域。
在本实施例中，多帧差分法即对多组相邻的帧进行差分处理，并根据所有组的差分处理结果确定目标区域。
在本实施例中，目标区域为当前检测区域中包含运动障碍物的最小区域，其中，包含运动障碍物的最小区域指的是：能够包含有运动障碍物的最小的空间区域。
S13：自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测。若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪。若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。
在本实施例中，自初始跟踪区域起，对运动障碍物进行跟踪，可在跟踪过程中实时检测运动障碍物的遮挡状态，根据运动障碍物的遮挡状态确定不同的跟踪方法。也即，在运动障碍物未被遮挡时，使用时空上下文法进行目标跟踪，以提高目标跟踪的速度，保证目标跟踪的实时性。在运动障碍物被遮挡时，则采用卡尔曼滤波法进行目标跟踪，以弥补时空上下文法的不足，提高目标跟踪的精度。
也就是说，在运动障碍物检测方面，与现有技术中采用帧间差分法对运动障碍物进行检测的方法相比，本发明实施例通过多帧差分法对多帧图像进行差分处理，能够采集更多的图像信息，避免空洞的检测结果。在运动障碍物的跟踪方面，与现有技术相比，本发明实施例在运动障碍物未被遮挡时，使用时空上下文法进行目标跟踪，在运动障碍物被遮挡时，使用卡尔曼滤波法进行目标跟踪，也就是说，本发明实施例可根据运动障碍物的被遮挡状态自适应的选择跟踪方法，从而结合时空上下文法以及卡尔曼滤波法的优势，在降低运动障碍物跟踪过程中的计算量的同时，提高运动障碍物的跟踪精度。
请一并参考图1及图2，图2为本申请另一实施例提供的运动障碍物跟踪方法的流程示意图。在上述实施例的基础上，在基于多帧差分法对多帧图像进行差分处理之前，还可以包括多帧图像的预处理过程，多帧图像的预处理过程包括：
S21：对多帧图像进行灰度化处理。
S22：对灰度化处理后的多帧图像进行均值滤波，得到预处理后的多帧图像。
在本实施例中，对多帧图像的处理主要包括两个步骤：灰度化以及均值滤波。其中，对于某一帧图像，均值滤波可采用以下方法实现：
其中，f(m,n)为该帧图像的原像素值，g(x,y)为该帧图像滤波后的像素值，M为预设图像模板中的像素总个数。
请一并参考图1及图3，图3为本申请再一实施例提供的运动障碍物跟踪方法的流程示意图。在上述实施例的基础上，基于多帧差分法对多帧图像进行差分处理，得到目标区域，可以详述为：
S31：根据预设提取规则从多帧图像中提取三帧图像。
S32：将三帧图像按照时间顺序进行排序，并对排序后的三帧图像中每相邻的两帧图像作差分处理，得到第一差分结果和第二差分结果。
S33：若第一差分结果和第二差分结果均大于预设阈值，则对第一差分结果和第二差分结果进行二值化计算，并根据二值化计算后的第一差分结果和第二差分结果确定目标区域。
S34：若第一差分结果或第二差分结果不大于预设阈值，则返回执行根据预设提取规则从多帧图像中提取三帧图像的步骤。
在本实施例中，预设提取规则为随机提取或间隔提取。
若预设提取规则为随机提取，则步骤S31～S34可以详述为：
S311：随机提取多帧图像中相邻的三帧图像，记为第M-1帧、第M帧、第M+1帧。
S321：对三帧图像中每相邻的两帧图像作差分处理，得到第一差分结果和第二差分结果。
在本实施例中，每相邻的两帧图像共有两组：第M-1帧与第M帧、第M帧与第M+1帧。
则步骤S321可以详述为：对第M-1帧与第M帧作差分处理，得到第一差分结果，记为m1；对第M帧与第M+1帧作差分处理，得到第二差分结果，记为m2。
S331：若m1以及m2均大于预设阈值，则对m1以及m2进行二值化计算，并根据二值化计算后的m1以及m2确定目标区域。
在本实施例中，可直接对二值化后的m1以及m2进行与运算，得到目标区域。
S341：若m1或m2小于预设阈值，则返回执行步骤S311。
也就是说，若m1或m2中，存在一个值(m1或m2)不大于预设阈值，则说明相邻两帧之间的运动障碍物的运动频率较小，此次提取的三帧图像中可能存在背景干扰物，因此需重新提取图像，进行目标区域的识别，也即需返回执行步骤S311。
若预设提取规则为间隔提取，设定初始提取间隔i＝1，则步骤S31～S34可以详述为：
S312：提取多帧图像中第M-i帧、第M帧、第M+i帧，其中，第M帧为多帧图像的中间帧。
在本实施例中，中间帧等价于
Mn为多帧图像的总帧数。其中，符号
表示向上取整。其中，中间帧的选择可根据实际应用场景进行适应性更改。
S322：将三帧图像按照时间顺序进行排序，并对排序后的三帧图像中每相邻的两帧图像作差分处理，得到第一差分结果和第二差分结果。
在本实施例中，将三帧图像按照时间顺序进行排序后，三帧图像的顺序为：第M-i帧、第M帧、第M+i帧。则每相邻的两帧图像共有两组：第M-i帧与第M帧、第M帧与第M+i帧。
则步骤S322可以详述为：对第M-i帧与第M帧作差分处理，得到第一差分结果，记为m3；对第M帧与第M+i帧作差分处理，得到第二差分结果，记为m4。
S332：若m3以及m4均大于预设阈值，则对m3以及m4进行二值化计算，并根据二值化计算后的m3以及m4确定目标区域。
在本实施例中，可直接对二值化后的m3以及m4进行与运算，得到目标区域。
S342：若m3或m4小于预设阈值，则令i＝i+1，并返回执行步骤S312。
也就是说，若m3或m4中，存在一个值(m3或m4)不大于预设阈值，则说明相邻两帧之间的运动障碍物的运动频率较小，此次提取的三帧图像中可能存在背景干扰物，因此需更新提取间隔并重新提取图像，进行目标区域的识别，也即令i＝i+1后返回执行步骤S312。
请一并参考图1及图4，作为本发明提供的运动障碍物跟踪方法的一个具体实施方式，在上述实施例的基础上，预设模板帧的确定方法可以详述为：
S41：获取目标区域的多帧图像。
S42：将目标区域的多帧图像的平均值作为模板帧。
在本实施例中，预设模板帧用于检测运动障碍物的遮挡状态。具体的可获取目标区域的相邻的五帧图像，并计算此相邻的五帧图像的平均值，以相邻的五帧图像的平均值作为模板帧。
与现有技术中选取一帧图像作为模板帧相比，本发明实施例提供的预设模板帧的确定方法，选取了多帧图像确定模板帧，能够确保模板帧中必然包含运动障碍物并提高模板帧的容错性，从而提高了运动障碍物遮挡状态的检测精度。
请一并参考图4及图5，作为本发明提供的运动障碍物跟踪方法的一个具体实施方式，在上述实施例的基础上，基于预设模板帧对运动障碍物的遮挡状态进行实时检测，可以详述为：
S51：获取当前跟踪区域的帧图像，并基于特征匹配算法确定当前跟踪区域的帧图像与预设模板帧之间的相似度。
S52：若当前跟踪区域的帧图像与预设模板帧之间的相似度大于预设相似度，则确定运动障碍物未被遮挡。
S53：若当前跟踪区域的帧图像与预设模板帧之间的相似度不大于预设相似度，则确定运动障碍物被遮挡。
在本实施例中，可基于特征匹配算法确定预设模板帧与当前跟踪区域的帧图像的相似度，并以此确定运动障碍物是否被遮挡。
请一并参考图1及图6，作为本发明提供的运动障碍物跟踪方法的一个具体实施方式，在上述实施例的基础上，基于时空上下文法对运动障碍物进行跟踪，可以详述为：
S61：获取当前跟踪区域的帧图像，并将当前跟踪区域的帧图像记为第t帧。
S62：根据第t-1帧的空间上下文模型和时空上下文模型确定第t帧的时空上下文模型。
在本实施例中，可采用以下方法确定第t帧的时空上下文模型：
其中，
为第t帧的时空上下文模型，
为第t-1帧的空间上下文模型，
为第t-1帧的时空上下文模型，ρ为常数。
S63：根据第t-1帧的目标位置和目标尺度、第t帧的时空上下文模型以及第t帧确定第t帧的绝对置信图，并将绝对置信图中值最大的位置作为第t帧的目标位置。其中，第t帧的目标位置为当前跟踪区域中运动障碍物的位置。
在本实施例中，可采用以下方法确定第t帧的绝对置信图：
其中，Ct(x)为第t帧的绝对置信图，
为第t帧的时空上下文模型，It(x)为第t帧的像素强度值，ωσ为第t-1帧的目标尺度，
为第t-1帧的目标位置，F、F-1分别表示傅里叶变换以及傅里叶反变换。
其中，第t帧的目标位置也即本发明实施例的跟踪位置。
S64：根据第t-1帧的目标尺度确定第t帧的目标尺度。
在本实施例中，对于目标尺度的更新，已知
其中，α、z为常值，因此可通过更新方差σ来更新第t帧的目标尺度ωσt。
具体的，可根据第t-1帧的目标尺度确定第t-1帧的方差，再根据第t-1帧的方差确定第t帧的方差，进而确定第t帧的目标尺度。
S65：根据第t帧的绝对置信图以及预设的相对置信图确定第t帧的空间上下文模型，并返回执行步骤S61。
在本实施例中，预设的相对置信图C(x)为：
将预设的相对置信图带入到第t帧的绝对置信图中，得到以下第t帧的空间上下文模型Hsc(x)：
其中，α、b、β为常数，
为第t帧的目标位置。
从以上描述可知，本发明实施例通过不断更新时空上下文模型以及与时空上下文模型相关的各个参数，来确定当前跟踪区域中运动障碍物的位置，从而实现对运动障碍物的跟踪。
请一并参考图1及图7，作为本发明提供的运动障碍物跟踪方法的一个具体实施方式，在上述实施例的基础上，基于卡尔曼滤波法对运动障碍物进行跟踪，可以详述为：
S71：获取当前跟踪区域的帧图像，并将当前跟踪区域的帧图像记为第k帧。
S72：根据第k-1帧的目标位置的最佳估计值确定第k帧的目标位置的预测值。其中，目标位置为跟踪区域中运动障碍物的位置。
在本实施例中，确定第k帧的目标位置的预测值的方法为：
其中，A为状态转移矩阵，u(n)为输入向量，
为第k帧的目标位置的预测值，
为第k-1帧的目标位置的最佳估计值，B为常量矩阵。
S73：根据第k-1帧的方差矩阵的最优值确定第k帧的方差矩阵的估计值，并根据第k帧的方差矩阵的估计值确定第k帧的估计误差权重。
在本实施例中，确定第k帧的方差矩阵的估计值的方法为：
p(n|n-1)＝Ap(n-1|n-1)AT+Q
其中，Q为估计噪声协方差矩阵，p(n|n-1)为第k帧的方差矩阵，p(n-1|n-1)为第k-1帧的方差矩阵的最优值。
确定第k帧的估计误差权重k(n)的方法为：
其中，H(n)为系统观测矩阵，R(n)为观测噪声。
S74：根据第k-1帧的系统状态向量确定第k帧的系统状态向量，并基于第k帧的系统状态向量确定第k帧的观测方程。
确定第k帧的系统状态向量的方法为：
x(n)＝Ax(n-1)+Bu(n)+w(n)
其中，x(n)为第k帧的系统状态向量，x(n-1)为第k-1帧的系统状态向量，w(n)为估计噪声。
确定第k帧的观测方程的方法为：
z(n)＝Hx(n)+v(n)
其中，z(n)为第k帧的观测方程，H为观测矩阵，v(n)为测量噪声。
S75：根据第k帧的目标位置的预测值、第k帧的估计误差权重以及第k帧的观测方程确定第k帧的目标位置的最优估计值。其中，第k帧的目标位置的最优估计值为当前跟踪区域中运动障碍物的位置。
在本实施例中，确定第k帧的目标位置的最优估计值
的方法为：
其中，第k帧的目标位置的最优估计值也即本发明实施例的跟踪位置。
S76：根据第k帧的方差矩阵的估计值以及第k帧的估计误差权重确定第k帧的方差矩阵的最优值，并返回执行步骤S71。
在本实施例中，确定第k帧的方差矩阵的最优值的方法为：
p(n|n)＝[I-k(n)H(n)]p(n|n-1)
从以上描述可知，本发明实施例通过不断更新方差矩阵，来确定当前跟踪区域中运动障碍物的位置，从而实现对运动障碍物的跟踪。
对应于上文实施例的运动障碍物跟踪方法，图8为本发明一实施例提供的运动障碍物跟踪装置的结构框图。为了便于说明，仅示出了与本发明实施例相关的部分。参考图8，该装置包括：数据获取模块81、差分处理模块82、物体跟踪模块83。
其中，数据获取模块81，用于获取当前检测区域的多帧图像。
差分处理模块82，用于基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域。其中，目标区域为当前检测区域中包含运动障碍物的最小区域。
物体跟踪模块83，用于自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测。若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪。若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。
参考图8，在本发明的另一个实施例中，运动障碍物跟踪装置还可以包括预处理模块84，该预处理模块84用于对多帧图像进行预处理，并具体用于执行以下步骤：
对多帧图像进行灰度化处理。
对灰度化处理后的多帧图像进行均值滤波，得到预处理后的多帧图像。
可选地，作为本发明实施例提供的运动障碍物跟踪装置的一种具体实施方式，基于多帧差分法对多帧图像进行差分处理，得到目标区域，包括：
根据预设提取规则从多帧图像中提取三帧图像。
将三帧图像按照时间顺序进行排序，并对排序后的三帧图像中每相邻的两帧图像作差分处理，得到第一差分结果和第二差分结果。
若第一差分结果和第二差分结果均大于预设阈值，则对第一差分结果和第二差分结果进行二值化计算，并根据二值化计算后的第一差分结果和第二差分结果确定目标区域。
若第一差分结果或第二差分结果不大于预设阈值，则返回执行根据预设提取规则从多帧图像中提取三帧图像的步骤。
可选地，请参考图8，作为本发明实施例提供的运动障碍物跟踪装置的一种具体实施方式，运动障碍物跟踪装置还可以包括模板确定模块85，该模板确定模块85用于确定预设模板帧，并具体用于执行以下步骤：
获取目标区域的多帧图像。
将目标区域的多帧图像的平均值作为模板帧。
可选地，作为本发明实施例提供的运动障碍物跟踪装置的一种具体实施方式，基于预设模板帧对运动障碍物的遮挡状态进行实时检测，可以详述为：
获取当前跟踪区域的帧图像，并基于特征匹配算法确定当前跟踪区域的帧图像与预设模板帧之间的相似度。
若当前跟踪区域的帧图像与预设模板帧之间的相似度大于预设相似度，则确定运动障碍物未被遮挡。
若当前跟踪区域的帧图像与预设模板帧之间的相似度不大于预设相似度，则确定运动障碍物被遮挡。
可选地，作为本发明实施例提供的运动障碍物跟踪装置的一种具体实施方式，物体跟踪模块83可具体用于执行以下步骤：
S61：获取当前跟踪区域的帧图像，并将当前跟踪区域的帧图像记为第t帧。
S62：根据第t-1帧的空间上下文模型和时空上下文模型确定第t帧的时空上下文模型。
S63：根据第t-1帧的目标位置和目标尺度、第t帧的时空上下文模型以及第t帧确定第t帧的绝对置信图，并将绝对置信图中值最大的位置作为第t帧的目标位置。其中，第t帧的目标位置为当前跟踪区域中运动障碍物的位置。
S64：根据第t-1帧的目标尺度确定第t帧的目标尺度。
S65：根据第t帧的绝对置信图以及预设的相对置信图确定第t帧的空间上下文模型，并返回执行步骤S61。
可选地，作为本发明实施例提供的运动障碍物跟踪装置的一种具体实施方式，物体跟踪模块83可具体用于执行以下步骤：
S71：获取当前跟踪区域的帧图像，并将当前跟踪区域的帧图像记为第k帧。
S72：根据第k-1帧的目标位置的最佳估计值确定第k帧的目标位置的预测值。其中，目标位置为跟踪区域中运动障碍物的位置。
S73：根据第k-1帧的方差矩阵的最优值确定第k帧的方差矩阵的估计值，并根据第k帧的方差矩阵的估计值确定第k帧的估计误差权重。
S74：根据第k-1帧的系统状态向量确定第k帧的系统状态向量，并基于第k帧的系统状态向量确定第k帧的观测方程。
S75：根据第k帧的目标位置的预测值、第k帧的估计误差权重以及第k帧的观测方程确定第k帧的目标位置的最优估计值。其中，第k帧的目标位置的最优估计值为当前跟踪区域中运动障碍物的位置。
S76：根据第k帧的方差矩阵的估计值以及第k帧的估计误差权重确定第k帧的方差矩阵的最优值，并返回执行步骤S71。
参见图9，图9为本发明一实施例提供的终端设备的示意框图。如图9所示的本实施例中的终端900可以包括：一个或多个处理器901、一个或多个输入设备902、一个或多个输出设备903及一个或多个存储器904。上述处理器901、输入设备902、则输出设备903及存储器904通过通信总线905完成相互间的通信。存储器904用于存储计算机程序，计算机程序包括程序指令。处理器901用于执行存储器904存储的程序指令。其中，处理器901被配置用于调用程序指令执行以下操作上述各装置实施例中各模块/单元的功能，例如图8所示模块81至85的功能。
应当理解，在本发明实施例中，所称处理器901可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备902可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备903可以包括显示器(LCD等)、扬声器等。
该存储器904可以包括只读存储器和随机存取存储器，并向处理器901提供指令和数据。存储器904的一部分还可以包括非易失性随机存取存储器。例如，存储器904还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器901、输入设备902、输出设备903可执行本发明实施例提供的运动障碍物跟踪方法的第一实施例和第二实施例中所描述的实现方式，也可执行本发明实施例所描述的终端的实现方式，在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令被处理器执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种运动障碍物跟踪方法，其特征在于，包括：
获取当前检测区域的多帧图像；
基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域；其中，目标区域为当前检测区域中包含运动障碍物的最小区域；
自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测；若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪；若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。
2.如权利要求1所述的运动障碍物跟踪方法，其特征在于，在基于多帧差分法对多帧图像进行差分处理之前，还包括多帧图像的预处理过程，所述多帧图像的预处理过程包括：
对多帧图像进行灰度化处理；
对灰度化处理后的多帧图像进行均值滤波，得到预处理后的多帧图像。
3.如权利要求1所述的运动障碍物跟踪方法，其特征在于，所述基于多帧差分法对多帧图像进行差分处理，得到目标区域，包括：
根据预设提取规则从多帧图像中提取三帧图像；
将三帧图像按照时间顺序进行排序，并对排序后的三帧图像中每相邻的两帧图像作差分处理，得到第一差分结果和第二差分结果；
若第一差分结果和第二差分结果均大于预设阈值，则对第一差分结果和第二差分结果进行二值化计算，并根据二值化计算后的第一差分结果和第二差分结果确定目标区域；
若第一差分结果或第二差分结果不大于预设阈值，则返回执行根据预设提取规则从多帧图像中提取三帧图像的步骤。
4.如权利要求1所述的运动障碍物跟踪方法，其特征在于，预设模板帧的确定方法包括：
获取目标区域的多帧图像；
将目标区域的多帧图像的平均值作为模板帧。
5.如权利要求4所述的运动障碍物跟踪方法，其特征在于，所述基于预设模板帧对运动障碍物的遮挡状态进行实时检测，包括：
获取当前跟踪区域的帧图像，并基于特征匹配算法确定当前跟踪区域的帧图像与预设模板帧之间的相似度；
若当前跟踪区域的帧图像与预设模板帧之间的相似度大于预设相似度，则确定运动障碍物未被遮挡；
若当前跟踪区域的帧图像与预设模板帧之间的相似度不大于预设相似度，则确定运动障碍物被遮挡。
6.如权利要求1所述的运动障碍物跟踪方法，其特征在于，所述基于时空上下文法对运动障碍物进行跟踪，包括：
S61：获取当前跟踪区域的帧图像，并将当前跟踪区域的帧图像记为第t帧；
S62：根据第t-1帧的空间上下文模型和时空上下文模型确定第t帧的时空上下文模型；
S63：根据第t-1帧的目标位置和目标尺度、第t帧的时空上下文模型以及第t帧确定第t帧的绝对置信图，并将绝对置信图中值最大的位置作为第t帧的目标位置；其中，第t帧的目标位置为当前跟踪区域中运动障碍物的位置；
S64：根据第t-1帧的目标尺度确定第t帧的目标尺度；
S65：根据第t帧的绝对置信图以及预设的相对置信图确定第t帧的空间上下文模型，并返回执行步骤S61。
7.如权利要求1所述的运动障碍物跟踪方法，其特征在于，所述基于卡尔曼滤波法对运动障碍物进行跟踪，包括：
S71：获取当前跟踪区域的帧图像，并将当前跟踪区域的帧图像记为第k帧；
S72：根据第k-1帧的目标位置的最佳估计值确定第k帧的目标位置的预测值；其中，目标位置为跟踪区域中运动障碍物的位置；
S73：根据第k-1帧的方差矩阵的最优值确定第k帧的方差矩阵的估计值，并根据第k帧的方差矩阵的估计值确定第k帧的估计误差权重；
S74：根据第k-1帧的系统状态向量确定第k帧的系统状态向量，并基于第k帧的系统状态向量确定第k帧的观测方程；
S75：根据第k帧的目标位置的预测值、第k帧的估计误差权重以及第k帧的观测方程确定第k帧的目标位置的最优估计值；其中，第k帧的目标位置的最优估计值为当前跟踪区域中运动障碍物的位置；
S76：根据第k帧的方差矩阵的估计值以及第k帧的估计误差权重确定第k帧的方差矩阵的最优值，并返回执行步骤S71。
8.一种运动障碍物跟踪装置，其特征在于，包括：
数据获取模块，用于获取当前检测区域的多帧图像；
差分处理模块，用于基于多帧差分法对多帧图像进行差分处理，得到目标区域，并将目标区域作为初始跟踪区域；其中，目标区域为当前检测区域中包含运动障碍物的最小区域；
物体跟踪模块，用于自初始跟踪区域起，对运动障碍物进行跟踪，并基于预设模板帧对运动障碍物的遮挡状态进行实时检测；若检测到运动障碍物未被遮挡，则基于时空上下文法对运动障碍物进行跟踪；若检测到运动障碍物被遮挡，则基于卡尔曼滤波法对运动障碍物进行跟踪。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911142987.XA CN110910416A (zh) | 2019-11-20 | 2019-11-20 | 运动障碍物跟踪方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911142987.XA CN110910416A (zh) | 2019-11-20 | 2019-11-20 | 运动障碍物跟踪方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110910416A true CN110910416A (zh) | 2020-03-24 |
Family
ID=69818248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911142987.XA Pending CN110910416A (zh) | 2019-11-20 | 2019-11-20 | 运动障碍物跟踪方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110910416A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598010A (zh) * | 2020-05-15 | 2020-08-28 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN111666891A (zh) * | 2020-06-08 | 2020-09-15 | 北京百度网讯科技有限公司 | 用于估计障碍物运动状态的方法和装置 |
| CN111814590A (zh) * | 2020-06-18 | 2020-10-23 | 浙江大华技术股份有限公司 | 人员安全状态监测方法、设备及计算机可读存储介质 |
| CN112734811A (zh) * | 2021-01-21 | 2021-04-30 | 清华大学 | 一种障碍物跟踪方法、障碍物跟踪装置和芯片 |
| CN113642616A (zh) * | 2021-07-27 | 2021-11-12 | 北京三快在线科技有限公司 | 一种基于环境数据的训练样本的生成方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405151A (zh) * | 2015-10-26 | 2016-03-16 | 西安电子科技大学 | 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法 |
| CN108198206A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于多特征联合和Camshift算法结合的多目标跟踪方法 |
| CN108229412A (zh) * | 2018-01-16 | 2018-06-29 | 中国人民解放军陆军装甲兵学院 | 目标遮挡判断方法 |
| CN108320300A (zh) * | 2018-01-02 | 2018-07-24 | 重庆信科设计有限公司 | 一种融合粒子滤波的时空上下文视觉跟踪方法 |
| CN108805902A (zh) * | 2018-05-17 | 2018-11-13 | 重庆邮电大学 | 一种自适应尺度的时空上下文目标跟踪方法 |
| CN110458862A (zh) * | 2019-05-22 | 2019-11-15 | 西安邮电大学 | 一种遮挡背景下的运动目标跟踪方法 |
-
2019
- 2019-11-20 CN CN201911142987.XA patent/CN110910416A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405151A (zh) * | 2015-10-26 | 2016-03-16 | 西安电子科技大学 | 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法 |
| CN108198206A (zh) * | 2017-12-22 | 2018-06-22 | 湖南源信光电科技股份有限公司 | 基于多特征联合和Camshift算法结合的多目标跟踪方法 |
| CN108320300A (zh) * | 2018-01-02 | 2018-07-24 | 重庆信科设计有限公司 | 一种融合粒子滤波的时空上下文视觉跟踪方法 |
| CN108229412A (zh) * | 2018-01-16 | 2018-06-29 | 中国人民解放军陆军装甲兵学院 | 目标遮挡判断方法 |
| CN108805902A (zh) * | 2018-05-17 | 2018-11-13 | 重庆邮电大学 | 一种自适应尺度的时空上下文目标跟踪方法 |
| CN110458862A (zh) * | 2019-05-22 | 2019-11-15 | 西安邮电大学 | 一种遮挡背景下的运动目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李珑: "基于卡尔曼滤波的时空上下文跟踪算法", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
| 赵洲等: "一种融合卡尔曼滤波的改进时空上下文跟踪算法", 《航空学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598010A (zh) * | 2020-05-15 | 2020-08-28 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN111598010B (zh) * | 2020-05-15 | 2024-02-02 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN111666891A (zh) * | 2020-06-08 | 2020-09-15 | 北京百度网讯科技有限公司 | 用于估计障碍物运动状态的方法和装置 |
| CN111666891B (zh) * | 2020-06-08 | 2023-09-26 | 北京百度网讯科技有限公司 | 用于估计障碍物运动状态的方法和装置 |
| CN111814590A (zh) * | 2020-06-18 | 2020-10-23 | 浙江大华技术股份有限公司 | 人员安全状态监测方法、设备及计算机可读存储介质 |
| CN111814590B (zh) * | 2020-06-18 | 2023-09-29 | 浙江大华技术股份有限公司 | 人员安全状态监测方法、设备及计算机可读存储介质 |
| CN112734811A (zh) * | 2021-01-21 | 2021-04-30 | 清华大学 | 一种障碍物跟踪方法、障碍物跟踪装置和芯片 |
| CN113642616A (zh) * | 2021-07-27 | 2021-11-12 | 北京三快在线科技有限公司 | 一种基于环境数据的训练样本的生成方法及装置 |
| CN113642616B (zh) * | 2021-07-27 | 2023-10-31 | 北京三快在线科技有限公司 | 一种基于环境数据的训练样本的生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110910416A (zh) | 运动障碍物跟踪方法、装置及终端设备 | |
| US10963993B2 (en) | Image noise intensity estimation method, image noise intensity estimation device, and image recognition device | |
| JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
| EP1881454A1 (en) | Image processing for change detection | |
| CN110610150B (zh) | 一种目标运动物体的跟踪方法、装置、计算设备和介质 | |
| CN111860430B (zh) | 打架行为的识别方法和装置、存储介质及电子装置 | |
| CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
| EP3054421B1 (en) | Method of fast and robust camera location ordering | |
| CN106815576B (zh) | 基于连续时空置信图和半监督极限学习机的目标追踪方法 | |
| CN113128368B (zh) | 一种人物交互关系的检测方法、装置及系统 | |
| CN110400294B (zh) | 一种红外目标探测系统及探测方法 | |
| CN103955682A (zh) | 基于surf兴趣点的行为识别方法及装置 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| CN111260691B (zh) | 一种基于上下文感知回归时空正则相关滤波跟踪方法 | |
| CN111028266B (zh) | 畜禽盘点方法、装置、电子设备和存储介质 | |
| WO2008040945A1 (en) | A method of identifying a measure of feature saliency in a sequence of images | |
| Gal | Automatic obstacle detection for USV’s navigation using vision sensors | |
| CN114022531A (zh) | 图像处理方法、电子设备和存储介质 | |
| CN114155278A (zh) | 目标跟踪及相关模型的训练方法和相关装置、设备、介质 | |
| CN111753775A (zh) | 鱼的生长评估方法、装置、设备及存储介质 | |
| KR101595334B1 (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
| Xu et al. | Denoising for dynamic vision sensor based on augmented spatiotemporal correlation | |
| CN114359332A (zh) | 基于深度图像的目标跟踪方法、装置、设备和介质 | |
| Sawalakhe et al. | Foreground background traffic scene modeling for object motion detection | |
| CN115082326A (zh) | 视频去模糊的处理方法、边缘计算设备及中心处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |
|
| RJ01 | Rejection of invention patent application after publication |