CN111161310B - 一种融合深度信息的低功耗实时行人轨迹提取方法及装置 - Google Patents

一种融合深度信息的低功耗实时行人轨迹提取方法及装置 Download PDF

Info

Publication number
CN111161310B
CN111161310B CN201911219781.2A CN201911219781A CN111161310B CN 111161310 B CN111161310 B CN 111161310B CN 201911219781 A CN201911219781 A CN 201911219781A CN 111161310 B CN111161310 B CN 111161310B
Authority
CN
China
Prior art keywords
pedestrian
depth
frame
depth information
power consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911219781.2A
Other languages
English (en)
Other versions
CN111161310A (zh
Inventor
朱旭光
周金明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xingzheyi Intelligent Transportation Technology Co ltd
Original Assignee
Nanjing Xingzheyi Intelligent Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xingzheyi Intelligent Transportation Technology Co ltd filed Critical Nanjing Xingzheyi Intelligent Transportation Technology Co ltd
Priority to CN201911219781.2A priority Critical patent/CN111161310B/zh
Publication of CN111161310A publication Critical patent/CN111161310A/zh
Application granted granted Critical
Publication of CN111161310B publication Critical patent/CN111161310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种融合深度信息的低功耗实时行人轨迹提取方法及装置，该方法包含以下步骤：连续采集RGBD视频帧序列；通过行人检测器获取行人在视频序列中的初始位置：在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置
Figure 402233DEST_PATH_IMAGE002
；获取行人的深度信息；对行人位置预测值
Figure 259987DEST_PATH_IMAGE002
进行修正，得到修正位置
Figure 39724DEST_PATH_IMAGE004
；得到行人轨迹。该方法通过有效融合深度信息，对行人位置预测值进行修正，提高了行人轨迹检测跟踪的准确率，同时降低了运算量，满足在低功耗场景下实现实时的目的。

Description

一种融合深度信息的低功耗实时行人轨迹提取方法及装置
技术领域
本发明涉及计算机视觉研究领域，尤其是图像目标检测跟踪领域，具体涉及一种融合深度信息的低功耗实时行人轨迹提取方法及装置。
背景技术
行人检测及跟踪是计算机视觉研究的一个热点细分领域，并得到广泛应用；在实现本发明过程中，发明人发现现有技术中至少存在如下问题：行人检测跟踪一般采用了复杂的模型，运算量相当大，在低功耗场景下难以达到实时的要求，一般需要大量的优化。同时在很多应用场景中，行人非常密集，存在严重的遮挡，我们只能看到人体的一部分，这对检测跟踪算法带来了严重的挑战。
发明内容
为了克服现有技术的不足，本公开实施例提供了一种融合深度信息的低功耗实时行人轨迹提取方法及装置，该方法通过有效融合深度信息，对行人位置预测值进行修正，提高了行人轨迹检测跟踪的准确率，满足在低功耗场景下实现实时的目的。技术方案如下：
第一方面，提供了一种融合深度信息的低功耗实时行人轨迹提取方法，包括如下步骤：
连续采集RGBD视频帧序列,记做f1，…fn
通过行人检测器获取行人在视频序列中的初始位置：行人检测器在f1的RGB信息上获得行人的初始位置B1，行人位置用矩形框表示，记做Bi＝(xi,yi,wi,hi)，其中xi，yi为矩形框左上角坐标，wi，hi为矩形框的宽和高，单位为像素；
在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1；
获取行人的深度信息：在每个视频序列fi上获得行人所在位置的区域深度图Di，并从深度图Di上得到行人在fi帧上的深度di；
根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′ i+1；具体为，通过遮挡检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人发生严重遮挡，将fi+1帧在Bi∪Bi+1*(di/di+1)位置上用相关滤波跟踪器进行预测位置B′i+1，其中γ∈[0.30,0.40]，A(Bi)指行人位置Bi所在区域的像素面积；
保存行人轨迹：保存行人的位置B1，Bi+1或B′i+1，将B1，Bi+1或B′i+1的中心点连线即可得到行人的轨迹，其中，i＝1、2、3、……、n-1。
优选的，所述在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1，具体为：在当前帧fi使用在行人位置Bi周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，在行人位置区域进行特征提取，提取的特征经过cosine窗函数之后，做FFT快速傅里叶变换变换，然后与相关滤波器相乘，将结果做IFFT逆向快速傅里叶变换之后，最大响应点所在的区域即为下一帧行人的位置Bi+1。
优选的，所述在每个视频序列fi上获得行人所在位置的区域深度图Di，对于第1帧，采用初始位置B1作为输入，非第1帧用跟踪的位置Bi+1或B′i+1作为输入。
优选的，所述从深度图Di上得到行人在fi帧上的深度di，具体为：计算区域深度图Di的直方图Hi，对于Hi上的局部极值进行高斯混合模型的最大期望聚类，得到区域内像素点的深度分布，计算每个类范围内的像素点的深度均值，选取最大均值作为行人在这一帧上的深度di。
优选的，所述根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1，具体方法还包括，通过尺度检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人尺度发生重大变化，将下一帧进行缩放fi+1*(di+1/di)＝f′i+1,用相关滤波跟踪器在f′i+1上重新预测位置B′i+1，其中γ∈[0.75,0.88]、A(Bi)指行人位置Bi所在区域的像素面积。
第二方面，提供了一种融合深度信息的低功耗实时行人轨迹提取装置，包括获取模块、检测跟踪模块、评估修正模块；
所述获取模块，用于连续采集RGBD视频帧序列,记做f1，…fn
所述检测跟踪模块，用于通过行人检测器获取行人在视频序列中的初始位置：行人检测器在f1的RGB信息上获得行人的初始位置B1，行人位置用矩形框表示，记做Bi＝(xi,yi,wi,hi)，其中xi，yi为矩形框左上角坐标，wi，hi为矩形框的宽和高，单位为像素；
在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1；
所述评估修正模块，用于获取行人的深度信息：在每个视频序列fi上获得行人所在位置的区域深度图Di，并从深度图Di上得到行人在fi帧上的深度di；
根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1；具体为，通过遮挡检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人发生严重遮挡，将fi+1帧在Bi∪Bi+1*(di/di+1)位置上用相关滤波跟踪器进行预测位置B′i+1，其中γ∈[0.30,0.40]，A(Bi)指行人位置Bi所在区域的像素面积；
保存行人轨迹：保存行人的位置B1，Bi+1或B′i+1，将B1，Bi+1或B′i+1的中心点连线即可得到行人的轨迹，其中，i＝1、2、3、……、n-1。
优选的，检测跟踪模块中所述在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1，具体为：在当前帧fi使用在行人位置Bi周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，在行人位置区域进行特征提取，提取的特征经过cosine窗函数之后，做FFT快速傅里叶变换变换，然后与相关滤波器相乘，将结果做IFFT逆向快速傅里叶变换之后，最大响应点所在的区域即为下一帧行人的位置Bi+1。
优选的，评估修正模块中所述从深度图Di上得到行人在fi帧上的深度di，具体为：计算区域深度图Di的直方图Hi，对于Hi上的局部极值进行高斯混合模型的最大期望聚类，得到区域内像素点的深度分布，计算每个类范围内的像素点的深度均值，选取最大均值作为行人在这一帧上的深度di。
优选的，评估修正模块中所述根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1，具体方法还包括：
可以是方法一：通过尺度检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人尺度发生重大变化，将下一帧进行缩放fi+1*(di+1/di)＝f′i+1,用相关滤波跟踪器在f′i+1上重新预测位置B′i+1，其中γ∈[0.75,0.88]、A(Bi)指行人位置Bi所在区域的像素面积。
与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：通过有效融合深度信息，根据目标行人在连续两帧的位置变化情况及深度变化情况，对行人位置预测值进行修正，提高了行人轨迹检测跟踪的准确率，同时降低了运算量，满足在低功耗场景下实现实时的目的。
附图说明
图1为本公开实施例提供的一种融合深度信息的低功耗实时行人轨迹提取方法的流程图；
具体实施方式
为了阐明本发明的技术方案和工作原理，下面将结合附图对本公开实施方式做进一步的详细描述。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
第一方面，本公开实施例提供了一种融合深度信息的低功耗实时行人轨迹提取方法，下面结合附图和具体实施例对本发明作进一步的详细说明。附图1为本公开实施例提供的一种融合深度信息的低功耗实时行人轨迹提取方法的流程图；结合该图，主要包括以下步骤：
第一步，连续采集RGBD视频帧序列,记做f1，…fn
第二步，通过行人检测器获取行人在视频序列中的初始位置
行人检测器在f1的RGB信息(RGB信息属于RGBD的部分信息)上获得行人的初始位置B1。行人位置用矩形框表示，记做Bi＝(xi,yi,wi,hi)，其中xi，yi为矩形框左上角坐标，wi，hi为矩形框的宽和高，单位为像素。
第三步，在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1
在当前帧fi使用在行人位置Bi周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器。在行人位置区域进行特征提取，这些特征经过cosine窗函数之后，做FFT(快速傅里叶变换)变换，然后与相关滤波器相乘，将结果做IFFT(逆向快速傅里叶变换)之后，最大响应点所在的区域即为下一帧行人的位置Bi+1
第四步，获取行人的深度信息
在每个视频序列fi上获得行人所在位置的区域深度图Di，优选的，所述行人所在位置，对于第1帧，采用初始位置B1做输入，非第1帧用跟踪的位置Bi+1或B′ i+1做输入；并从所述深度图Di上得到行人在这一帧上的深度di，优选的，深度di的获取方法如下：计算区域深度图Di的直方图Hi，对于Hi上的局部极值进行高斯混合模型的最大期望聚类，得到区域内像素点的深度分布，计算每个类范围内的像素点的深度均值，选取最大均值作为行人在这一帧上的深度di。
第五步，根据行人在连续两帧的位置变化情况(Bi与Bi+1)、及深度变化情况(di与di+1)，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1；具体为：
通过尺度检测评估：
当满足A(Bi+1)<A(Bi)*(di/di+1)*γ时(γ＝0.75～0.88,A(Bi)指行人位置Bi所在区域的像素面积，A(Bi+1)指行人位置Bi+1所在区域的像素面积)，行人尺度发生重大变化，将下一帧进行缩放fi+1*(di+1/di)＝f′i+1,用相关滤波跟踪器在f′i+1上重新预测位置B′i+1。在选用焦距2.2mm RGBD摄像机，摄像机高度为2.3米，角度为35度时，γ优选取值为0.85。
通过遮挡检测评估：
当满足A(Bi+1)<A(Bi)*(di/di+1)*γ时(γ∈[0.30,0.40]，A(Bi)指行人位置Bi所在区域的像素面积，A(Bi+1)指行人位置Bi+1所在区域的像素面积)，行人发生严重遮挡，将fi+1帧在Bi∪Bi+1*(di/di+1)位置上用相关滤波跟踪器进行预测位置B′i+1。在选用焦距2.2mmRGBD摄像机，摄像机高度为2.3米，角度为35度时，γ优选取值为0.35。
第六步，保存行人轨迹
将视频帧序列f1，…fn的行人的位置B1，Bi+1或B′i+1保存后，B1，Bi+1或B′i+1的中心点的连线即行人轨迹，i＝1、2、3、……、n-1。
第二方面，本公开实施例提供了一种融合深度信息的低功耗实时行人轨迹提取装置，包括获取模块、检测跟踪模块、评估修正模块；
所述获取模块，用于连续采集RGBD视频帧序列,记做f1，…fn
所述检测跟踪模块，用于通过行人检测器获取行人在视频序列中的初始位置：行人检测器在f1的RGB信息上获得行人的初始位置B1，行人位置用矩形框表示，记做Bi＝(xi,yi,wi,hi)，其中xi，yi为矩形框左上角坐标，wi，hi为矩形框的宽和高，单位为像素；
在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1；
所述评估修正模块，用于获取行人的深度信息：在每个视频序列fi上获得行人所在位置的区域深度图Di，并从深度图Di上得到行人在fi帧上的深度di；所述在每个视频序列fi上获得行人所在位置的区域深度图Di，对于第1帧，采用初始位置B1作为输入，非第1帧用跟踪的位置Bi+1或B′i+1作为输入；
根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1；
保存行人轨迹：保存行人的位置B1，Bi+1或B′i+1，将B1，Bi+1或B′i+1的中心点连线即可得到行人的轨迹，其中，i＝1、2、3、……、n-1。
优选的，检测跟踪模块中所述在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1，具体为：在当前帧fi使用在行人位置Bi周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，在行人位置区域进行特征提取，提取的特征经过cosine窗函数之后，做FFT快速傅里叶变换变换，然后与相关滤波器相乘，将结果做IFFT逆向快速傅里叶变换之后，最大响应点所在的区域即为下一帧行人的位置Bi+1。
优选的，评估修正模块中所述从深度图Di上得到行人在fi帧上的深度di，具体为：计算区域深度图Di的直方图Hi，对于Hi上的局部极值进行高斯混合模型的最大期望聚类，得到区域内像素点的深度分布，计算每个类范围内的像素点的深度均值，选取最大均值作为行人在这一帧上的深度di。
优选的，评估修正模块中所述根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1，具体方法有以下方法：
可以是方法一：通过尺度检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人尺度发生重大变化，将下一帧进行缩放fi+1*(di+1/di)＝f′i+1,用相关滤波跟踪器在f′i+1上重新预测位置B′i+1，其中γ∈[0.75,0.88]、A(Bi)指行人位置Bi所在区域的像素面积。
可以是方法二：通过遮挡检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人发生严重遮挡，将fi+1帧在Bi∪Bi+1*(di/di+1)位置上用相关滤波跟踪器进行预测位置B′i+1，其中γ∈[0.30,0.40]，A(Bi)指行人位置Bi所在区域的像素面积。
也可以是上述方法一和方法二的组合
需要说明的是，上述实施例提供的一种融合深度信息的低功耗实时行人轨迹提取装置在一种融合深度信息的低功耗实时行人轨迹提取方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。

Claims (10)

1.一种融合深度信息的低功耗实时行人轨迹提取方法，其特征在于，包括如下步骤：
连续采集RGBD视频帧序列,记做f1，…fn
通过行人检测器获取行人在视频序列中的初始位置：行人检测器在f1的RGB信息上获得行人的初始位置B1，行人位置用矩形框表示，记做Bi＝(xi,yi,wi,hi)，其中xi，yi为矩形框左上角坐标，wi，hi为矩形框的宽和高，单位为像素；
在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1；
获取行人的深度信息：在每个视频序列fi上获得行人所在位置的区域深度图Di，并从深度图Di上得到行人在fi帧上的深度di；根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1；具体为，通过遮挡检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人发生严重遮挡，将fi+1帧在Bi∪Bi+1*(di/di+1)位置上用相关滤波跟踪器进行预测位置B′i+1，其中γ∈[0.30,0.40]，A(Bi)指行人位置Bi所在区域的像素面积；
保存行人轨迹：保存行人的位置B1，Bi+1或B′i+1，将B1，Bi+1或B′i+1的中心点连线即可得到行人的轨迹，其中，i＝1、2、3、……、n-1。
2.根据权利要求1所述的一种融合深度信息的低功耗实时行人轨迹提取方法，其特征在于，所述在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1，具体为：在当前帧fi使用在行人位置Bi周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，在行人位置区域进行特征提取，提取的特征经过cosine窗函数之后，做FFT快速傅里叶变换变换，然后与相关滤波器相乘，将结果做IFFT逆向快速傅里叶变换之后，最大响应点所在的区域即为下一帧行人的位置Bi+1。
3.根据权利要求2所述的一种融合深度信息的低功耗实时行人轨迹提取方法，其特征在于，所述在每个视频序列fi上获得行人所在位置的区域深度图Di，对于第1帧，采用初始位置B1作为输入，非第1帧用跟踪的位置Bi+1或B′i+1作为输入。
4.根据权利要求3所述的一种融合深度信息的低功耗实时行人轨迹提取方法，其特征在于，所述从深度图Di上得到行人在fi帧上的深度di，具体为：计算区域深度图Di的直方图Hi，对于Hi上的局部极值进行高斯混合模型的最大期望聚类，得到区域内像素点的深度分布，计算每个类范围内的像素点的深度均值，选取最大均值作为行人在这一帧上的深度di。
5.根据权利要求1-4任一项所述的一种融合深度信息的低功耗实时行人轨迹提取方法，其特征在于，所述根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1，具体方法还包括，通过尺度检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人尺度发生重大变化，将下一帧进行缩放fi+1*(di+1/di)＝f′i+1,用相关滤波跟踪器在f′i+1上重新预测位置B′i+1，其中γ∈[0.75,0.88]、A(Bi)指行人位置Bi所在区域的像素面积。
6.一种融合深度信息的低功耗实时行人轨迹提取装置，其特征在于，包括获取模块、检测跟踪模块、评估修正模块；
所述获取模块，用于连续采集RGBD视频帧序列,记做f1，…fn
所述检测跟踪模块，用于通过行人检测器获取行人在视频序列中的初始位置：行人检测器在f1的RGB信息上获得行人的初始位置B1，行人位置用矩形框表示，记做Bi＝(xi,yi,wi,hi)，其中xi，yi为矩形框左上角坐标，wi，hi为矩形框的宽和高，单位为像素；
在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1；
所述评估修正模块，用于获取行人的深度信息：在每个视频序列fi上获得行人所在位置的区域深度图Di，并从深度图Di上得到行人在fi帧上的深度di；根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1；具体为，通过遮挡检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人发生严重遮挡，将fi+1帧在Bi∪Bi+1*(di/di+1)位置上用相关滤波跟踪器进行预测位置B′i+1，其中γ∈[0.30,0.40]，A(Bi)指行人位置Bi所在区域的像素面积；
保存行人轨迹：保存行人的位置B1，Bi+1或B′i+1，将B1，Bi+1或B′i+1的中心点连线即可得到行人的轨迹，其中，i＝1、2、3、……、n-1。
7.根据权利要求6所述的一种融合深度信息的低功耗实时行人轨迹提取装置，其特征在于，检测跟踪模块中所述在RGB信息上通过相关滤波跟踪器预测行人在下一帧的位置Bi+1，具体为：在当前帧fi使用在行人位置Bi周围区域的循环矩阵采集正负样本，利用核空间的脊回归训练相关滤波跟踪器，在行人位置区域进行特征提取，提取的特征经过cosine窗函数之后，做FFT快速傅里叶变换变换，然后与相关滤波器相乘，将结果做IFFT逆向快速傅里叶变换之后，最大响应点所在的区域即为下一帧行人的位置Bi+1。
8.根据权利要求7所述的一种融合深度信息的低功耗实时行人轨迹提取装置，其特征在于，评估修正模块中所述在每个视频序列fi上获得行人所在位置的区域深度图Di，对于第1帧，采用初始位置B1作为输入，非第1帧用跟踪的位置Bi+1或B′i+1作为输入。
9.根据权利要求8所述的一种融合深度信息的低功耗实时行人轨迹提取装置，其特征在于，评估修正模块中所述从深度图Di上得到行人在fi帧上的深度di，具体为：计算区域深度图Di的直方图Hi，对于Hi上的局部极值进行高斯混合模型的最大期望聚类，得到区域内像素点的深度分布，计算每个类范围内的像素点的深度均值，选取最大均值作为行人在这一帧上的深度di。
10.根据权利要求6-9任一项所述的一种融合深度信息的低功耗实时行人轨迹提取装置，其特征在于，评估修正模块中所述根据行人在连续两帧的位置变化情况、及深度变化情况，对行人位置预测值Bi+1进行修正，得到修正位置B′i+1，具体方法还包括：
通过尺度检测评估：当满足A(Bi+1)＜A(Bi)*(di/di+1)*γ时，行人尺度发生重大变化，将下一帧进行缩放fi+1*(di+1/di)＝f′i+1,用相关滤波跟踪器在f′i+1上重新预测位置B′i+1，其中γ∈[0.75,0.88]、A(Bi)指行人位置Bi所在区域的像素面积。
CN201911219781.2A 2019-12-03 2019-12-03 一种融合深度信息的低功耗实时行人轨迹提取方法及装置 Active CN111161310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911219781.2A CN111161310B (zh) 2019-12-03 2019-12-03 一种融合深度信息的低功耗实时行人轨迹提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911219781.2A CN111161310B (zh) 2019-12-03 2019-12-03 一种融合深度信息的低功耗实时行人轨迹提取方法及装置

Publications (2)

Publication Number Publication Date
CN111161310A CN111161310A (zh) 2020-05-15
CN111161310B true CN111161310B (zh) 2020-09-25

Family

ID=70556537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911219781.2A Active CN111161310B (zh) 2019-12-03 2019-12-03 一种融合深度信息的低功耗实时行人轨迹提取方法及装置

Country Status (1)

Country Link
CN (1) CN111161310B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784663A (zh) * 2017-11-14 2018-03-09 哈尔滨工业大学深圳研究生院 基于深度信息的相关滤波跟踪方法及装置
CN108776974A (zh) * 2018-05-24 2018-11-09 南京行者易智能交通科技有限公司 一种适用于公共交通场景的实时目标跟踪方法
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION
CN107784663A (zh) * 2017-11-14 2018-03-09 哈尔滨工业大学深圳研究生院 基于深度信息的相关滤波跟踪方法及装置
CN108776974A (zh) * 2018-05-24 2018-11-09 南京行者易智能交通科技有限公司 一种适用于公共交通场景的实时目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Real-time RGB-D Tracking with Depth Scaling Kernelised Correlation Filters and Occlusion Handling》;Massimo Camplani等;《Conference: British Machine Vision Conference 2015》;20150131;第1-11页 *
《基子RGB-D的运动目标鲁棒跟踪算法研究》;杨智婷;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180115(第01期);I138-1295:第42页算法4-1，44页最后1段，45页图4-6，7页2.1节第2段，35页第1-2段，第38-39页4.2.1节 *
杨智婷.《基子RGB-D的运动目标鲁棒跟踪算法研究》.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,(第01期),I138-1295：第42页算法4-1，44页最后1段，45页图4-6，7页2.1节第2段，35页第1-2段，第38-39页4.2.1节. *

Also Published As

Publication number Publication date
CN111161310A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN108053419B (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN108615027B (zh) 一种基于长短期记忆-加权神经网络对视频人群计数的方法
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN108846854B (zh) 一种基于运动预测与多特征融合的车辆跟踪方法
CN107481264A (zh) 一种自适应尺度的视频目标跟踪方法
CN108665481A (zh) 多层深度特征融合的自适应抗遮挡红外目标跟踪方法
CN111047626B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110795982A (zh) 一种基于人体姿态分析的表观视线估计方法
CN105139420A (zh) 一种基于粒子滤波和感知哈希的视频目标跟踪方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
US11093778B2 (en) Method and system for selecting image region that facilitates blur kernel estimation
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN106778767B (zh) 基于orb和主动视觉的视觉图像特征提取及匹配方法
CN102855466B (zh) 一种基于视频图像处理的人数统计方法
CN104050685A (zh) 基于粒子滤波视觉注意力模型的运动目标检测方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN106920247A (zh) 一种基于比对网络的目标跟踪方法及装置
CN105354863A (zh) 基于特征滤波和快速运动检测模板预测的自适应尺度图像序列目标跟踪方法
CN112949440A (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
CN106887012A (zh) 一种基于循环矩阵的快速自适应多尺度目标跟踪方法
CN111914756A (zh) 一种视频数据处理方法和装置
CN104268595A (zh) 通用物件检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant