CN104331902A - 目标跟踪方法、跟踪装置和3d显示方法及显示装置 - Google Patents

Abstract

本发明涉及一种目标跟踪方法和装置，包括：根据首次跟踪算法输出被跟踪目标位置坐标，同时初始化作用于时变系统之上的滤波器；以及当跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新；比较被跟踪目标的移动速度与补偿判定阈值；以及如果被跟踪目标的移动速度大于补偿判定阈值，则通过作用于时变系统之上的滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的当前位置坐标。本发明还提供了基于目标跟踪方法和装置的3D显示方法和装置。本发明补偿了由于计算处理等不可抗因素导致的延迟时间内的被跟踪目标的当前位置坐标的空间延迟量，最终提高了裸眼3D显示质量。

Description

目标跟踪方法、跟踪装置和3D显示方法及显示装置

技术领域

本发明涉及一种目标跟踪方法和装置、以及基于目标跟踪方法和装置的3D显示方法和装置。

背景技术

现有的基于实时视频的目标跟踪预测方法，其技术方案多集中于：根据当前帧的目标跟踪结果，利用卡尔曼滤波器对下一帧图像中目标可能出现的区域作出预测，在下一帧时，先在前一次预测的区域内对目标进行搜索。这样利用前一帧的预测结果来缩小当前帧的搜素范围，可以大幅减少计算量，加快跟踪的速度，提高了目标跟踪的实时性。相关技术参见申请号为CN201210490994，名称为“一种基于预测的运动跟踪方法”、以及申请号为CN201410160852，名称为“人眼跟踪方法及装置”的相关专利申请，其内容结合于此作为参考。

图1是3D显示原理的示意图。如图1中所示，一种3D显示系统包括：头部跟踪器102，用于跟踪人的头部的位置；跟踪模块104，包括计算模块104-2和控制模块104-4，用于根据头部跟踪器获得的人的头部的位置，进行计算并且控制显示模块和可控光学系统，以将正确图像显示给用户；显示模块106，用于在控制模块的控制下进行显示；可控光学系统108，用于在控制模块的控制下进行调节，以给用户提供正确显示。

图2是目标跟踪传感器在t₀时刻对被跟踪目标的原始数据进行采样的示意图，此处的被跟踪目标是人眼，其还可以是人的头部、脸部、以及其他部位。

但是，在基于实时视频、红外探测、深度摄像头、穿戴设备等方式的目标跟踪的过程中，由于计算耗时等不可抗因素，当人体快速移动时，现有跟踪算法得到的被跟踪目标位置跟踪结果具有一定空间上的延迟。如图3所示，在Δt时间内，现有跟踪算法对原始数据进行计算，人体继续移动，导致目标跟踪结果具有空间上的延迟。将此跟踪结果应用于裸眼3D立体显示中时，则可能导致3D立体显示效果下降，如人体快速移动时可能发生反视现象。

图4中示出在不对延迟量进行补偿的情况下，导致反视现象的示意图。如图4中所示，在t₀时刻，被跟踪目标(例如，人眼)处于(x₀,y₀,z₀)位置，此时摄像头对人物进行拍摄或红外传感器、深度传感器等对被跟踪目标数据进行采集，得到原始图像/数据。现有的跟踪算法对该原始图像/数据进行一系列分析处理，于t₀+Δt时刻报告出被跟踪目标的位置坐标(x₀,y₀,z₀)(此处，假设现有跟踪算法总可以准确无误地计算得到正确的被跟踪目标位置)，并根据此被跟踪目标位置，在显示设备上显示对应的3D立体图像，其左右眼视区分别对准跟踪算法得到的左右眼位置，在这个过程中，跟踪、排图等算法的计算、处理共耗时Δt。在本实施例中，显示设备包括显示模块与分光器件，分光器件用于将显示模块上显示的图像分别发送到人的左眼和右眼，以显示立体图像。

事实上，由于人体在Δt时间内可以继续移动，所以在t₀+Δt时刻被跟踪目标的真实位置已经发生了改变，不再是t₀时刻的(x₀,y₀,z₀)，而移动到了t₀+Δt时刻的(x’,y’,z’)。正是由于计算耗时等不可抗因素，现有跟踪算法报告的被跟踪目标位置结果具有Δt时间的延迟，其与真实位置的偏差量由Δt与被跟踪目标移动的速度共同决定。在这种情况下，如果在3D显示排图时未补偿被跟踪目标位置的延迟量，则很可能发生反视现象，即，人体实际的左眼位于3D立体显示的右眼视区，而实际的右眼位于3D立体显示的左眼视区，从而表现出错误的显示效果。

因此，需要一种能够解决计算耗时等不可抗因素导致的跟踪结果延迟/滞后的问题的手段。

发明内容

为了解决以上问题，本发明提供了一种目标跟踪方法和装置、以及3D显示方法和装置。

根据本发明的一方面，提供一种目标跟踪方法，包括：根据首次跟踪算法输出被跟踪目标的位置坐标，同时初始化作用于时变系统之上的滤波器；以及当跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新；比较被跟踪目标的移动速度与补偿判定阈值，确定是否对当前位置坐标进行补偿；以及如果被跟踪目标的移动速度大于补偿判定阈值，则通过作用于时变系统之上的滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的当前位置坐标。

作用于时变系统之上的滤波器可以为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。

具体地，在作用于时变系统之上的滤波器为卡尔曼滤波器的情况下：

初始化卡尔曼滤波器包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。

卡尔曼滤波器可以结合强跟踪滤波器对系统状态进行更新并且对被跟踪目标的当前位置坐标进行补偿。强跟踪滤波器可以是带多重次优渐消因子的强跟踪滤波器。强跟踪滤波器使用前，需要进行初始化，具体地，初始化强跟踪滤波器可以包括：初始化多重次优渐消因子的比例系数、强跟踪滤波器的遗忘因子、强跟踪滤波器的弱化因子。

该方法可以包括通过卡尔曼滤波器和强跟踪滤波器进行以下更新处理：

获取被跟踪目标的当前位置坐标；

利用当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计

利用先验估计计算测量方程的残差γ；

利用残差γ，计算强跟踪滤波器的中间变量V；

利用中间变量V，计算强跟踪滤波器的中间变量N；

利用中间变量N，计算强跟踪滤波器的中间变量M；

利用中间变量M，计算多重次优渐消因子的系数c；

利用多重次优渐消因子的系数c，计算强跟踪滤波器的多重次优渐消因子λ_i；

利用强跟踪滤波器的多重次优渐消因子λ_i，计算卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；

利用系统状态先验估计的误差协方差矩阵P_，计算卡尔曼滤波器的卡尔曼增益Kg；

利用卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计

利用后验估计计算卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。

该方法可以通过卡尔曼滤波器和强跟踪滤波器进行延迟补偿包括：

利用所计算的以上参数，根据公式 $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.$ 计算补偿之后的被跟踪目标的当前位置坐标，其中，(x_real,y_real,z_real)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是补偿判定阈值，τ>0。

被跟踪目标的当前位置坐标可以是三维坐标或二维坐标。

使用作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行滤波去噪，大幅消除了跟踪算法的计算误差和系统噪声，去除了被跟踪目标的当前位置坐标中的数据抖动。引入强跟踪滤波器的多重次优渐消因子，提高了作用于时变系统之上的滤波器对移动目标的跟踪性能，从而得到最接近最初获得的被跟踪目标位置时刻的目标真实运动状态的系统状态量。

根据本发明的另一方面，提供一种3D显示方法，包括：根据本发明的目标跟踪方法获取被跟踪目标的当前位置坐标；以及根据被跟踪目标的当前位置坐标进行排图，在显示设备上显示相应立体图像给用户。

根据本发明的另一方面，提供一种目标跟踪装置，包括：目标跟踪单元，用于跟踪被跟踪目标位置以获取被跟踪目标的当前位置坐标；以及更新和补偿单元，包括作用于时变系统之上的滤波器，在目标跟踪单元首次输出被跟踪目标位置坐标时，使作用于时变系统之上的滤波器进行初始化，并且当目标跟踪单元输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新，当被跟踪目标的移动速度大于补偿判定阈值时，通过作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的被跟踪目标的当前位置坐标。

作用于时变系统之上的滤波器可以为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。

具体地，在作用于时变系统之上的滤波器为卡尔曼滤波器的情况下：

使卡尔曼滤波器进行初始化包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。

更新和补偿单元还可以包括：强跟踪滤波器，与卡尔曼滤波器一起对系统状态进行更新并且对被跟踪目标的当前位置坐标进行延迟补偿。

强跟踪滤波器可以是带多重次优渐消因子的强跟踪滤波器。强跟踪滤波器使用前，需要进行初始化，具体地，初始化强跟踪滤波器可以包括：初始化多重次优渐消因子的比例系数、强跟踪滤波器的遗忘因子、强跟踪滤波器的弱化因子。

更新和补偿单元利用卡尔曼滤波器和强跟踪滤波器对被跟踪目标的当前位置坐标进行更新，包括以下处理：

从目标跟踪单元获取被跟踪目标的当前位置坐标；

利用当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计

利用先验估计计算测量方程的残差γ；

利用残差γ，计算强跟踪滤波器的中间变量V；

利用中间变量V，计算强跟踪滤波器的中间变量N；

利用中间变量N，计算强跟踪滤波器的中间变量M；

利用中间变量M，计算多重次优渐消因子的系数c；

利用多重次优渐消因子的系数c，计算强跟踪滤波器的多重次优渐消因子λ_i；

利用强跟踪滤波器的多重次优渐消因子λ_i，计算卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；

利用系统状态先验估计的误差协方差矩阵P_，计算卡尔曼滤波器的卡尔曼增益Kg；

利用卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计

利用后验估计计算卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。

更新和补偿单元利用卡尔曼滤波器和强跟踪滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿包括：

利用所计算的以上参数，根据公式 $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.$ 计算补偿之后的被跟踪目标的当前位置坐标，其中，(x_real,y_real,z_real)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是补偿判定阈值，τ>0。

使用作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行滤波去噪，大幅消除了跟踪算法的计算误差和系统噪声，去除了被跟踪目标的当前位置坐标中的数据抖动。引入强跟踪滤波器的多重次优渐消因子，提高了作用于时变系统之上的滤波器对移动目标的跟踪性能，从而得到最接近最初获得的被跟踪目标位置时刻的目标真实运动状态的系统状态量。

根据本发明的另一方面，提供一种3D显示装置，包括：根据本发明的目标跟踪装置，用于获取被跟踪目标的当前位置坐标；控制模块，用于根据当前位置坐标控制排图；显示模块，用于显示对应于排图的图像；以及分光器件，用于将显示模块显示的图像分别发送到人的左眼与右眼，以显示立体图像。

分光器件可以为液晶透镜、液晶微透镜、微透镜阵列、或者狭缝光栅。

在本发明中，被跟踪目标可以为人眼、脸部、头部等，也可以为人体的其他部位。

本发明使用作用于时变系统之上的滤波器和强跟踪滤波器来补偿由于摄像头等传感器采样、以及跟踪、排图算法计算时的耗时等因素造成的当前被跟踪目标位置的跟踪结果的延迟/滞后，可以进一步提高裸眼3D显示质量。

附图说明

图1是示出相关技术中的3D显示原理的示意图；

图2是示出目标跟踪传感器在t₀时刻对被跟踪目标的原始数据进行采样的示意图；

图3是示出跟踪等算法的计算耗时Δt时间内人体发生移动的示意图；

图4是示出在不对延迟量进行补偿的情况下，由于人体移动导致发生反视现象的示意图；

图5A和图5B是示出根据本发明的实施例的目标跟踪方法的流程图；

图6是示出根据本发明的实施例的目标跟踪装置的框图；

图7是示出根据本发明的实施例的3D显示方法的流程图；

图8是示出根据本发明的实施例的3D显示装置的框图；

图9是示出在对延迟量进行补偿的情况下的3D显示示意图；以及

图10是示出根据本发明的实施例的卡尔曼滤波器和强跟踪滤波器算法的流程图。

具体实施方式

以下结合附图进一步详细地描述根据本发明的实施例。

图5A和图5B示出根据本发明的实施例的目标跟踪方法500的流程图。如图5A中所示，根据本发明的实施例的目标跟踪方法500包括以下步骤：

S502，根据首次跟踪算法输出被跟踪目标的位置坐标，同时初始化作用于时变系统之上的滤波器；以及

S504，当跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新；

S506，比较被跟踪目标的移动速度与补偿判定阈值，确定是否对当前位置坐标进行补偿；以及

S508，如果被跟踪目标的移动速度大于补偿判定阈值，则通过作用于时变系统之上的滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的当前位置坐标。

作用于时变系统之上的滤波器可以为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。

在本实施例中，作用于时变系统之上的滤波器为卡尔曼滤波器，以下以卡尔曼滤波器为例进行具体说明。

初始化卡尔曼滤波器包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。

在本实施例中，卡尔曼滤波器可以结合强跟踪滤波器对系统状态进行更新并且对被跟踪目标的当前位置坐标进行补偿。强跟踪滤波器可以是带多重次优渐消因子的强跟踪滤波器。强跟踪滤波器使用前，需要对其进行初始化，具体地，初始化强跟踪滤波器可以包括：初始化多重次优渐消因子的比例系数、强跟踪滤波器的遗忘因子、强跟踪滤波器的弱化因子。

进一步地，步骤504可以通过卡尔曼滤波器和强跟踪滤波器对系统状态进行更新。具体地，如图5B中所示，当步骤S504通过卡尔曼滤波器和强跟踪滤波器进行更新处理时，可以包括如下步骤：

S504-2，获取被跟踪目标的当前位置坐标，在此可以通过多种已知的目标跟踪方法获取被跟踪目标的当前位置坐标；

S504-4，利用当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计

S504-6，利用先验估计计算测量方程的残差γ；

S504-8，利用残差γ，计算强跟踪滤波器的中间变量V；

S504-10，利用中间变量V，计算强跟踪滤波器的中间变量N；

S504-12，利用中间变量N，计算强跟踪滤波器的中间变量M；

S504-14，利用中间变量M，计算多重次优渐消因子的系数c；

S504-16，利用多重次优渐消因子的系数c，计算强跟踪滤波器的多重次优渐消因子λ_i；

S504-18，利用强跟踪滤波器的多重次优渐消因子λ_i，计算卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；

S504-20，利用系统状态先验估计的误差协方差矩阵P_，计算卡尔曼滤波器的卡尔曼增益Kg；

S504-22，利用卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计

S504-24利用后验估计计算卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。

卡尔曼滤波器和强跟踪滤波器对有延迟的被跟踪目标的当前位置坐标进行延迟补偿包括：

利用所计算的以上参数，根据公式 $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.$ 计算补偿之后的被跟踪目标的当前位置坐标，其中，(x_real,y_real,z_real)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是补偿判定阈值，τ>0。

被跟踪目标的当前位置坐标可以是三维坐标或二维坐标，以上是当前位置坐标的三维形式，其是示例性的。在采用二维坐标的情况下，可以将三维坐标转变为二维坐标。

在本实施例中，使用作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行滤波去噪，大幅消除了跟踪算法的计算误差和系统噪声，去除了被跟踪目标的当前位置坐标中的数据抖动。引入强跟踪滤波器的多重次优渐消因子，提高了作用于时变系统之上的滤波器对移动目标的跟踪性能，从而得到最接近获取当前被跟踪目标位置时刻的目标真实运动状态的系统状态量。

图6是示出根据本发明的实施例的目标跟踪装置600的框图。根据本发明的实施例的目标跟踪装置600包括：

目标跟踪单元602，用于跟踪被跟踪目标位置以获取被跟踪目标的当前位置坐标；以及

更新和补偿单元604，包括作用于时变系统之上的滤波器，在目标跟踪单元602首次输出被跟踪目标的位置坐标时，使作用于时变系统之上的滤波器进行初始化，并且当目标跟踪单元602输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过作用于时变系统之上的滤波器对系统状态进行更新，当被跟踪目标的移动速度大于补偿判定阈值时，通过作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的被跟踪目标的当前位置坐标。

作用于时变系统之上的滤波器可以为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。

在作用于时变系统之上的滤波器为卡尔曼滤波器的情况下：

卡尔曼滤波器可以利用目标跟踪单元首次跟踪的被跟踪目标的当前位置坐标进行初始化，初始化卡尔曼滤波器包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。

在本实施例中，更新和补偿单元604可以通过卡尔曼滤波器和强跟踪滤波器一起对系统状态进行更新并且对被跟踪目标的当前位置坐标进行延迟补偿。强跟踪滤波器是带多重次优渐消因子的强跟踪滤波器。强跟踪滤波器使用前，需要进行初始化，具体地，初始化强跟踪滤波器可以包括：初始化多重次优渐消因子的比例系数、强跟踪滤波器的遗忘因子、强跟踪滤波器的弱化因子。

更新和补偿单元604利用卡尔曼滤波器和强跟踪滤波器对当前位置坐标进行更新，包括以下处理：

从目标跟踪单元获取被跟踪目标的当前位置坐标；利用当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计利用先验估计计算测量方程的残差γ；利用残差γ，计算强跟踪滤波器的中间变量V；利用中间变量V，计算强跟踪滤波器的中间变量N；利用中间变量N，计算强跟踪滤波器的中间变量M；利用中间变量M，计算多重次优渐消因子的系数c；利用多重次优渐消因子的系数c，计算强跟踪滤波器的多重次优渐消因子λ_i；利用强跟踪滤波器的多重次优渐消因子λ_i，计算卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；利用系统状态先验估计的误差协方差矩阵P_，计算卡尔曼滤波器的卡尔曼增益Kg；利用卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计利用后验估计计算卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。

更新和补偿单元利用卡尔曼滤波器和强跟踪滤波器对被跟踪目标的当前位置坐标进行延迟补偿具体包括：

利用所计算的以上参数，根据公式 $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.$ 计算补偿之后的被跟踪目标的当前位置坐标，其中，(x_real,y_real,z_real)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是补偿判定阈值，τ>0。

在本实施例中，更新和补偿单元604使用作用于时变系统之上的滤波器对被跟踪目标的当前位置坐标进行滤波去噪，大幅消除了跟踪算法的计算误差和系统噪声，去除了被跟踪目标的当前位置坐标中的数据抖动。引入强跟踪滤波器的多重次优渐消因子，提高了作用于时变系统之上的滤波器对移动目标的跟踪性能，从而得到最接近获取当前被跟踪目标位置时刻的目标真实运动状态的系统状态量。

图7是根据本发明的实施例的3D显示方法的流程图。如图7中所示，根据本发明的实施例的3D显示方法700包括以下步骤：S702，根据上述目标跟踪方法500获取被跟踪目标的当前位置坐标；以及S704，根据被跟踪目标的当前位置坐标进行排图，在显示设备上显示相应立体图像给用户。在本实施例中，显示设备包括显示模块与分光器件，通过分光器件将显示模块显示的图像分别发送到人的左眼与右眼，以显示立体图像。

图8是根据本发明的实施例的3D显示装置800的框图。如图8中所示，根据本发明的实施例的3D显示装置800包括：目标跟踪装置600，用于获取被跟踪目标的当前位置坐标；控制模块802，用于根据当前位置坐标控制排图；显示模块804，用于显示对应于排图的图像；以及分光器件806，用于将显示模块显示的图像分别发送到人的左眼与右眼，以显示立体图像。

在本实施例中，目标跟踪装置600具体请参见上述实施例所述的目标跟踪装置。分光器件806可以是液晶透镜、液晶微透镜、微透镜阵列、或者狭缝光栅。

更具体地，根据本发明的目标跟踪方法中的具体补偿算法包括以下步骤：

首先，在基于实时视频、红外探测、深度摄像头、穿戴设备等方式的目标跟踪的过程中，传感器连续且等间隔地采样，形成了一系列图像/数据帧。假设跟踪算法对每一帧图像/数据的计算耗时都是一致的，则每一帧计算得出的被跟踪目标位置都具有相同的时间延迟量Δt。

1、补偿算法初始化。首先，现有跟踪算法计算t₀时刻的原始采样数据，得到被跟踪目标的空间坐标值(x₀,y₀,z₀)。发生在跟踪算法完成对传感器第一帧图像/数据的处理，输出第一组被跟踪目标坐标(x₀,y₀,z₀)时，包括以下量的初始化：

1.1卡尔曼滤波器初始化：

k＝0，作为计数器；

$S=\left(\begin{array}{ccc}{S}^{\&prime;}& O_{1*3}& O_{1*3}\\ O_{1*3}& S^{\&prime;}& O_{1*3}\\ O_{1*3}& O_{1*3}& S^{\&prime;}\end{array}\right),$ 其中O_1*3＝(0 0 0)，S'＝(1 Δt (Δt)²/2)，Δt为因计算耗时等不可抗因素造成的时间上的延迟量，S是延迟量补偿的系数矩阵；

T＝传感器的采样间隔，例如，传感器采样速率为30FPS，则T＝(1/30)s；

是系统状态量(x,vx,ax,y,vy,ay,z,vz,az)的后验估计，此时被初始化为k＝0时的初始状态，其中(x₀,y₀,z₀)是跟踪算法输出的第一个被跟踪目标的位置坐标，vx、vy、vz分别是x、y、z方向上的速度，ax、ay、az分别是x、y、z方向上的加速度，此时均被初始化为0；

$A=\left(\begin{array}{ccc}{A}^{\&prime;}& O_3& O_3\\ O_3& A^{\&prime;}& O_3\\ O_3& O_3& A^{\&prime;}\end{array}\right),$ 其中 $O_3=\left(\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right),A^{\&prime;}=\left(\begin{array}{ccc}1& T& T^2/2\\ 0& 1& T\\ 0& 0& 1\end{array}\right),$ A是系统状态转移系数矩阵；

$G=\left(\begin{array}{ccc}{G}^{\&prime;}& O_{3*1}& O_{3*1}\\ O_{3*1}& G^{\&prime;}& O_{3*1}\\ O_{3*1}& O_{3*1}& G^{\&prime;}\end{array}\right),$ 其中 $O_{3*1}=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right),G^{\&prime;}=\left(\begin{array}{c}{T}^2/2\\ T\\ 1\end{array}\right),$ G是系统状态噪声增益矩阵；

$Q=\left(\begin{array}{ccc}{q}_{11}& 0& 0\\ 0& q_{22}& 0\\ 0& 0& q_{33}\end{array}\right),$ Q是系统状态噪声协方差矩阵，此处也就是加速度噪声的协方差矩阵(是一个对角矩阵)，q₁₁、q₂₂、q₃₃＞0，分别对应于加速度ax、ay、az的噪声方差，需要根据实际加速度变化的剧烈程度相应地选取q₁₁、q₂₂、q₃₃；

$H=\left(\begin{array}{ccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0\end{array}\right),$ 是测量系数矩阵；

$R=\left(\begin{array}{ccc}{r}_{11}& 0& 0\\ 0& r_{22}& 0\\ 0& 0& r_{33}\end{array}\right),$ R是测量噪声协方差矩阵，此处也就是跟踪算法输出的被跟踪目标位置的误差协方差矩阵(是一个对角矩阵)，r₁₁、r₂₂、r₃₃＞0，分别对应于跟踪算法计算出的被跟踪目标位置x、y、z的误差方差，需要根据实际跟踪算法误差的大小相应地选取r₁₁、r₂₂、r₃₃；

P＝diag(p₁₁,p₁₂,...,p₉₉)，P是卡尔曼滤波器的系统状态后验估计的误差协方差矩阵，p₁₁、p₂₂、…、p₉₉＞0，分别对应系统状态量(x,vx,ax,y,vy,ay,z,vz,az)的先验估计误差方差，初始化时可将p₁₁、p₄₄、p₇₇取为较小的值(分别对应x、y、z)，而将其他p_ii取为较大的值；

1.2带多重次优渐消因子的强跟踪滤波器初始化：

α＝(α₁,α₂,...,α₉)，α是多重次优渐消因子的比例系数，其中，α_i≥1，分别对应于系统状态量(x,vx,ax,y,vy,ay,z,vz,az)的变化速率，若从经验得知这组状态量中的第j个分量易于突变时，可相应地增大α_j的值，若没有任何经验可遵循时，可以取α_i＝1，i＝1,2,…,9，此时多重次优渐消因子退化成单重次优渐消因子；

ρ:0＜ρ≤1，ρ为强跟踪滤波器的遗忘因子，一般取ρ＝0.95；

β:β≥1，β为强跟踪滤波器的弱化因子，目的是使得滤波结果更平滑，根据需要选取一个≥1的数值；

1.3设置补偿判定阈值：

τ:τ＞0，τ为补偿算法的补偿判定阈值，当目标的移动速度大于等于补偿判定阈值时，认为目标快速移动，对目标的跟踪结果进行补偿运算；否则认为目标静止或慢速移动，不对跟踪结果进行补偿。

2、跟踪算法输出第二帧的数据及其以后帧的数据，补偿算法开始利用卡尔曼滤波器和强跟踪滤波器对跟踪延迟量进行补偿，如图9所示，包括以下步骤：

S900-1，跟踪算法新输出一组被跟踪目标的位置坐标数据(x1,y1,z1)，Z＝(x1,y1,z1)，Z是当前对被跟踪目标位置的测量值；

S900-2，是状态预测方程对系统状态量(x,vx,ax,y,vy,ay,z,vz,az)在摄像头采样时刻的先验估计；

S900-3，γ是测量方程的残差；

S900-4， $V=\left\{\begin{array}{cc}\mathrm{\&gamma;}*{\mathrm{\&gamma;}}^T& ,k=0\\ \frac{\mathrm{\&rho;}*V\_+\mathrm{\&gamma;}*{\mathrm{\&gamma;}}^T}{1+\mathrm{\&rho;}}& ,k\&GreaterEqual;0\end{array}\right.,$ V是强跟踪滤波器的中间变量，v_是上一次强滤波-卡尔曼滤波循环中V的值；

S900-5，N＝V-H*G*Q*G^T*H^T-β*R，N是强跟踪滤波器的中间变量；

S900-6，M＝A*P*A^T*H^T*H，M是强跟踪滤波器的中间变量；

S900-7，c是多重次优渐消因子的系数；(tr(N)为求矩阵N的迹，即矩阵N的对角元的和；α_i是α的各个元素，M_ii即矩阵M的各对角元，i＝1,2,…,9)

S900-8，λ_i＝max(α_i*c,1)，i＝1,2,…,9，(λ₁,λ₂,…,λ₉)是强跟踪滤波器的多重次优渐消因子；

S900-9，P_＝diag(λ₁,λ₂,...λ₉)*A*P*A^T+G*Q*G^T，P_是卡尔曼滤波器的系统状态先验估计的误差协方差矩阵；(diag(λ₁,λ₂,…,λ₉)表示生成一个9*9的对角矩阵，其对角元分别为λ₁,λ₂,…,λ₉，其他的元素均为零)

S900-10，Kg＝P_*H^T*(H*P_*H^T+R)^-，Kg是卡尔曼滤波器的卡尔曼增益；(”^-”表示求矩阵的逆)

S900-11， 是测量更新方程对系统状态量(x,vx,ax,y,vy,ay,z,vz,az)在传感器采样时刻的后验估计；

S900-12，P＝(I-Kg*H)*P_，P是卡尔曼滤波器的系统状态后验估计的误差协方差矩阵；

S900-13， $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.,$ (x_real,y_real,z_real)是跟踪算法输出的被跟踪目标位置(x1,y1,z1)经过滤波、补偿之后得到的真实被跟踪目标位置的坐标；(x,y,z)即卡尔曼滤波器的后验估计中的位置值(x,y,z)，||(vx,vy,vz)||为速度值(vx,vy,vz)的2-范数，即目标的移动速度大小；当移动速度大于等于预设的阈值τ时，才对跟踪结果进行补偿，否则直接取卡尔曼滤波器的后验估计中的位置值(x,y,z)；可替换地，也可以通过以下公式，根据中的位置、速度、加速度信息，结合时间延迟量Δt，计算得到t₀+Δt时刻目标的真实位置 $\left\{\begin{array}{c}{x}_{\mathrm{real}}=x+\mathrm{vx}*\mathrm{\&Delta;t}+\mathrm{ax}*\mathrm{\&Delta;}{t}^2/2\\ y_{\mathrm{real}}=y+\mathrm{vy}*\mathrm{\&Delta;t}+\mathrm{ay}*\mathrm{\&Delta;}{t}^2/2\\ z_{\mathrm{real}}=z+\mathrm{vz}*\mathrm{\&Delta;t}+\mathrm{az}*\mathrm{\&Delta;}{t}^2/2\end{array}\right..$

S900-14，V_＝V，更新V_；

S900-15，k＝k+1，即k增加1，返回(1)；

上述步骤S900-13中，得到的(x_real,y_real,z_real)是当前时刻被跟踪目标位置的真实坐标，是在跟踪算法输出的(x1,y1,z1)基础上，经过滤波、补偿得到的值。

以上对各个变量的表示进行了简化，以便于本领域技术人员更好地理解本发明，但是本领域技术人员能够想到，在实际算法中，需要根据循环设置k值。

以上的算法是被跟踪目标的三维跟踪补偿方法，如果只需要计算被跟踪目标的二维位置，则将上述的参数缩减至二维的情形即可，如下：

$S=\left(\begin{array}{cc}{S}^{\&prime;}& O_{1*3}\\ O_{1*3}& S^{\&prime;}\end{array}\right);$

是系统状态(x,vx,ax,y,vy,ay)的后验估计；

$A=\left(\begin{array}{cc}{A}^{\&prime;}& O_3\\ O_3& A^{\&prime;}\end{array}\right);$

$G=\left(\begin{array}{cc}{G}^{\&prime;}& O_{3*1}\\ O_{3*1}& G^{\&prime;}\end{array}\right);$

$Q=\left(\begin{array}{cc}{q}_{11}& 0\\ 0& q_{22}\end{array}\right);$

$H=\left(\begin{array}{cccccc}1& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0\end{array}\right);$

$R=\left(\begin{array}{cc}{r}_{11}& 0\\ 0& r_{22}\end{array}\right);$

P＝diag(p₁₁,p₂₂,…,p₆₆)；

α＝(α₁,α₂,…,α₆)。

在本发明的以上实施例中，被跟踪目标可以为人眼、脸部、头部等，也可以为人体的其他部位。

图10是示出根据本发明的实施例的在对延迟量进行补偿的情况下的3D显示示意图。如图10所示，如果对延迟量进行补偿，在t₀+Δt时刻，跟踪、补偿、排图等计算完毕，在显示设备上显示对应的立体图像，其左右眼视区对准补偿算法得到的左右眼位置，因为补偿算法对人体在Δt时间内的移动导致的延迟量做了补偿，所以人体移动时能准确跟踪并相应地改变排图，3D显示正常。显示设备包括显示模块与分光器件，分光器件将显示模块显示的图像分别发送至人的左眼和右眼，以给用户显示立体图像。

本发明在利用现有跟踪方法对被跟踪目标位置进行跟踪的跟踪结果的基础上，补偿了Δt时间内的空间延迟量，提高了目标跟踪的数据准确性和实时性，最终提高了裸眼3D显示质量。

以上所述仅为本发明的优选实施例，并不用于限制本发明。对于本领域技术人员来说，本发明可以存在各种修改和改变。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种目标跟踪方法，其特征在于，包括：

根据首次跟踪算法输出被跟踪目标的位置坐标，同时初始化作用于时变系统之上的滤波器；以及

当所述跟踪算法输出一个新的有延迟的被跟踪目标的当前位置坐标时，通过所述作用于时变系统之上的滤波器对系统状态进行更新；

比较被跟踪目标的移动速度与补偿判定阈值，确定是否对当前位置坐标进行补偿；以及

如果所述被跟踪目标的移动速度大于所述补偿判定阈值，则通过所述作用于时变系统之上的滤波器对所述有延迟的被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的被跟踪目标的当前位置坐标。

2.根据权利要求1所述的目标跟踪方法，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。

3.根据权利要求1所述的目标跟踪方法，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器，初始化所述卡尔曼滤波器包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。

4.根据权利要求1所述的目标跟踪方法，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器，所述卡尔曼滤波器结合强跟踪滤波器，对系统状态进行更新并且对被跟踪目标的当前位置坐标进行补偿。

5.根据权利要求4所述的目标跟踪方法，其特征在于，所述强跟踪滤波器是带多重次优渐消因子的强跟踪滤波器。

6.根据权利要求4或5所述的目标跟踪方法，其特征在于，所述方法包括通过所述卡尔曼滤波器和所述强跟踪滤波器进行以下更新处理：

获取所述被跟踪目标的当前位置坐标；

利用所述当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计

利用所述先验估计计算测量方程的残差γ；

利用所述残差γ，计算所述强跟踪滤波器的中间变量V；

利用所述中间变量V，计算所述强跟踪滤波器的中间变量N；

利用所述中间变量N，计算所述强跟踪滤波器的中间变量M；

利用所述中间变量M，计算多重次优渐消因子的系数c；

利用所述多重次优渐消因子的系数c，计算所述强跟踪滤波器的多重次优渐消因子λ_i；

利用所述强跟踪滤波器的多重次优渐消因子λ_i，计算所述卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；

利用所述系统状态先验估计的误差协方差矩阵P_，计算所述卡尔曼滤波器的卡尔曼增益Kg；

利用所述卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计以及

利用所述后验估计计算所述卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。

7.根据权利要求6所述的目标跟踪方法，其特征在于，通过所述卡尔曼滤波器和所述强跟踪滤波器进行延迟补偿包括：

利用所计算的以上参数，根据公式 $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.$ 计算补偿之后的被跟踪目标的当前位置坐标，其中，(x_real,_yreal,z_real)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是所述补偿判定阈值，τ>0。

8.根据权利要求7所述的目标跟踪方法，其特征在于，所述被跟踪目标的当前位置坐标是三维坐标或二维坐标。

9.一种3D显示方法，其特征在于，包括：

根据权利要求1至8中任一项所述的目标跟踪方法获取被跟踪目标的当前位置坐标；以及

根据所述被跟踪目标的当前位置坐标进行排图，在显示设备上显示相应立体图像给用户。

10.一种目标跟踪装置，其特征在于，包括：

目标跟踪单元，用于跟踪被跟踪目标位置以获取被跟踪目标的当前位置坐标；以及

更新和补偿单元，包括作用于时变系统之上的滤波器，在所述目标跟踪单元首次输出被跟踪目标位置坐标时，使所述作用于时变系统之上的滤波器进行初始化，并且当所述目标跟踪单元输出一个新的有延迟的被跟踪目标当前位置坐标时，通过所述作用于时变系统之上的滤波器对系统状态进行更新，当被跟踪目标的移动速度大于补偿判定阈值时，通过所述作用于时变系统之上的滤波器对所述被跟踪目标的当前位置坐标进行延迟补偿，并且输出补偿后的被跟踪目标的当前位置坐标。

11.根据权利要求10所述的目标跟踪装置，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器、平滑滤波器、巴特沃斯滤波器、二项式系数滤波器、或者维纳滤波器。

12.根据权利要求10所述的目标跟踪装置，其特征在于，所述作用于时变系统之上的滤波器为卡尔曼滤波器，使所述卡尔曼滤波器进行初始化包括：初始化计数器、延迟量补偿的系数矩阵、传感器的采样间隔、系统状态量的后验估计、系统状态转移系数矩阵、系统状态噪声增益矩阵、系统状态噪声协方差矩阵、测量系数矩阵、测量噪声协方差矩阵、系统状态后验估计的误差协方差矩阵。

13.根据权利要求12所述的目标跟踪装置，其特征在于，所述更新和补偿单元还包括：强跟踪滤波器，与所述卡尔曼滤波器一起对系统状态进行更新并且对被跟踪目标的当前位置坐标进行延迟补偿。

14.根据权利要求13所述的目标跟踪装置，其中，所述强跟踪滤波器是带多重次优渐消因子的强跟踪滤波器。

15.根据权利要求13或14所述的目标跟踪装置，其特征在于，所述更新和补偿单元利用所述卡尔曼滤波器和所述强跟踪滤波器对系统状态进行更新包括以下处理：

从所述目标跟踪单元获取所述被跟踪目标的当前位置坐标；

利用所述当前位置坐标，计算状态预测方程对系统状态量在采样时刻的先验估计

利用所述先验估计计算测量方程的残差γ；

利用所述残差γ，计算所述强跟踪滤波器的中间变量V；

利用所述中间变量V，计算所述强跟踪滤波器的中间变量N；

利用所述中间变量N，计算所述强跟踪滤波器的中间变量M；

利用所述中间变量M，计算多重次优渐消因子的系数c；

利用所述多重次优渐消因子的系数c，计算所述强跟踪滤波器的多重次优渐消因子λ_i；

利用所述强跟踪滤波器的多重次优渐消因子λ_i，计算所述卡尔曼滤波器的系统状态先验估计的误差协方差矩阵P_；

利用所述系统状态先验估计的误差协方差矩阵P_，计算所述卡尔曼滤波器的卡尔曼增益Kg；

利用所述卡尔曼增益Kg，计算测量更新方程对系统状态量在采样时刻的后验估计以及

利用所述后验估计计算所述卡尔曼滤波器的系统状态后验估计的误差协方差矩阵P。

16.根据权利要求15所述的目标跟踪装置，其特征在于，所述更新和补偿单元利用所述卡尔曼滤波器和所述强跟踪滤波器对所述被跟踪目标的当前位置坐标进行延迟补偿包括：

根据公式 $\left(\begin{array}{c}{x}_{\mathrm{real}}\\ y_{\mathrm{real}}\\ z_{\mathrm{real}}\end{array}\right)=\left\{\begin{array}{c}S*\hat{X},\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|\&GreaterEqual;\mathrm{\&tau;}\\ {(x,y,z)}^T,\left|\right|\mathrm{vx},\mathrm{vy},\mathrm{vz}\left|\right|<\mathrm{\&tau;}\end{array}\right.$ 计算补偿之后的被跟踪目标的当前位置坐标，其中，(x_real,y_real,z_real)是补偿之后的被跟踪目标的当前位置坐标，(x,y,z)是卡尔曼滤波器的后验估计中的位置坐标(x,y,z)，||(vx,vy,vz)||是速度值(vx,vy,vz)的2-范数，S是延迟补偿的系数矩阵，τ是所述补偿判定阈值，τ>0。

17.根据权利要求16所述的目标跟踪装置，其特征在于，所述被跟踪目标的当前位置坐标是三维坐标或二维坐标。

18.一种3D显示装置，其特征在于，包括：

根据权利要求10至17中任一项所述的目标跟踪装置，用于获取被跟踪目标的当前位置坐标；

控制模块，用于根据所述被跟踪目标的当前位置坐标控制排图；

显示模块，用于显示对应于所述排图的图像；以及

分光器件，用于将所述显示模块显示的图像分别发送到人的左眼与右眼，以显示立体图像。

19.根据权利要求18所述的3D显示装置，其特征在于，所述分光器件为液晶透镜、液晶微透镜、微透镜阵列、或者狭缝光栅。