CN116433717A - 一种人体跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开一种人体跟踪方法、装置、电子设备及存储介质，属于人工智能技术领域，该方法中，获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，状态参数的估计值是基于目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的，通过对视觉模块采集到的环境图像进行检测，得到目标人体的视觉观测数据，若激光雷达采集到激光点，则对激光点进行检测得到目标人体的雷达观测数据，进而基于视觉观测数据和雷达观测数据，对目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到目标人体在当前状态估计周期内状态参数的参数值。这样，可在跟踪目标人体的同时提供丰富的人体信息，因此，可扩宽人体跟踪方案的应用范围。

Description

一种人体跟踪方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种人体跟踪方法、装置、电子设备及存储介质。

背景技术

在安防等领域中，目标跟踪是一种典型的计算机视觉应用，然而，在人工智能领域中，智能设备主要是为了更好地与人进行交互，所以目标跟踪等价于人体跟踪。

相关技术中，智能设备是基于纯视觉进行人体跟踪的，然而，基于纯视觉的人体跟踪方案仅能给出人体宽度和人体相对智能设备的角度这样的人体跟踪信息，基于这些信息仅能做行人检测，而无法得知更多的人体信息，所以会限制人体跟踪方案的应用。

发明内容

本申请实施例提供一种人体跟踪方法、装置、电子设备及存储介质，用以解决相关技术中由于人体跟踪方案中的人体跟踪信息比较单调而会限制人体跟踪方案的应用的问题。

第一方面，本申请实施例提供一种人体跟踪方法，包括：

获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，所述状态参数的估计值是基于所述目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的；

通过对视觉模块采集到的环境图像进行检测，得到所述目标人体的视觉观测数据；

若激光雷达采集到激光点，对所述激光点进行检测得到所述目标人体的雷达观测数据；

基于所述视觉观测数据和所述雷达观测数据，对所述目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到所述目标人体在当前状态估计周期内状态参数的参数值。

第二方面，本申请实施例提供一种人体跟踪装置，包括：

获取模块，用于获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，所述状态参数的估计值是基于所述目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的；

视觉观测模块，用于通过对视觉模块采集到的环境图像进行检测，得到所述目标人体的视觉观测数据；

雷达观测模块，用于若激光雷达采集到激光点，对所述激光点进行检测得到所述目标人体的雷达观测数据；

参数更新模块，用于基于所述视觉观测数据和所述雷达观测数据，对所述目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到所述目标人体在当前状态估计周期内状态参数的参数值。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一人体跟踪方法。

第四方面，本申请实施例提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述任一人体跟踪方法。

本申请实施例中，结合目标人体的视觉观测数据和雷达观测数据对目标人体进行跟踪，在基于更多样的观测信息进行人体跟踪的同时，可提供更丰富的人体信息，因此，可扩宽人体跟踪方案的应用范围。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种机器人的极坐标的示意图；

图2为本申请实施例提供的一种激光雷达的扫描数据的示意图；

图3为本申请实施例提供的一种人体跟踪方法的流程图；

图4为本申请实施例提供的一种对目标人体进行视觉跟踪的方法流程图；

图5为本申请实施例提供的一种对目标人体进行雷达跟踪的方法流程图；

图6为本申请实施例提供的一种激光扫描区域的示意图；

图7为本申请实施例提供的一种人体跟踪的过程示意图；

图8为本申请实施例提供的一种视觉模块的工作过程示意图；

图9为本申请实施例提供的一种雷达系统的工作过程示意图；

图10为本申请实施例提供的一种人体跟踪装置的结构示意图；

图11为本申请实施例提供的一种用于实现人体跟踪方法的电子设备的硬件结构示意图。

具体实施方式

为了解决相关技术中由于人体跟踪方案中的人体跟踪信息比较单调而会限制人体跟踪方案的应用的问题，本申请实施例提供了一种人体跟踪方法、装置、电子设备及存储介质。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

为了便于理解本申请，本申请涉及的技术术语中：

环境图像，指视觉模块采集周围环境得到的图像数据；

视觉观测数据，指对环境图像进行分析得到的(θ，W)，其中，θ为人体所在位置点与机器人所在位置点的连线到预设参考线(如垂直线)之间的角度，W为人体宽度(单位为米)，可与像素单位相互转换；

点云数据，由激光雷达扫描周围障碍物得到，一组点云数据可包含多个激光点的数据，每个激光点对应一个激光扫描位置。

雷达观测数据，指对激光点进行分析得到的数据，例如，在人体跟踪领域，雷达观测数据包括θ和D，θ为跟踪人体所在位置点与机器人所在位置点的连线到预设参考线(如垂直线)之间的角度，D为跟踪人体与机器人之间的距离。

径向速度，即

指跟踪人体的速度在机器人视线方向上的速度分量，即速度矢量在视线方向的投影，又称视向速度。

切向速度，即

指跟踪人体作曲线运动时所具有的即时速度，它的方向沿运动轨道的切线方向，故又称切向速度。

本申请实施例的方案适用于安装有激光雷达和视觉模块的智能设备如机器人。后续将以智能设备是机器人为例对本申请的方案进行介绍。

图1为本申请实施例提供的一种机器人的极坐标示意图，机器人正前方为0°，左侧水平线为-90°，右侧水平线为90°。当使用激光雷达观测目标人体时，目标人体的雷达观测数据用(θ，D)表示，当使用视觉模块观测目标人体时，目标人体的视觉观测数据用(θ，W)表示。

一般地，机器人上的激光雷达安装在底盘上，所以激光雷达的扫描区域是比较低的，而目标人体一般位于机器人前方，所以在利用激光雷达跟踪目标人体时，一般取激光雷达前方设定角度(如180°)范围内的激光点。而器人上的视觉模块可以安装在头部和/或腹部，以尽可能实现与人眼类似的视觉功能，所以利用视觉模块可获取比较丰富的人体信息。

图2为本申请实施例提供的一种激光雷达扫描得到的激光点的示意图，图1中的每个灰色圆点表示一个激光点，对所有激光点进行聚类处理，可得到5个雷达观测到对象：对象1、对象2……对象5。

另外，需要说明的是，视觉模块的数据采集频率一般会高于激光雷达的数据采集频率，例如，视觉模块的数据采集周期小于或等于激光雷达的数据采集周期，而状态估计周期大于或等于视觉模块的数据采集周期而小于或等于激光雷达的数据采集周期，所以在结合目标人体的视觉观测数据和雷达观测数据跟踪目标人体时，可能在某些状态估计周期仅使用视觉观测数据进行人体跟踪，在某些状态估计周期使用视觉观测数据和雷达观测数据进行人体跟踪，但从多个状态估计周期来看，目标人体的状态参数的参数值是基于视觉观测数据和雷达观测数据共同更新的。由于视觉模块可给出目标人体丰富的视觉信息(如角度、人体宽度、人体特征等)，激光雷达可给出目标人体的角度和距离，所以结合视觉模块和激光雷达可在进行人体跟踪的同时提供更丰富的人体信息，有利于扩宽人体跟踪方案的应用范围。

图3为本申请实施例提供的一种人体跟踪方法的流程图。

在步骤S301中，获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，状态参数的估计值是基于目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的。

在结合视觉模块和激光雷达跟踪目标人体时，目标人体的状态参数X可包括θ、D、

和/>

中的至少一种。比如，状态参数X＝(θ，D，W)，比如，状态参数X＝(θ，D，W，/>

)，比如，状态参数X＝(θ，D，W，/>

)，再比如，状态参数X＝(θ，D，W，/>

)。

一般地，状态参数包括的参数种类越多，对目标人体的运动状态的描述越全面，更利于准确跟踪目标人体，后续，以状态参数X＝(θ，D，W，

)为例进行介绍。

具体实施时，可使用状态估计器对目标人体的状态参数进行估计，其中，状态估计器如卡尔曼滤波器、粒子滤波器等。以卡尔曼滤波器为例，卡尔曼滤波器的状态方程为：

X(t+1)＝G(t)*X(t)+W(t)；公式(1)

其中，dt为一个状态估计周期的时长，G(t)为状态转移矩阵，X(t)为目标人体在第t个状态估计周期内的状态参数的参数值，X(t+1)为目标人体在第t+1个状态估计周期内的状态参数的估计值，W(t)是过程噪声项，服从高斯分布，可根据实际场景设置。

具体实施时，将目标人体在上一状态估计周期内状态参数的参数值代入公式(1)的右边，即可得到目标人体在当前状态估计周期内状态参数的估计值。

另外，目标人体的状态参数的初始值可以人工标定，也可以提示目标人体靠近机器人，然后，将离机器人最近的观测对象的状态参数的参数值作为初始值。无论采用哪种方式，只需确定θ、D和W即可，

和/>

均可设置为0。

在步骤S302中，通过对视觉模块采集到的环境图像进行检测，得到目标人体的视觉观测数据。

其中，视觉模块可持续采集环境图像也可周期性采集环境图像，并且，当视觉模块周期性采集环境图像时，采集频率可高于状态估计频率(即采集周期小于状态估计周期)，以保证在每个状态估计周期内都会有新的环境图像，新的环境图像是指上一状态估计周期未使用的环境图像。

具体实施时，可以按照图4所示的流程确定目标人体的视觉观测数据：

在步骤S30201中，基于环境图像进行人体检测，得到环境图像中包含的各视觉观测对象的观测区域。

一般地，每个视觉观测对象的观测区域可用一个矩形框表示，所以视觉观测对象的观测区域也可叫做视觉观测对象的人体框。

在步骤S30202中，从各视觉观测区域中筛选观测区域对应有激光点的观测区域。

考虑到在商场、火车站等复杂场景中进行人体跟踪时，这些复杂场景中广告牌里的人物也可能被误识别为进行跟踪的人体，鉴于这些人物一般是没有腿的，而激光雷达的扫描高度接近脚踝能够检测到人腿，所以可结合获取到的激光点来排除一些不需要跟踪的人体，以提升人体跟踪的智能程度。

为此，对每个视觉观测对象，可判断激光点中是否有该视觉观测对象的观测区域对应的激光点，即是否有激光点落入该观测区域，若没有，则说明该视觉观测对象没有腿，该视觉观测对象可能是告牌里的人物，不需要进行人体跟踪；若有，则说明该视觉观测对象有腿，可进行人体跟踪。

在步骤S30203中，基于目标人体的人体特征、目标人体在当前状态估计周期内角度和距离的估计值进行区域估计，得到目标人体的视觉估计区域。

其中，目标人体的人体特征可以包括宽高比、衣服颜色、头颈比等，并且，为了提升人体跟踪准确度，可预先确定多个人体朝向如正面、侧面、背面，并分别确定目标人体在每个人体朝向下的这些人体特征。并且，目标人体的视觉估计区域也可用一个矩形框表示，所以目标人体的视觉估计区域也可叫做目标人体的人体框。

具体实施时，可根据目标人体在当前状态估计周期内θ和D的估计值，确定目标人体在当前状态估计周期内的估计位置，在环境图像中找到该估计位置对应的图像位置，并基于目标人体在当前状态估计周期内的W的估计值和目标人体的宽高比，确定出一个人体框，然后，将该人体框放置于环境图像中的这个图像位置处，环境图像中被该人体框覆盖的区域即是目标人体在当前状态估计周期内的视觉估计区域，其中，目标人体的宽高比如与目标人体在当前状态估计周期内的朝向对应的宽高比。

在步骤S30204中，确定筛选出的每个视觉观测对象的观测区域与目标人体的视觉估计区域的交并比。

如，对筛选出的每个视觉观测对象，确定该视觉观测对象的观测区域与目标人体的视觉估计区域的重叠面积S1，并确定该视觉观测对象的观测区域与目标人体的视觉估计区域的非重叠区域的面积S2，进而将S1与(S1+S2)的比值，确定为该视觉观测对象的观测区域与目标人体的视觉估计区域的交并比。

在步骤S30205中，将各视觉观测对象中对应的交并比超过预设值的作为第一视觉观测对象，以及将各视觉观测对象中对应的交并比未超过预设值的作为第二视觉观测对象。

具体实施时，若某个视觉观测对象对应的交并比超过预设值，则说明这个视觉观测对象可能是目标人体，若某个视觉观测对象对应的交并比未超过预设值，则说明这个视觉观测对象是新出现人体或是在指定时间段内的跟丢人体，其中，指定时间段的终点时刻可为当前时刻，且指定时间段可为一个、两个或更多个状态估计周期。

在步骤S30206中，基于各第一视觉观测对象的人体特征和目标人体的人体特征，确定目标人体的视觉观测数据。

比如，可按照以下步骤确定目标人体的视觉观测数据：

第一步，基于各第一视觉观测对象的人体特征和目标人体的人体特征，对各第一视觉观测对象和目标人体进行匹配。

比如，利用Kuhn-Munkres算法，计算各第一视觉观测对象的人体特征和目标人体的人体特征匹配时的代价，基于代价最低的匹配方式，确定各第一视觉观测对象和目标人体之间的匹配关系，其中，可选取score＝(1-iou)作为代价得分，iou是交并比。

第二步，若目标人体匹配到任一第一视觉观测对象，则确定对目标人体视觉观测成功，并基于与目标人体匹配的第一视觉观测对象的观测区域，确定目标人体的视觉观测数据。

其中，若目标人体匹配到任一第一视觉观测对象，则说明这个第一视觉观测对象就是目标人体，然后，可将观测区域的中心位置对应的角度值和观测区域的宽度值，确定为目标人体的视觉观测数据。

这样，基于各第一视觉观测对象的人体特征和目标人体的人体特征，对各第一视觉观测对象和目标人体进行匹配，再基于目标人体是否有匹配的第一视觉观测对象，确定目标人体的视觉观测结果，可达到对多个目标人体同时进行视觉观测的效果。

在步骤S30207中，基于第二视觉观测对象的视觉观测数据和雷达观测数据，初始化第二视觉观测对象对应的人体在当前状态估计周期内状态参数的参数值。

具体实施时，可将第二视觉观测对象的观测区域的中心位置对应的角度值，作为第二视觉观测对象的角度的初始值，将观测区域的宽度值作为第二视觉观测对象的人体宽度的初始值，将观测区域对应的距离值作为第二视觉观测对象的距离的初始值，并将第二视觉观测对象的切向速度和径向速度的初始值设置为0，从而得到第二人体对象对应的人体在当前状态估计周期内所有状态参数的参数值。

在步骤S30208中，将第二视觉观测对象的人体特征与在指定时间段内各跟丢人体的人体特征进行匹配。

具体实施时，可提取第二视觉观测对象的人体特征，取人体特征之间的距离作为匹配代价，利用Kuhn-Munkres算法计算第二视觉观测对象的人体特征与在指定时间段内各跟丢人体的人体特征之间匹配代价最低的匹配方案，基于该匹配方案确定第二视觉观测对象与各跟丢人体之间的匹配结果。

在步骤S30209中，基于第二视觉观测对象与各跟丢人体之间的匹配结果，确定第二视觉观测对象的人体标识。

具体实施时，若第二视觉观测对象的人体特征与各跟丢人体的人体特征均不匹配，则确定第二视觉观测对象为新出现人体，可为第二视觉观测对象分配新的人体标识；若第二视觉观测对象的人体特征与任一跟丢人体的人体特征匹配，则确定第二视觉观测对象对应的人体为跟丢人体，将与第二视觉观测对象匹配的跟丢人体的人体标识确定为第二视觉观测对象的人体标识。

在步骤S30210中，基于第二人体对象对应的人体在当前状态估计周期内状态参数的参数值和第二视觉观测对象的人体标识，跟踪第二视觉观测对象对应的人体。

具体实施时，若第二视觉观测对象的人体标识为新的人体标识，则提取第二视觉对象对应的人体的人体特征，建立新的人体标识与所提取的人体特征、以及第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪第二视觉观测对象对应的人体；若第二视觉观测对象的人体标识为任一跟丢人体的人体标识，则建立人体标识与对应的跟丢人体的人体特征、以及第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪第二视觉观测对象对应的人体。这样，当第二视觉观测对象对应的为跟丢人体时，还可借助于跟丢人体已有的人体标识和人体特征来跟踪第二视觉观测对象对应的人体，而不必再重新分配人体标识、重新进行人体特征提取，既利于节省机器人的计算资源也利于提升人体跟踪速度。

在步骤S303中，若激光雷达采集到激光点，对激光点进行检测得到目标人体的雷达观测数据。

一般地，激光雷达的数据采集频率比较低，其数据采集周期会大于状态估计周期，所以在当前状态估计周期内可能没有新采集到的激光点，也可能有新采集到的激光点，新采集到的激光点是指上一状态估计周期未使用的激光点。

具体实施时，可以按照图5所示的流程确定目标人体的雷达观测数据，该流程包括以下步骤：

在步骤S30301中，基于激光雷达的激光发射位置、目标人体在当前状态估计周期内角度、距离和人体宽度的估计值进行区域估计，得到目标人体的雷达估计区域。

具体实施时，可基于目标人体在当前状态估计周期内θ和D的估计值，确定目标人体在当前状态估计周期内的估计位置，然后，基于目标人体在当前状态估计周期内的估计位置和激光雷达的激光发射位置，确定一条扫描线，将以扫描线为中心线，扫描角度在目标角度范围内的激光扫描区域，确定为目标人体的运动区域(一个扇形区域)。其中，目标角度范围是根据目标人体在当前状态估计周期内W的估计值确定的。

参见图6，假设O为激光雷达的激光发射位置，P为目标人体在当前状态估计周期内的估计位置，激光发射位置与估计位置之间的距离为L，估计位置在上述扇形区域中对应的弧线为SS′，则可按照SS′的弧长(弧长为L*β)为目标人体在当前状态估计周期内人体宽度的指定倍数的条件求解β，目标角度范围则是指从-β到β的角度范围，其中，指定倍数大于1，比如指定倍数为1.2倍、1.5倍等。

在步骤S30302中，对雷达估计区域对应的激光点进行聚类处理，得到至少一个雷达观测对象。

其中，激光雷达可为单线激光雷达也可为多线激光雷达。激光雷达一次扫描所得到的激光点之间是按照角分辨率分布的，其中，角分辨率如0.5°。

具体实施时，在进行聚类处理时，可确定落入运动区域的相邻激光点对之间的距离，相邻激光点对包括两个位置上相邻的激光点，按照观测对象对应的激光点中相邻激光点对之间的距离小于设定距离的规则，对各激光点进行分组，得到至少一组激光点，进而将每组激光点对应的对象确定为一个观测对象，其中，相邻激光点对之间不间隔激光点。

在步骤S30303中，基于各雷达观测对象与目标人体在当前状态估计周期内的估计位置之间的距离，确定目标人体的雷达观测数据。

比如，按照以下步骤确定目标人体的雷达观测数据。

第一步、基于当前观测到的各雷达观测对象的位置与目标人体在当前状态估计周期内的估计位置之间的距离，对各雷达观测对象和目标人体进行匹配。

具体实施时，可计算当前观测到的每个雷达观测对象的位置与目标人体在当前状态估计周期内的估计位置之间的距离，然后，可以距离为代价得分，利用Kuhn-Munkres算法计算各雷达观测对象与目标人体之间的匹配代价，基于代价最小的匹配方式确定各雷达观测对象与目标人体之间的匹配结果。

第二步、在目标人体有成功匹配的任一雷达观测对象、且该雷达观测对象与目标人体在当前状态估计周期内的估计位置之间的距离小于预设距离时，确定对目标人体雷达观测成功，并基于该雷达观测对象的位置，确定目标人体的雷达观测数据。比如，将该雷达观测对象所在位置的角度值和距离值，确定为目标人体的雷达观测数据。

这样，基于各雷达观测对象与目标人体在当前状态估计周期内的估计位置之间的距离，对各雷达观测对象与目标人体进行匹配，基于目标人体是否有匹配的雷达观测对象，确定目标人体的雷达观测数据，可达到对多个目标人体同时进行雷达观测的效果。

在步骤S304中，基于视觉观测数据和雷达观测数据，对目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到目标人体在当前状态估计周期内状态参数的参数值。

考虑到视觉模块观测得到的目标人体的人体框是抖动的，目标人体在运动过程中人体框的抖动更严重，基于抖动严重的人体框所确定出的目标人体的角度和切向速度是不稳定的，而激光雷达只能检测到目标人体的人腿，若能够检测到人体的两条腿并以两条腿的中点来计算的角度和切向速度是准确的，但若只能检测到目标人体的一条腿，则以一条腿计算出的角度和切向速度也是不准确的。为了能够得到目标人体比较准确的角度和切向速度，可基于视觉观测数据和雷达观测数据一起更新目标人体的角度和切向速度。

为此，可根据以下步骤对目标人体在当前状态估计周期内的角度和切向速度的估计值进行更新：

先基于视觉观测数据，对目标人体在当前状态估计周期内角度和切向速度的估计值进行更新，再基于雷达观测数据，对目标人体在当前状态估计周期内更新后的角度值和切向速度值进行二次更新，以得到目标人体在当前状态估计周期内角度和切向速度的参数值；或者

先基于雷达观测数据，对目标人体在当前状态估计周期内角度和切向速度的估计值进行更新，再基于视觉观测数据，对目标人体在当前状态估计周期内更新后的角度值和切向速度值进行二次更新，以得到目标人体在当前状态估计周期内角度和切向速度的参数值。

也就是说，在基于视觉观测数据和雷达观测数据一起更新目标人体的角度和切向速度时，两者对角度和切向速度的先后更新顺序可自由设置。

考虑到基于视觉观测数据可得到比较准确的人体宽度，基于雷达观测数据可得到比较准确的距离和径向速度。为了能够准确地对目标人体在当前状态估计周期内的人体宽度、距离和径向速度的估计值进行更新，可基于视觉观测数据，对目标人体在当前状态估计周期内人体宽度的估计值进行更新，以得到目标人体在当前状态估计周期内人体宽度的参数值，基于雷达观测数据，对目标人体在当前状态估计周期内距离和径向速度的估计值进行更新，以得到目标人体在当前状态估计周期内距离和径向速度的参数值。

这样，可避免在确定距离和径向速度的值时引入视觉观测误差，在确定人体宽度时引入雷达观测误差，有利于比较准确地得到目标人体在当前状态估计周期内人体宽度、距离和径向速度的参数值。

基于上述介绍可知，基于视觉观测数据可更新目标人体在当前状态估计周期内角度、人体宽度和切向速度的值，基于雷达观测数据可更新目标人体在当前状态估计周期内角度、距离、切向速度和径向速度的值。下面分别对这两种更新情况进行介绍。

实际应用中，视觉模块对目标人体的观测方程如下：

其中，(θ(t+1),W(t+1))为目标人体在第t+1个状态估计周期内的视觉观测数据，X′(t+1)为目标人体在第t+1个状态估计周期内状态参数的视觉观测值，v(t+1)为测量噪声项，服从高斯分布，可根据实际需求设定。

具体实施时，将跟踪到的目标人体在当前状态估计周期内的视觉观测数据代入公式(3)的左边，可得到目标人体在当前状态估计周期内状态参数的视觉观测值，然后，可基于目标人体在当前状态估计周期内状态参数的视觉观测值，对目标人体在当前状态估计周期内状态参数的估计值进行更新。

实际应用中，激光雷达可对目标人体的观测方程如下：

其中，(θ(t+1),D(t+1))为目标人体在第t+1个状态估计周期内的雷达观测数据，X″(t+1)为目标人体在第t+1个状态估计周期内状态参数的雷达观测值，v2(t+1)为测量噪声项，服从高斯分布，可根据实际需求设定。

具体实施时，将跟踪到的目标人体在当前状态估计周期内的雷达观测数据代入公式(4)的左边，可得到目标人体在当前状态估计周期内状态参数的雷达观测值，然后，可基于目标人体在当前状态估计周期内的状态参数的雷达观测值，对目标人体在当前状态估计周期内状态参数的估计值进行更新。

此外，若在N个连续的状态估计周期内目标人体的视觉观测和雷达观测均为失败，则可停止跟踪目标人体，其中，N为正整数。

本申请实施例中，结合目标人体的视觉观测数据和雷达观测数据对目标人体进行跟踪，在基于更多样的观测信息进行人体跟踪的同时可提供更丰富的人体信息。并且，基于视觉观测数据和雷达观测数据均可做到同时跟踪多个目标人体，所以该方案也适用于多人体跟踪的场景。因此，本申请实施例提供的人体跟踪方案的应用范围比较广泛。

图7为本申请实施例提供的一种人体跟踪的过程示意图，下面结合图7对本申请实施例的人体跟踪方案进行说明。

状态估计模块，用于利用状态估计器队列中的每个状态估计器和相应目标人体在上一状态估计周期内的状态参数的参数值进行运动状态估计，得到目标人体在当前状态估计周期内的状态参数的估计值，其中，目标人体在每个状态估计周期内的状态参数包括θ，D，W，

和/>

雷达检测模块，用于获取激光雷达扫描周围障碍物得到的激光点，基于激光雷达的激光发射位置、目标人体在当前状态估计周期内θ，D和W的估计值进行区域估计，得到目标人体的雷达估计区域，对雷达扫描区域对应的激光点进行聚类处理，得到至少一个雷达观测对象。

雷达分配模块，用于基于当前观测到的每个雷达观测对象的位置与目标人体在当前状态估计周期内的估计位置之间的距离，对各雷达观测对象与目标人体进行匹配，其中，估计位置根据目标人体在当前状态估计周期内θ和D的估计值确定。

雷达校正模块，用于在雷达分配模块为目标人体成功匹配雷达观测对象时，基于雷达观测对象的位置，确定目标人体的雷达观测数据，基于目标人体的雷达观测数据，先更新目标人体在当前状态估计周期内状态参数的估计值。

视觉检测模块，用于获取广角相机采集的环境图像，基于环境图像进行人体检测，得到环境图像中包含的各视觉观测对象的观测区域，基于目标人体的人体特征、目标人体在当前状态估计周期内角度和距离的估计值进行区域估计，得到目标人体的视觉估计区域，基于各视觉观测对象的观测区域与目标人体的视觉估计区域的交并比，将各视觉观测对象中对应交并比超过预设值的作为第一视觉观测对象，将除第一视觉观测对象外的作为第二视觉观测对象。

视觉分配模块，用于基于各第一视觉观测对象对应的人体特征和目标人体的人体特征，对各第一视觉观测对象和目标人体进行匹配。

视觉校正模块，用于在视觉分配模块成功为目标人体匹配第一视觉观测对象时，基于该第一视觉观测对象的观测区域，确定目标人体的视觉观测数据，进而基于视觉观测数据，对利用雷达观测数据更新后的状态参数的值进行二次更新，以得到目标人体在当前状态估计周期内状态参数的参数值。

视觉重识别模块，用于将第二视觉观测对象的人体特征与各跟丢人体的人体特征进行比对，在第二视觉观测对象的人体特征与任一跟丢人体的人体特征匹配时，将这个跟丢人体的人体标识确定为第二视觉观测对象的人体标识；在第二视觉观测对象的人体特征与各跟丢人体的人体特征均不匹配时，为第二视觉观测对象分配新的人体标识。

状态估计器添加模块，用于基于第二视觉观测对象的视觉观测数据和雷达观测数据，初始化第二视觉观测对象对应的人体在当前状态估计周期内状态参数的参数值。进一步地，在第二视觉观测对象的人体标识为新的人体标识时，提取第二视觉对象对应的人体的人体特征，建立新的人体标识与所提取的人体特征、以及第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪第二视觉观测对象对应的人体；而在第二视觉观测对象的人体标识为任一跟丢人体的人体标识，则建立该人体标识与对应的跟丢人体的人体特征、以及第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪第二视觉观测对象对应的人体。

状态估计器退出模块，用于在雷达分配模块未成功匹配目标人体对应的雷达观测对象时，对目标人体的雷达跟踪失败次数进行计数，在视觉分配模块未成功匹配目标人体对应的视觉观测对象时，对目标人体的视觉跟踪失败次数进行计数。若连续N个周期对目标人体的视觉跟踪和雷达跟踪均失败，则从状态估计器列表中删除目标人体对应的状态估计器，以停止跟踪目标人体。

下面分别对各系统进行介绍。

1、状态估计器

实际应用中，可以用一个跟踪器来跟踪一个目标人体，跟踪器的主体部分是一个状态估计器。在进行人体跟踪时，可将所有正在跟踪的目标人体放在一个状态估计器队列中，发现未被跟踪的人体时，可初始化一个新的状态估计器并加入到队列中，符合退出条件的状态估计器会从队列中删除，其中，每个跟踪器都对应有人体感兴趣区域(Region OfInterest，ROI)(即相应目标人体的视觉估计区域)、以及在各种预设朝向下的人体特征值，这些信息可以方便检索的数据结构进行存储。

具体实施时，状态估计器可以选择卡尔曼滤波器或粒子滤波器，下文以卡尔曼滤波器为例。

假设目标人体在每个状态估计周期内的状态参数X为：

其中，θ为目标人体所在位置点与机器人所在位置点的连线到预设参考线(如垂直线)之间的角度，D为目标人体与机器人之间的距离，

和/>

分别为切向速度和径向速度，W为人体宽度(单位为米)，可与视觉坐标系下的宽度(单位为像素)相互转换。

运动模型采用一阶匀速运动模型，若目标人体相对机器人静止，则是一阶匀速运动模型的一种特殊形式。

卡尔曼滤波器的状态方程定义如公式(2)所示：

X(t+1)＝G(t)*X(t)+W(t)； 公式(2)

其中，dt为一个状态估计周期的时长，G(t)为状态转移矩阵，X(t)为目标人体在第t个状态估计周期内的状态参数的参数值，X(t+1)为目标人体在第t+1个状态估计周期内的状态参数的估计值，W(t)是过程噪声项，服从高斯分布，可根据实际场景设置。

视觉模块对目标人体的观测方程如下：

其中，(θ(t+1),W(t+1))为目标人体在第t+1个状态估计周期内的视觉观测数据，X′(t+1)为目标人体在第t+1个状态估计周期内状态参数的视觉观测值，v(t+1)为测量噪声项，服从高斯分布，可根据实际需求设定。

激光雷达对目标人体的观测方程如下：

其中，(θ(t+1),D(t+1))为目标人体在第t+1个状态估计周期内的雷达观测数据，X″(t+1)为目标人体在第t+1个状态估计周期内状态参数的雷达观测值，v2(t+1)为测量噪声项，服从高斯分布，可根据实际需求设定。

在视觉模块每次观测到新出现人体时，会为新出现人体分配一个人体标识，初始化一个新的状态估计器，通过激光雷达和视觉模块共同初始化这个状态估计器对应的状态参数的参数值，并将初始化后的状态估计器加入到状态估计器队列中，以开始跟踪相应人体。而在满足退出条件，比如，对任一目标人体，在5个连续的状态估计周期内既没有被激光雷达观测到，也没有被视觉模块观测到，就可将对应的状态估计器从队列中删除，以停止跟踪这个目标人体。

2、视觉模块

视觉模块可以包含一个人体检测器、一个人体朝向分类器和一个人体特征提取器，其中，人体检测器可输出人体ROI，人体朝向分类器可输出人体朝向信息如正面、侧面、背面等，人体特征提取器可输出一个浮点向量，这个浮点向量可用于表征人体的宽高比、头颈比、衣服颜色等特征。

图8为本申请实施例提供的一种视觉模块的处理流程的示意图。

在步骤S801中，利用人体检测器在获取到的环境图像中进行人体检测，得到环境图像中包含的各视觉观测对象的观测区域，并对各视觉观测对象的观测区域进行剔除处理。

考虑到人体ROI的面积不会太小，所以可丢弃面积小于预设面积的观测区域。另外，考虑到激光雷达的安装位置接近脚踝、可检测到人腿，借助于激光雷达扫描得到的激光点可辅助判断观测区域是否对应有人腿，若某个观测区域没有人腿则说明这个观测区域是不完整的，而不完整的观测区域通常来自墙面广告，所以也可以剔除未对应有激光点的观测区域。

在步骤S802中，根据每个目标人体的人体特征和目标人体在当前状态估计周期内θ和D的估计值进行人体区域估计，得到目标人体的视觉估计区域。

具体实施时，可根据目标人体在当前状态估计周期内θ和D的估计值，确定目标人体在当前状态估计周期内的估计位置，基于目标人体在当前状态估计周期内的W和目标人体的宽高比，确定出一个人体框，进而基于预先建立的估计位置与人体框之间的相对位置关系，对目标人体在当前状态估计周期内的估计位置和人体框进行组合，得到目标人体的视觉估计区域，其中，估计位置与人体框之间的相对位置关系如估计位置位于人体框的五分之一高度处、且位于人体框的垂直中心线上，目标人体的宽高比如与目标人体在当前状态估计周期内的朝向对应的宽高比。

在步骤S803中，计算每个视觉观测对象的观测区域与每个视觉估计区域的面积之间的交并比iou(取值范围在0～1之间)，对于iou达到预设值的视觉观测对象(即第一视觉观测对象)按步骤S804处理，其余的视觉观测对象(即第二视觉观测对象)按步骤S807步处理，其中，为了保证跟踪效果，预设值一般选取的较小比如0.05。

在步骤S804中，基于各第一视觉观测对象的人体特征和各目标人体的人体特征，对各第一视觉观测对象和各目标人体进行匹配。

具体实施时，可以选取score＝(1-iou)作为代价得分，利用Kuhn-Munkres算法计算各第一视觉观测对象和各目标人体进行匹配时总代价最低的匹配方案，基于总代价最低的匹配方案确定各第一视觉观测对象和各目标人体进行匹配之间的匹配关系。

在步骤S805中，对成功匹配到第一视觉观测对象的目标人体，基于第一视觉观测对象的观测区域，更新目标人体在当前状态估计周期内的朝向信息和在相应朝向下的人体特征信息。

具体实施时，若某个第一视觉观测对象匹配到目标人体，则说明在当前状态估计周期内成功跟踪到目标人体，然后，可基于第一视觉观测对象的观测区域，确定当前观测到的目标人体的θ和W，将θ和W代入公式(4)，得到目标人体在当前状态估计周期内状态参数的视觉观测值，进而基于目标人体在当前状态估计周期内状态参数的视觉观测值，对目标人体在当前状态估计周期内状态参数的估计值进行更新，并且，可调用人体朝向分类器对第一视觉观测对象的观测区域进行朝向分析，得到目标人体在当前状态估计周期内的朝向信息，调用人体特征提取器对第一视觉观测对象的观测区域进行特征提取，得到目标人体在当前状态估计周期内的人体特征信息，然后，更新目标人体在相应朝向下的人体特征信息，并保存到人体特征队列中。

在步骤S806中，对未成功匹配到第一视觉观测对象的目标人体，说明当前状态估计周期内对目标人体的视觉跟踪失败，可将目标人体的视觉跟踪失败次数加1。

在步骤S807中，初始化每个第二视觉观测对象对应的状态参数的参数值，分配人体标识，分配状态估计器，以跟踪第二视觉观测对象。

具体实施时，可将第二视觉观测对象的观测区域的中心位置对应的θ的值作为θ的初始值，将第二视觉观测对象的观测区域的W的值，作为W的初始值，将激光雷达观测到的第二视觉观测对象的观测区域的D的值，作为D的初始值，

和/>

均可初始化为0。

进一步地，可提取每个第二视觉观测对象的观测区域对应的人体特征，利用Kuhn-Munkres算法计算各第二视觉观测对象对应的人体特征与各跟丢人体的人体特征之间匹配代价最低的匹配方案，基于该匹配方案确定各第二视觉观测对象与各跟丢人体之间的匹配关系，其中，人体特征一般是特征向量的形式，所以匹配代价可选取两个特征向量之间的L2距离，并且，在计算L2距离的时候，可选取与朝向分类匹配的人体特征向量，以提高匹配准确性。

然后，针对每个第二视觉观测对象，在第二视觉观测对象与某个跟丢人体匹配时，说明第二视觉观测对象对应的人体是跟丢人体，可将已为跟丢人体分配的人体标识和状态估计器关联，并将第二视觉观测对象对应的状态参数的初始值作为状态估计器的初始参数，以跟踪第二视觉观测对象对应的人体；而在确定第二视觉观测对象与各跟丢人体均不匹配时，说明第二视觉观测对象对应的人体是新出现人体，可为第二视觉观测对象对应的人体分配新的人体标识，分配新的状态估计器，并将这个人体标识与为这个状态估计器关联，并将第二视觉观测对象对应的状态参数的初始值作为状态估计器的初始参数，以跟踪第二视觉观测对象对应的人体。这样，可避免为同一人体重复分配人体标识，提升人体跟踪的合理性。

3、雷达系统

雷达系统主要完成两方面工作：一是将激光点从机器人极坐标系映射到图像坐标系，辅助视觉模块工作；二是通过聚类处理从确定的雷达扫描区域中检测出人腿对象。以下参考图9所示的流程详述，该流程包括以下步骤。

在步骤S901中，根据每个目标人体在当前状态估计周期内θ和D的估计值，确定目标人体在当前状态估计周期内的估计位置。

在步骤S902中，根据激光雷达的发射位置、目标人体在当前状态估计周期内的估计位置，以及目标人体在当前状态估计周期内W的估计值，确定目标人体的运动区域。

如，以激光雷达的发射位置与估计位置的连线为扫描线，将以扫描线为中心线，扫描角度在目标角度范围内的激光扫描区域，确定为目标人体的运动区域，目标角度范围是根据目标人体在当前状态估计周期内W的估计值确定的。

在步骤S903中，在目标人体的运动区域对激光点进行聚类处理，得到至少一个雷达观测对象，并对雷达观测对象进行剔除处理。

具体实施时，可先将激光点从机器人极坐标系映射到图像坐标系，该步骤需要预设相机的内参矩阵、畸变系数，以及相机和雷达之间的外参矩阵，根据相机系统成像公式计算，然后，再对目标人体的运动区域对激光点进行聚类处理，进而对聚类处理得到的雷达观测对象进行剔除处理。比如，丢弃不符合人腿特征的雷达观测对象，并将雷达观测对象的位置到目标人体在当前状态估计周期内的估计位置之间的距离，超过设定距离的雷达观测对象丢弃，留下的每一个雷达观测对象可视为一个人腿对象。

在步骤S904中，对剔除后的各雷达观测对象和各目标人体进行匹配处理。

比如，计算剔除后的每个雷达观测对象的位置与每个目标人体在当前状态估计周期内的估计位置之间的欧式距离，以欧式距离作为代价得分，使用Kuhn-Munkres算法，计算各雷达观测对象与各目标人体之间代价最低的匹配方式，从而确定每个目标人体是否有成功匹配的雷达观测对象。

在步骤S905中，若任一目标人体有成功匹配的雷达观测对象，基于雷达观测对象的位置，对目标人体在当前状态估计周期内状态参数的值进行更新。

具体实施时，将任一目标人体成功匹配的雷达观测对象对应的θ和D代入公式(5)，可得到对应目标人体在当前状态估计周期内状态参数的视觉观测值，然后，基于目标人体在当前状态估计周期内状态参数的视觉观测值，对目标人体在当前状态估计周期内状态参数的值进行更新。

在步骤S906中，若任一目标人体没有成功匹配的雷达观测对象，则说明在当前状态估计周期内未成功跟踪到目标人体，可将目标人体的雷达跟踪失败次数加1。

基于相同的技术构思，本申请实施例还提供一种人体跟踪装置，人体跟踪装置解决问题的原理与上述人体跟踪方法相似，因此人体跟踪装置的实施可参见人体跟踪方法的实施，重复之处不再赘述。

图10为本申请实施例提供的一种人体跟踪装置的结构示意图，包括获取模块1001、视觉观测模块1002、雷达观测模块1003、参数更新模块1004。

获取模块1001，用于获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，所述状态参数的估计值是基于所述目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的；

视觉观测模块1002，用于通过对视觉模块采集到的环境图像进行检测，得到所述目标人体的视觉观测数据；

雷达观测模块1003，用于若激光雷达采集到激光点，对所述激光点进行检测得到所述目标人体的雷达观测数据；

参数更新模块1004，用于基于所述视觉观测数据和所述雷达观测数据，对所述目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到所述目标人体在当前状态估计周期内状态参数的参数值。

在一些可能的实施方式中，所述目标人体在每个状态估计周期内的状态参数包括以下至少一种：

所述目标人体所在位置点与所述智能设备所在位置点的连线到预设参考线之间的角度、所述目标人体与所述智能设备之间的距离、所述目标人体的人体宽度、切向速度和径向速度。

在一些可能的实施方式中，参数更新模块1004具体用于根据以下步骤对所述目标人体在当前状态估计周期内的角度和切向速度的估计值进行更新：

先基于所述视觉观测数据，对所述目标人体在当前状态估计周期内角度和切向速度的估计值进行更新，再基于所述雷达观测数据，对所述目标人体在当前状态估计周期内更新后的角度值和切向速度值进行二次更新，以得到所述目标人体在当前状态估计周期内角度和切向速度的参数值；或者

先基于所述雷达观测数据，对所述目标人体在当前状态估计周期内角度和切向速度的估计值进行更新，再基于所述视觉观测数据，对所述目标人体在当前状态估计周期内更新后的角度值和切向速度值进行二次更新，以得到所述目标人体在当前状态估计周期内角度和切向速度的参数值。

在一些可能的实施方式中，所述参数更新模块1004具体用于：

基于所述视觉观测数据，对所述目标人体在当前状态估计周期内人体宽度的估计值进行更新，以得到所述目标人体在当前状态估计周期内人体宽度的参数值；基于所述雷达观测数据，对所述目标人体在当前状态估计周期内距离和径向速度的估计值进行更新，以得到所述目标人体在当前状态估计周期内距离和径向速度的参数值。

在一些可能的实施方式中，所述视觉观测模块1002具体用于：

基于所述环境图像进行人体检测，得到所述环境图像中包含的各视觉观测对象的观测区域；基于所述目标人体的人体特征、所述目标人体在当前状态估计周期内角度和距离的估计值进行区域估计，得到所述目标人体的视觉估计区域；基于各视觉观测对象的观测区域与所述目标人体的视觉估计区域的交并比，从各视觉观测对象中选择对应交并比超过预设值的第一视觉观测对象；基于各第一视觉观测对象的人体特征和所述目标人体的人体特征，确定所述目标人体的视觉观测数据。

在一些可能的实施方式中，所述视觉观测模块1002还用于：

在基于各视觉观测对象的观测区域与所述目标人体的视觉估计区域的交并比，从各视觉观测对象中选择对应交并比超过预设值的第一视觉观测对象之前，对于每个视觉观测对象，若所述激光点中没有所述视觉观测对象的观测区域对应的激光点，则不对所述视觉观测对象执行任何处理。

在一些可能的实施方式中，所述视觉观测模块1002具体用于：

基于各第一视觉观测对象的人体特征和所述目标人体的人体特征，对各第一视觉观测对象和所述目标人体进行匹配；若所述目标人体匹配到任一第一视觉观测对象，确定对所述目标人体视觉观测成功，并基于与所述目标人体匹配的第一视觉观测对象的观测区域，确定所述目标人体的视觉观测数据。

在一些可能的实施方式中，所述视觉观测模块1002还用于：

若确定各视觉观测对象中存在对应交并比未超过所述预设值的第二视觉观测对象，则基于所述第二视觉观测对象的视觉观测数据和雷达观测数据，初始化所述第二视觉观测对象对应的人体在当前状态估计周期内状态参数的参数值；将所述第二视觉观测对象的人体特征与在指定时间段内各跟丢人体的人体特征进行匹配；基于所述第二视觉观测对象与各跟丢人体之间的匹配结果，确定所述第二视觉观测对象的人体标识；基于所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值和所述第二视觉观测对象的人体标识，跟踪所述第二视觉观测对象对应的人体。

在一些可能的实施方式中，所述视觉观测模块1002具体用于：

若所述第二视觉观测对象的人体特征与各跟丢人体的人体特征均不匹配，则确定所述第二视觉观测对象为新出现人体，并为所述第二视觉观测对象分配新的人体标识；或者

若所述第二视觉观测对象的人体特征与任一跟丢人体的人体特征匹配，则确定所述第二视觉观测对象对应的人体为跟丢人体，将与所述第二视觉观测对象匹配的跟丢人体的人体标识确定为所述第二视觉观测对象的人体标识。

在一些可能的实施方式中，所述视觉观测模块1002具体用于：

若所述第二视觉观测对象的人体标识为所述新的人体标识，则提取所述第二视觉对象对应的人体的人体特征，建立所述新的人体标识与所提取的人体特征、以及所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪所述第二视觉观测对象对应的人体；或者

若所述第二视觉观测对象的人体标识为任一跟丢人体的人体标识，则建立所述人体标识与对应的跟丢人体的人体特征、以及所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪所述第二视觉观测对象对应的人体。

在一些可能的实施方式中，所述雷达观测模块1003具体用于：

基于所述激光雷达的激光发射位置、所述目标人体在当前状态估计周期内角度、距离和人体宽度的估计值进行区域估计，得到所述目标人体的雷达估计区域；对所述雷达估计区域对应的激光点进行聚类分析，得到至少一个雷达观测对象；基于各雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离，确定所述目标人体的雷达观测数据。

在一些可能的实施方式中，所述雷达观测模块1003具体用于：

基于各雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离，对各雷达观测对象和所述目标人体进行匹配；在所述目标人体有成功匹配的任一雷达观测对象、且该雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离小于预设距离时，确定对所述目标人体雷达观测成功，并基于该雷达观测对象的位置，确定所述目标人体的雷达观测数据。

在一些可能的实施方式中，所述装置还包括控制模块1005，用于：

针对每个目标人体，若在N个连续的状态估计周期内，所述目标人体的视觉观测和雷达观测均失败，则停止跟踪所述目标人体，其中，N为正整数。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图11为本申请实施例提供的一种电子设备的结构示意图，该电子设备包括收发器1101以及处理器1102等物理器件，其中，处理器1102可以是一个中央处理单元(CentralProcessing Unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器1101用于电子设备和其他设备进行数据收发。

该电子设备还可以包括存储器1103用于存储处理器1102执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器1103可以是易失性存储器(Volatile Memory)，例如随机存取存储器(Random-Access Memory，RAM)；存储器1103也可以是非易失性存储器(Non-VolatileMemory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(Flash Memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)、或者存储器1103是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1103可以是上述存储器的组合。

本申请实施例中不限定上述处理器1102、存储器1103以及收发器1101之间的具体连接介质。本申请实施例在图11中仅以存储器1103、处理器1102以及收发器1101之间通过总线1104连接为例进行说明，总线在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器1102可以是专用硬件或运行软件的处理器，当处理器1102可以运行软件时，处理器1102读取存储器1103存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的人体跟踪方法。

本申请实施例还提供了一种存储介质，当存储介质中的指令由电子设备的处理器执行时，该电子设备能够执行前述实施例中涉及的人体跟踪方法。

在一些可能的实施方式中，本申请提供的人体跟踪方法的各个方面还可以实现为一种程序产品的形式，所述程序产品中包括有程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的人体跟踪方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例中用于人体跟踪的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种人体跟踪方法，其特征在于，应用于智能设备，所述方法包括：

获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，所述状态参数的估计值是基于所述目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的；

通过对视觉模块采集到的环境图像进行检测，得到所述目标人体的视觉观测数据；

若激光雷达采集到激光点，对所述激光点进行检测得到所述目标人体的雷达观测数据；

基于所述视觉观测数据和所述雷达观测数据，对所述目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到所述目标人体在当前状态估计周期内状态参数的参数值。

2.如权利要求1所述的方法，其特征在于，所述目标人体在每个状态估计周期内的状态参数包括以下至少一种：

所述目标人体所在位置点与所述智能设备所在位置点的连线到预设参考线之间的角度、所述目标人体与所述智能设备之间的距离、所述目标人体的人体宽度、切向速度和径向速度。

3.如权利要求2所述的方法，其特征在于，根据以下步骤对所述目标人体在当前状态估计周期内的角度和切向速度的估计值进行更新：

先基于所述视觉观测数据，对所述目标人体在当前状态估计周期内角度和切向速度的估计值进行更新，再基于所述雷达观测数据，对所述目标人体在当前状态估计周期内更新后的角度值和切向速度值进行二次更新，以得到所述目标人体在当前状态估计周期内角度和切向速度的参数值；或者

先基于所述雷达观测数据，对所述目标人体在当前状态估计周期内角度和切向速度的估计值进行更新，再基于所述视觉观测数据，对所述目标人体在当前状态估计周期内更新后的角度值和切向速度值进行二次更新，以得到所述目标人体在当前状态估计周期内角度和切向速度的参数值。

4.如权利要求2或3所述的方法，其特征在于，

根据以下步骤对所述目标人体在当前状态估计周期内的人体宽度的估计值进行更新：基于所述视觉观测数据，对所述目标人体在当前状态估计周期内人体宽度的估计值进行更新，以得到所述目标人体在当前状态估计周期内人体宽度的参数值；

根据以下步骤对所述目标人体在当前状态估计周期内的距离和径向速度的估计值进行更新：基于所述雷达观测数据，对所述目标人体在当前状态估计周期内距离和径向速度的估计值进行更新，以得到所述目标人体在当前状态估计周期内距离和径向速度的参数值。

5.如权利要求2所述的方法，其特征在于，通过对视觉模块采集到的环境图像进行检测，得到所述目标人体的视觉观测数据，包括：

基于所述环境图像进行人体检测，得到所述环境图像中包含的各视觉观测对象的观测区域；

基于所述目标人体的人体特征、所述目标人体在当前状态估计周期内角度和距离的估计值进行区域估计，得到所述目标人体的视觉估计区域；

基于各视觉观测对象的观测区域与所述目标人体的视觉估计区域的交并比，从各视觉观测对象中选择对应交并比超过预设值的第一视觉观测对象；

基于各第一视觉观测对象的人体特征和所述目标人体的人体特征，确定所述目标人体的视觉观测数据。

6.如权利要求5所述的方法，其特征在于，在基于各视觉观测对象的观测区域与所述目标人体的视觉估计区域的交并比，从各视觉观测对象中选择对应交并比超过预设值的第一视觉观测对象之前，所述方法还包括：

对于每个视觉观测对象，若所述激光点中没有所述视觉观测对象的观测区域对应的激光点，则不对所述视觉观测对象执行任何处理。

7.如权利要求5或6所述的方法，其特征在于，基于各第一视觉观测对象的人体特征和所述目标人体的人体特征，确定所述目标人体的视觉观测数据，包括：

基于各第一视觉观测对象的人体特征和所述目标人体的人体特征，对各第一视觉观测对象和所述目标人体进行匹配；

若所述目标人体匹配到任一第一视觉观测对象，确定对所述目标人体视觉观测成功，并基于与所述目标人体匹配的第一视觉观测对象的观测区域，确定所述目标人体的视觉观测数据。

8.如权利要求5或6所述的方法，其特征在于，所述方法还包括：

若确定各视觉观测对象中存在对应交并比未超过所述预设值的第二视觉观测对象，则基于所述第二视觉观测对象的视觉观测数据和雷达观测数据，初始化所述第二视觉观测对象对应的人体在当前状态估计周期内状态参数的参数值；

将所述第二视觉观测对象的人体特征与在指定时间段内各跟丢人体的人体特征进行匹配；

基于所述第二视觉观测对象与各跟丢人体之间的匹配结果，确定所述第二视觉观测对象的人体标识；

基于所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值和所述第二视觉观测对象的人体标识，跟踪所述第二视觉观测对象对应的人体。

9.如权利要求8所述的方法，其特征在于，基于所述第二视觉观测对象与各跟丢人体之间的匹配结果，确定所述第二视觉观测对象的人体标识，包括：

若所述第二视觉观测对象的人体特征与各跟丢人体的人体特征均不匹配，则确定所述第二视觉观测对象为新出现人体，并为所述第二视觉观测对象分配新的人体标识；或者

若所述第二视觉观测对象的人体特征与任一跟丢人体的人体特征匹配，则确定所述第二视觉观测对象对应的人体为跟丢人体，将与所述第二视觉观测对象匹配的跟丢人体的人体标识确定为所述第二视觉观测对象的人体标识。

10.如权利要求9所述的方法，其特征在于，基于所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值和所述第二视觉观测对象的人体标识，跟踪所述第二视觉观测对象对应的人体，包括：

若所述第二视觉观测对象的人体标识为所述新的人体标识，则提取所述第二视觉对象对应的人体的人体特征，建立所述新的人体标识与所提取的人体特征、以及所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪所述第二视觉观测对象对应的人体；或者

若所述第二视觉观测对象的人体标识为任一跟丢人体的人体标识，则建立所述人体标识与对应的跟丢人体的人体特征、以及所述第二人体对象对应的人体在当前状态估计周期内状态参数的参数值之间的对应关系，以跟踪所述第二视觉观测对象对应的人体。

11.如权利要求2所述的方法，其特征在于，对所述激光点进行检测得到所述目标人体的雷达观测数据，包括：

基于所述激光雷达的激光发射位置、所述目标人体在当前状态估计周期内角度、距离和人体宽度的估计值进行区域估计，得到所述目标人体的雷达估计区域；

对所述雷达估计区域对应的激光点进行聚类分析，得到至少一个雷达观测对象；

基于各雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离，确定所述目标人体的雷达观测数据。

12.如权利要求11所述的方法，其特征在于，基于各雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离，确定所述目标人体的雷达观测数据，包括：

基于各雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离，对各雷达观测对象和所述目标人体进行匹配；

在所述目标人体有成功匹配的任一雷达观测对象、且该雷达观测对象与所述目标人体在当前状态估计周期内的估计位置之间的距离小于预设距离时，确定对所述目标人体雷达观测成功，并基于该雷达观测对象的位置，确定所述目标人体的雷达观测数据。

13.如权利要求1所述的方法，其特征在于，所述方法还包括：

针对每个目标人体，若在N个连续的状态估计周期内，所述目标人体的视觉观测和雷达观测均失败，则停止跟踪所述目标人体，其中，N为正整数。

14.一种人体跟踪装置，其特征在于，应用于智能设备，包括：

获取模块，用于获取已跟踪的目标人体在当前状态估计周期内状态参数的估计值，所述状态参数的估计值是基于所述目标人体在上一状态估计周期内状态参数的参数值进行运动状态估计得到的；

视觉观测模块，用于通过对视觉模块采集到的环境图像进行检测，得到所述目标人体的视觉观测数据；

雷达观测模块，用于若激光雷达采集到激光点，对所述激光点进行检测得到所述目标人体的雷达观测数据；

参数更新模块，用于基于所述视觉观测数据和所述雷达观测数据，对所述目标人体在当前状态估计周期内状态参数的估计值进行更新，以得到所述目标人体在当前状态估计周期内状态参数的参数值。

15.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-13任一所述的方法。

16.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-13任一所述的方法。

Images