CN115407320A - 一种室内人体空间定位及姿态轮廓识别方法 - Google Patents

Abstract

一种室内人体空间定位及姿态轮廓识别方法，对室内设置识别系统，包括顶面的热点毫米波雷达及探测毫米波雷达，以及不同墙面上的探测器组，探测器组包括一探测毫米波雷达和一视觉摄像头，根据探测毫米波雷达和视觉摄像头的可信度对两者得到的6自由度检测值加权求和平均，获得探测器组的6自由度结果，再将探测器组和顶面的探测毫米波雷达的探测结果求和平均，最终获得目标人在世界坐标系中的6自由度结果。本发明采用较低成本的探测器，将多角度、不同类型的传感器进行融合，实现室内定位和人体姿态识别的精确性，避免遮挡等问题造成的错误，实时探测有利于预测人体姿态的趋势，可用于行为特征的监控，还适用于对有行为特征表现的疾病的信息采集。

Description

一种室内人体空间定位及姿态轮廓识别方法

技术领域

本发明属于传感检测技术领域，涉及通过毫米波雷达及视觉对室内人体姿态的检测，为一种室内人体空间定位及姿态轮廓识别方法

背景技术

当前关于毫米波的空间定位技术，大多是聚焦在人的室内的轨迹方面，如利用毫米波的TDOA算法以及卡尔曼滤波进行室内人体静态和动态定位[1]，对室内行人的定位轨迹研究[2]，基于FMCW雷达的人体运动轨迹检测系统[3]，但是目前主要是利用毫米波雷达对人的轨迹进行定位，还无法定位人体的姿态。另一方面，也存在毫米波雷达的人体三维成像技术，如在安全检查时，利用毫米波技术对于人体进行三维成像建模[4]，但是该方法三维重建需要在固定点中完成，无法在人体的行动中实时完成。本申请提出一种为了实时定位和实时计算目标人在室内的实时姿态轮廓的建模方法。

本申请是以室内空间为主要的场景，采用多个异种传感器融合的方式，利用视觉摄像头和毫米波雷达传感器。多个异种传感器联合从多角度对目标人探测，以较低的成本，实现定位相对准确的人体的三维轮廓姿态的建模模型，以本申请为模型的毫米波雷达人体姿态识别系统，最终能够实现实时人体姿态轮廓的识别。

参考文献

[1]李芳馨,涂锐,韩军强,张垠,洪菊.基于5G毫米波到达时间差的室内定位算法[J].全球定位系统,2021,46(02):1-6.

[2]于邓波.基于室内行人定位轨迹的行为模式识别与分析[D].武汉大学,2019.

[3]尹辉斌,许志猛.基于FMCW雷达的人体运动轨迹检测系统[J].传感器与微系统,2020,39(09):116-118.

[4]谢朋飞.毫米波人体三维成像及目标检测[D].西安电子科技大学,2019.

发明内容

本发明要解决的问题是：如何实时检测室内人体空间位置及姿态，兼顾检测精度及检测成本。

本发明的技术方案为：一种室内人体空间定位及姿态轮廓识别方法，对室内设置识别系统，识别系统由探测器组成，包括设置在顶面的热点毫米波雷达及探测毫米波雷达、以及设置在不同墙面上的探测器组，所述探测器组包括一探测毫米波雷达和一视觉摄像头；

首先由室内顶面设置的热点毫米波雷达实时检测室内是否有人，以及人所位于的空间范围，将检测到的人体作为目标人，并根据检测的空间范围启动设置在不同墙面的探测器组以及设置在顶面的探测毫米波雷达，实时探测目标人的空间位置和姿态，其中，从视觉摄像头获取目标人关键点的空间6自由度检测值以及对应的视觉可信度，从探测毫米波雷达获得目标人空间6自由度检测值以及对应的雷达可信度，对于每一个探测器组，根据探测毫米波雷达和视觉摄像头的可信度对两者得到的6自由度检测值进行加权求和平均，获得探测器组的6自由度结果，再将不同墙面的探测器组和顶面的探测毫米波雷达的探测结果结合，对各自检测的6自由度结果求和平均，最终获得目标人在世界坐标系中包含位置和姿态角度的6自由度数据结果，其中所述6自由度指由目标人头部及双肩的三个关键点的三维坐标确定的人体空间位置及姿态，包括三维位置(x,y,z)以及空间位置的旋转角度(α,β,γ)。

本发明通过对室内人体的实时空间定位，识别人体的行动轨迹和轮廓姿态。在实时定位的基础上，通过毫米波雷达和摄像头面向热点区域，获取的人体姿态，并生产识别模型，为后续室内人体的实时空间定位和姿态定位打好基础。本发明方案可以用于识别目标人的行为特征，以及在运动期间和停留期间目标人的姿态变化，在此基础上有利于判别是否存在与行为相关疾病的早期症状，或可以用于通过行为识别相关疾病的特征。

本发明的有益效果如下：

1，本发明能够采用较低成本的探测器，实现室内目标人的实时和精确定位，并进行实时的人体姿态轮廓探测和计算。目前高精度人体动作捕捉的平均精度在0.02度，时延小于20ms，要达到这类高精度的人体动作捕捉，通常需要在目标人身上佩戴相应的传感器，本发明不需要目标人佩戴相应的传感器，同时精度可以接近佩戴传感器情况下人体动作捕捉的精度。在室内人体检测上，现有的毫米波雷达或摄像头检测精度远低于前述的高精度水平，虽然也能够检测人体角度位置，但不能满足行为特征检测所要求的准确性和实时性，本发明精度可达0.1度，时延小于25ms，能够满足人体行为特征的检测需求，目前高精度动作捕捉系统平均在10-20万人民币一套，本发明的系统成本约为4万-6万元一套，本发明能够兼顾检测精度和检测成本。本发明可用于行为特征的监控，例如防摔倒等，还适用于对有行为表现特征的疾病的信息采集，如阿尔兹海默病等，通过本发明方法实现对目标人的行为表现信息采集，有利于根据相关疾病的早期行为症状进行早筛。

2，本发明以多角度，不同类型的传感器进行融合，解决室内定位和人体姿态识别的精确性，避免遮挡等问题造成的错误。

3，本发明系统实施布置相对简单和高效，人员在室内活动，不同组的探测器实现全面识别检测，优选在新布置的房间中做一次静态校准，后续识别系统可动态更新定位及识别参数，保持对人体动态活动的自适应准确识别。

4、本发明的识别方法能实施对人体空间位置及姿态进行快速准确识别，有利于预测人体姿态的趋势，例如根据姿态轮廓的识别的结果达到设定的摔倒阈值，判断被识别人体即将摔倒，可及时发出报警提示。

附图说明

图1为本发明的室内传感器布置示意图，包括低频毫米波雷达传感器、毫米波雷达传感器和视觉摄像头组。

图2为本发明方法初始校准的流程示意图。

图3为本发明方法实时检测的流程示意图。

图4为本发明方法的检测示意图。

具体实施方式

下面具体介绍本发明的实施。

如图1所示，本发明的识别系统由一系列探测器组成，房间顶部设置2.4Ghz和60GHz毫米波雷达探测器，2.4GHz雷达作为热点毫米波雷达用于初始的大范围检测，60GHz雷达为探测毫米波雷达，用于面向热点去的距离和角度探测。2.4GHz雷达频率低，穿透力强，探测范围广，用于初步探测。60GHz雷达频率高，探测范围相对小，但精确度更高，用于后续对目标人的更精确的探测。室内不同墙壁上设置探测器组，探测器组包括一探测毫米波雷达和一视觉摄像头，探测毫米波雷达也未60Ghz雷达。根据2.4Ghz雷达的探测结果，启动顶部的60Ghz雷达和不同墙面的探测器组，对热点区域进行定向探测。

如图2所示，本发明在一个室内场合实施时，优选首先进行校准。布置好不同平面中的探测器后，采用标有特殊二维码的标记立方体放置在房间地面中心，启动顶面2.4GHz和60GHz雷达，以及垂直于地平面的四面墙中的60GHz毫米波雷达探测器和视觉摄像头探测器组，同步所有探测器对标记立方体的探测结果，视觉摄像头和毫米波雷达均输出标记立方体的位置和角度的6自由度信息，形成[x,y,z,α,β,γ]的向量，其中x,y,z表示基于探测器坐标的位置信息，α,γ,β表示基于探测器坐标系中不同坐标轴所对应的角度信息。通过计算，可获得地面到顶面的高度，探测器组到对面墙面的平均距离。将上述数据作为识别系统的初始化数据，这些数据可以预先手动输入，通过校准自动识别，与安装的探测器适应性更好。同时，通过标定程序形成转换矩阵，将不同探测器坐标系中的位置和旋转信息转换至世界坐标系中，世界坐标系中以标记立方体位置为原点，坐标系数据及转换矩阵数据为后续的数据处理服务，利用校准步骤中获得转换矩阵，后续数据可以直接转换到统一的世界坐标系中。

如图3所示，在检测跟踪时，首先通过2.4Ghz雷达获得人体大致位置后，设置高2米，直径为1米的圆柱体范围为热点区域。再利用房间顶面的60Ghz雷达以及四个墙壁上设置的探测器组对热点区域的人体进行定向探测，并标注出目标人的头部及两个肩部的6自由度空间数据，包括三维位置计算(x,y,z)以及面向三坐标轴的旋转计算(α,β,γ)。本发明最小化地选取头部，双肩三个关键点，利用最小化的不共线的三个关键点形成的平面，估算人体的姿态，或者更加精确地说是人体上半身的姿态。而姿态的估计方法是求取平面的法向量，按照法向量获取人体的空间三自由度的角度信息。并用人体姿态的空间三自由度角度结果修正关键点的空间三自由度角度结果。将修正后的关键点信息带入后续的计算。

测定目标人头部和两个肩部共三个关键点时，可以采用BlazePose的方法，但是在估算的热力图中只聚焦在人体头部位置和双肩位置共三个热点，以减少计算量，如图4所示。同时，本发明方法还根据探测器的不同特点和优势，对所探测结果的数据增加可信度。每个探测器都需要动态的计算可信度，可信度的数值面向6自由度的数据，即每个自由度上的可信度数值均不同。对于一组视觉探测器和毫米波雷达探测器组成的探测器组，使用与可信度相结合的加权平均方式获得探测器组得出的唯一6自由度结果，再将4个不同墙面的探测器组得出的唯一探测结果，共4个结果和顶面的毫米波雷达探测的一个结果结合可信度后加权平均，最终获得目标人头部和肩部的三个关键点在世界坐标系中包含位置和角度的6自由度数据结果。

目标人关键点的计算详细步骤如下。

针对一个视觉摄像头和一个毫米波探测器组成的探测器组，首先在探测器组内进行计算。启动所有探测器，此时确保房间中存在可探测的人体，即各组探测器获得的数据不为空，获取第一次对人体关键点探测后的数据。对于某一个关键点，可以得到由视觉摄像头获得的6自由度信检测值{P_xcamera，P_ycamera，P_zcamera，P_αcamera，P_βcamera，P_γcamera}，及对应视觉可信度T_camera，由毫米波雷达可获得目标人6自由度检测值{P_xradar，P_yradar，P_zradar，P_αradar，P_βradar，P_γradar}，及对应雷达可信度T_radar,下标x,y,z,α,β,γ表示6个空间自由度，其中x,y,z表示位置信息；α,β,γ表示角度信息。

对所有的可信度均赋初值，例如0.1。赋初值是为了识别系统进行第一次运算时的方便，避免出现可信度空值的问题，后续有了实时获取的P_zcamera及P_zradar的数值，就随之变化，实时计算得到不同的可信度T。以本组探测器中实时获取的z轴方向探测值P_zcamera及P_zradar为基准计算可信度，计算探测毫米波雷达和视觉摄像头的实时可信度：

d′为探测器组至对面墙平面的平均距离，可以通过设置识别时人工输入获得，或通过前面所述的校准方式自动获得。

本发明的可信度用于评判当前探测器与目标人的距离，根据探测器相对目标人某一个关键点的垂直距离P_zcamera或P_zradar，将垂直距离除以总距离d’，再用1减去上一步所获得的结果，得到对应探测器的可信度。这种方法是根据探测器自身探测的优势，利用可信度参数的方式，增强该探测器组的探测数值准确性，提高整合后探测数值的精确度。

在此基础上，为了减少计算量，提高识别系统的计算速度，本发明还提出以下两种优化方案。

1)当某个探测器的视觉可信度T_camera或雷达可信度T_radar值小于0.5时，该探测器检测的6自由度检测值不参与所在探测器组的6自由度结果计算，即为0值。可信度小于0.5表明目标人更加接近对面墙壁，对面墙面上设置的探测器检测结果会更精确，此时可信度小于0.5所对应探测器的数值可不参与计算，以此降低识别系统整体计算的量级和规模，提高计算速度。同时由于底面没有对应的探测器，顶面的探测器没有这样的计算原则。

2)对一个探测器组，若T_camera<T_radar，则保留T_radar及其对应的探测器检测的6自由度检测值，反之则保留T_camera及其对应的探测器检测的6自由度检测值。也就是当探测器组中毫米波雷达和视觉摄像头的可信度都比较高时，选择其中一个作为本组探测器组的检测结果，以此减少计算量。

以上方法是本发明的创新之处，对于不同类型的探测器，针对其独特的特性，本发明设置实时可信度，依据探测器的实时检测结果，随目标人的位置姿态变化选择可信度高的探测器值进行计算，一方面提高检测精度，另一方面通过对计算量的优化也更进一步保证了检测的实时性，检测时延小。

此时，本探测器组的探测数值结果整合结果P_group计算公式如下：

采用上述方法可以获得n个墙面的n组探测器组合对某一个关键点的探测数值整合结果。在此基础上，再增加顶面的毫米波雷达的探测数据。为了计算方便，需将所有探测结果利用校准阶段获取的转换矩阵，统一将探测结果转换到世界坐标系中。其中，在世界坐标系中，顶面毫米波雷达的位置信息相对准确，因此仅采用毫米波雷达的位置信息参与计算。则P_world的计算公式为：

n表示探测器组的数目，室内一般为4，{P_{xgroup_i}，P_{ygroup_i}，P_{zgroup_i}，P_{αgroup_i}，P_{βgroup_i}，P_{γgroup_i}}表示第i个探测器组的6自由度结果，{P_{xtop_radar}，P_ytopradar，P_{ztop_radar}}表示顶面探测毫米波雷达的三维位置检测结果，最终得到的P_world＝{P_xworld，P_yworld，P_zworld，P_αworld，P_βworld，P_γworld}即为各墙面异种传感器融合后的关键点6自由度值。

若探测不成功，即所有探测器返回的数值均为空值，或可信度均低于设定阈值，均不可信。则重新启动2.4GHz毫米波雷达探测器，寻找室内的目标人位置。按设定时间间隔持续寻找室内的人体位置，直至寻找到后再进行顶面探测毫米波雷达和探测器组的检测。在2.4GHz雷达搜寻期间，其余探测器若待机超过5分钟则进入休眠状态，直至被重新唤醒。

进一步的，为了保证检测识别结果精确性，本发明对关键点计算所得角度数值进行进一步实时修正。具体为对头部和双肩三个关键点原有角度估计值的修正，修正的来源是已计算出的人体姿态的角度数值。将由三个关键点计算出的角度信息，反馈至三个关键点，修正三个关键点的原有的角度估计数值，使得关键点的角度估计值与人体姿态的角度数值同步。

根据头部和两个肩部的三个不同线的三维坐标，计算三点形成平面的法向量，及该法方向量在世界坐标系中对应三个坐标轴的旋转角度，由此形成人体姿态的估计值。在此基础上，利用人体姿态的估计值，对同原有三个关键点的角度α，β，γ进行校正。

ΔR_jα＝R_jα-R_humanα

ΔR_jβ＝R_jβ-R_humanβ

ΔR_jγ＝R_jγ-R_humanγ

R_j′_α＝R_jα+ΔR_jα

R_j′_β＝R_jβ+ΔR_jβ

R_j′_γ＝R_jγ+ΔR_jγ

j为关键点的编号，j＝1,2,3,R_jα、R_jβ、R_jγ为关键点j获得的角度数值，R_humanα、R_humanβ、R_humanγ是通过三个关键点法向量得出的旋转角度，R_j′_α、R_j′_β、R_j′_γ表示第j个关键点修正后的角度值，首先找出人体姿态估计角度与原始关键点计算所得角度的差值，然后以此差值作为下一次运算的角度修正值，不断修正关键点计算出的角度。

在实时探测中，探测器实时计算人体的角度数值，ΔR_j表示上一次计算结果获得的角度修正值，根据时序，第一次计算时，R_j为探测器直接计算获得关键点角度数值，非第一次计算时R_j为从上一次计算后获得关键点角度数值。R_human为以探测器获得三个关键点6自由度向量结果为基础，通过计算三个关键点所在平面的法向量而获得的角度旋转数值。ΔR_j为第一次计算获得的角度差值，作为修正的参数初始值。这个差值计算在每一次获得新的人体姿态估计值后都会重新做一遍，然后将新的校正差值再次带入下一次的运算中。此处是本发明的一个重要创新之处，利用三个关键点位置信息，组成平面后计算法向量，获得人体姿态估计值，利用其中的角度值，校正探测器获得的角度值，以不断逼近正确的角度数值。提高下一次人体姿态估计值的正确度。

现有技术中，毫米波传感器虽然也可以检测人体动态，但是精确度并不高，也容易受到其他物体的影响，因此引入视觉识别结果作为辅助，但视觉识别结果也会受到遮挡的影响导致不准确，毫米波传感器对距离和角度的测量要优于视觉传感器，视觉传感器的距离和角度是估算。本发明提出不同墙面探测器组的方法，对不同探测器的结果提出可信度，根据动态的可信度，不断动态调整不同传感器探测结果在最终结果中的权重，以保证整体识别系统实时检测识别的准确性。

Claims (8)

1.一种室内人体空间定位及姿态轮廓识别方法，其特征是对室内设置识别系统，识别系统由探测器组成，包括设置在顶面的热点毫米波雷达及探测毫米波雷达、以及设置在不同墙面上的探测器组，所述探测器组包括一探测毫米波雷达和一视觉摄像头；

首先由室内顶面设置的热点毫米波雷达实时检测室内是否有人，以及人所位于的空间范围，将检测到的人体作为目标人，并根据检测的空间范围启动设置在不同墙面的探测器组以及设置在顶面的探测毫米波雷达，实时探测目标人的空间位置和姿态，其中，从视觉摄像头获取目标人关键点的空间6自由度检测值以及对应的视觉可信度，从探测毫米波雷达获得目标人空间6自由度检测值以及对应的雷达可信度，对于每一个探测器组，根据探测毫米波雷达和视觉摄像头的可信度对两者得到的6自由度检测值进行加权求和平均，获得探测器组的6自由度结果，再将不同墙面的探测器组和顶面的探测毫米波雷达的探测结果结合，对各自检测的6自由度结果求和平均，最终获得目标人在世界坐标系中包含位置和姿态角度的6自由度数据结果，其中所述6自由度指由目标人头部及双肩的三个关键点的三维坐标确定的人体空间位置及姿态，包括三维位置(x,y,z)以及空间位置的旋转角度(α,β,γ)。

2.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是探测器组中，视觉摄像头获取目标人关键点的空间6自由度检测值{P_xcamera，P_ycamera，P_zcamera，P_αcamera，P_βcamera，P_γcamera},对应视觉可信度T_camera，探测毫米波雷达获得目标人空间6自由度检测值{P_xradar，P_yradar，P_zradar，P_αradar，P_βradar，P_γradar},对应雷达可信度T_radar，对所有的可信度均赋初值，以本组探测器组中实时获取的z轴方向探测值P_zcamera及P_zradar为基准，按照以下公式计算探测毫米波雷达和视觉摄像头的实时可信度：

d^′为探测器组至对面墙平面的平均距离；

探测器组的6自由度结果P_group如下：

3.根据权利要求2所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是当某个探测器的视觉可信度T_camera或雷达可信度T_radar值小于0.5时，该探测器检测的6自由度检测值不参与所在探测器组的6自由度结果计算，即为0值。

4.根据权利要求2或3所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是对一个探测器组，若T_camera<T_radar，则保留T_radar及其对应的探测器检测的6自由度检测值，反之则保留T_camera及其对应的探测器检测的6自由度检测值。

5.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是将探测结果转换到世界坐标系中，将不同墙面的探测器组和顶面的探测毫米波雷达的探测结果结合时，顶面的探测毫米波雷达仅采用位置信息参与计算，目标人在世界坐标系中包含位置和姿态角度的6自由度数据结果P_world的计算公式为：

n表示探测器组的数目，{P_{xgroup_i}，P_{ygroup_i}，P_{zgroup_i}，P_{αgroup_i}，P_{βgroup_i}，P_{γgroup_i}}表示第i个探测器组的6自由度结果，

表示顶面探测毫米波雷达的三维位置检测结果，最终得到的P_world＝{P_xworld，P_yworld，P_zworld，P_αworld，P_βworld，P_γworld}。

6.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是在不同墙面设置探测器组后，先进行一次校准，采用标有二维码的标记立方体放置在房间地面中心，启动探测器组，同步每组探测器组对标记立方体的探测结果，其中视觉摄像头毫米波雷达均输出标记立方体的位置和角度的6自由度信息，形成[x,y,z,α,β,γ]的向量，x,y,z表示基于探测器坐标的位置信息，α,γ,β表示基于探测器坐标系中不同坐标轴所对应的角度信息，获得地面到顶面的高度，探测器组到对面墙面的平均距离，以上数据将作为后续计算探测器可信度的基础参考数值，并作为识别系统的初始化数据；通过标定获得转换矩阵，用于将不同探测器坐标系中的位置和旋转信息转换至世界坐标系中，所述世界坐标系中以标记立方体位置为原点。

7.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是在探测器组实时探测过程中，对头部和双肩三个关键点原有角度估计值进行修正，使得关键点的角度估计值与人体姿态的角度数值同步，具体为：

根据头部和两个肩部的三个不同线的三维坐标，计算三点形成平面的法向量，及该法方向量在世界坐标系中对应三个坐标轴的旋转角度，由此形成人体姿态的估计值，在此基础上，利用人体姿态的估计值，对三个关键点的角度α，β，γ进行校正：

ΔR_jα＝R_jα-R_humanα

ΔR_jβ＝R_jβ-R_humanβ

ΔR_jγ＝R_jγ-R_humanγ

R′_jα＝R_jα+ΔR_jα

R′_jβ＝R_jβ+ΔR_jβ

R′_jγ＝R_jγ+ΔR_jγ

j为关键点的编号，j＝1,2,3,R_jα、R_jβ、R_jγ为关键点j获得的角度数值，R_humanα、R_humanβ、R_humanγ是通过三个关键点法向量得出的旋转角度，R′_jα、R′_jβ、R′_jγ表示第j个关键点修正后的角度值，首先计算人体姿态估计角度与原始关键点计算所得角度的差值，然后以此差值作为下一次关键点角度运算的角度修正值，不断修正关键点计算出的角度。

8.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是当所有视觉摄像头跟踪目标人失败时，即所有探测器返回的数值均为空值，或探测器返回的数值可信度均低于设定阈值，则启动热点毫米波雷达，按设定时间间隔持续寻找室内的人体位置，直至找到目标人的新位置。

Images