CN117741588A - 扩大毫米波雷达感知面积的方法、系统、介质及计算设备 - Google Patents
扩大毫米波雷达感知面积的方法、系统、介质及计算设备 Download PDFInfo
- Publication number
- CN117741588A CN117741588A CN202311786543.6A CN202311786543A CN117741588A CN 117741588 A CN117741588 A CN 117741588A CN 202311786543 A CN202311786543 A CN 202311786543A CN 117741588 A CN117741588 A CN 117741588A
- Authority
- CN
- China
- Prior art keywords
- radar
- coordinate system
- room
- target
- millimeter wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 26
- 239000012636 effector Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 11
- 230000008447 perception Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种扩大毫米波雷达感知面积的方法、系统、介质及计算设备，其包括：将部署的云台及毫米波雷达进行雷达‑云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
Description
技术领域
本发明涉及一种物联网智能非接触感知技术领域，特别是关于一种扩大毫米波雷达感知面积的方法、系统、介质及计算设备。
背景技术
近年来，基于毫米波雷达的室内人体感知技术吸引了越来越多的研究和产业界关注。得益于其高载频和宽带宽，毫米波雷达在细粒度感知能力方面表现出色，已被广泛应用于跌倒检测、目标追踪、行为识别等多个领域。
然而，在将毫米波雷达部署于实际环境中时，一个关键挑战是有限的雷达视野(Field of View，FOV)。随着雷达与目标的相对视角从0度到正负90度的变化，雷达天线的增益迅速降低。例如，加特兰公司生产的一款60GHz雷达，在正负50度时的衰减可达-18dB，使得信噪比降至0度时的六十四分之一。这样低的信噪比会导致目标在雷达检测和感知中被噪声所淹没。
此外，受限的FOV进一步限制了毫米波雷达的感知范围，使得单一雷达单元难以覆盖较大空间如客厅或卧室。虽然通过增加雷达单元数量可扩大覆盖范围，但这同时带来了雷达间干扰与协同问题的挑战，并且会显著增加系统的总成本。
发明内容
针对上述问题，本发明的目的是提供一种扩大毫米波雷达感知面积的方法、系统、介质及计算设备，其有效扩大了单个雷达单元的感知能力，为扩展感知视野提供了一个不依赖于增加更多传感器的有效解决方案。另，本发明不仅提高了感知效率，同时也降低了系统复杂性和成本，具有广泛应用前景。
为实现上述目的，本发明采取以下技术方案：一种扩大毫米波雷达感知面积的方法，其包括：将部署的云台及毫米波雷达进行雷达-云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
进一步，将部署的云台及毫米波雷达进行雷达-云台标定，包括：
部署的云台及毫米波雷为：将雷达安装在云台末端，云台安装在房间的天花板上；
对雷达外参进行标定，得到雷达的朝向及雷达在房间中的位置；
对雷达与云台进行标定，将雷达与云台末端执行器之间进行校准；
基于雷达与云台标定获得的数据，将云台与房间进行标定。
进一步，对雷达外参进行标定，包括：
以配置有SLAM系统的运动机器人作为运动目标，构建房间的二维房间地图；
获取机器人在移动过程中的位置数据，通过位置数据建立雷达坐标系与房间坐标系的轨迹对应关系，其中，位置数据包括雷达坐标系统中的测量值和房间坐标系统中的测量值；
根据SLAM系统记录的位置，通过SVD拟合得到房间坐标系下线性子轨迹的直线方程，并将直线方程中的方向向量与机器人移动的方向对齐；同时，通过SVD拟合得到雷达坐标系下线性子轨迹的直线方程，并将该直线方程中的方向向量与机器人移动的方向对齐；将两个坐标系中的直线方程合并得到线对应关系；
根据线对应关系，求解雷达坐标系转换到房间坐标系中的旋转矩阵及平移向量，得到雷达的朝向及雷达在房间中的位置。
进一步，对雷达与云台进行标定，包括：
通过云台驱动雷达变换K个不同的姿态，在每个姿态i下获取从雷达坐标系到房间坐标系的变换Ai，以及云台末端执行器系统与云台基底系统之间的变换Bi；
根据Ai和Bi求解方程AX＝XB中的第一变换矩阵X，完成雷达与云台末端执行器之间的校准。
进一步，将云台与房间进行标定，包括：
基于在雷达与云台之间的坐标系校准过程中获得的第一变换矩阵X，得到云台基底系到房间系的第二变换矩阵C：
C＝(XBi)-1Ai。
进一步，根据中频信号生成运动目标的4D点云数据，包括：
根据目标人体与雷达之间的距离与中频信号频率成正比的关系，通过FFT处理每个中频信号，以计算出中频信号频率并估算出目标距离；
根据目标相对于雷达的径向速度与FMCW信号在帧内沿慢时间维度的频率变化成正比的关系，通过对FMCW信号沿慢时间维度进行第二次FFT，得到目标速度，通过目标距离及目标速度得到距离-速度频谱图；
采用恒虚警检测方法从距离-速度频谱图中进行目标点筛选，将频谱图上速度为零的点判断为非目标点；
根据距离-速度频谱图得到目标点的速度，通过目标点的速度消除目标运动在不同发射天线的中频信号上引起的额外的相位差，并通过二维数字波束赋形方法计算目标角度；
结合目标距离、目标速度和目标角度，以生成运动目标的4D点云，其中4D代表三维空间信息加速度。
进一步，根据4D点云数据的人体视角判定调整雷达朝向，包括：
若连续三帧中人体点云的所有点的平均视角超过预设角度，则认为需要调整雷达的方向；
将雷达的零度视角对准目标点云的质心，基于雷达坐标系、云台末端执行器坐标系、云台基座坐标系以及房间坐标系之间的关系，以确定目标点云在每个坐标系统中的坐标；
根据确定目标点云在每个坐标系统中的坐标，设置云台基座的两个伺服电机的角度以旋转云台，使雷达指向云台基座坐标系中的指定点。
一种扩大毫米波雷达感知面积的系统，其包括：标定模块，将部署的云台及毫米波雷达进行雷达-云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；云数据获取模块，将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；坐标系转换模块，将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；雷达调整模块，在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明只需要一个毫米雷达便可以覆盖卧室、客厅等较大的房间，无需增加雷达的数量，显著提高了雷达的灵活性和感知能力，为毫米波雷达在室内环境中的广泛应用提供了一个更为高效和经济的解决方案。
2、本发明通过云台为雷达赋予动态移动特性，实现了一种高效的目标追踪算法，当检测到目标即将离开雷达的有效视野时，能够指导云台进行适当的转动，以确保目标始终保持在雷达的有效检测范围内。
3、本发明提出了一种准确的“雷达-云台”标定方法，可以自动化标定雷达与云台，以及云台与房间之间的坐标系变换，从而保证雷达的感知结果可以从雷达坐标系转换到房间坐标系下。
4、本发明采用的自动化的“雷达-云台”标定方法简化了雷达系统的设置和维护过程，显著减少了对专业知识的依赖，同时提高了系统的灵活性和适应性，使得雷达系统更易于部署和使用。
附图说明
图1是本发明实施例中扩大毫米波雷达感知面积的方法的整体流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
为了扩展单个毫米波雷达单元的感知覆盖范围，本发明提出了一种扩大毫米波雷达感知面积的方法、系统、介质及计算设备，是基于二自由度云台的大范围毫米波雷达感知方法及系统。本发明利用廉价的云台在俯仰和水平方向上带动雷达转动，赋予毫米波雷达移动性。通过对雷达进行精确的旋转调整，能够确保雷达视野内的关注对象，例如人员，始终保持在其感知范围内。本发明能有效扩大单个雷达单元的感知能力，为扩展感知视野提供了一个不依赖于增加更多传感器的有效解决方案。此系统不仅提高了感知效率，同时也降低了系统复杂性和成本，是一种具有广泛应用前景的技术创新。
在本发明的一个实施例中，提供一种扩大毫米波雷达感知面积的方法，是基于云台的毫米波雷达感知范围扩大方法以及毫米波雷达外参标定方法，旨在优化毫米波雷达的性能和应用，同时降低实际部署的成本和复杂性。本发明在实施时，需要在房间内放置一个雷达感知设备。该感知设备可以在天花板上、墙角吊顶或侧挂固定放置。雷达设备为单基地雷达，同时具有发送天线和接收天线。本发明使用的雷达设备需要具备多天线，即具备一发多收(SIMO)或多发多收(MIMO)的能力。本发明所支持的雷达信号频段包括但不限于毫米波频段。感知信号采集时，感知目标需处于信号的有效覆盖范围内。
具体的，本实施例中，如图1所示，该方法包括以下步骤：
1)将部署的云台及毫米波雷达进行雷达-云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；
2)将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；
3)将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；
4)在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
上述步骤1)中，云台由两个转动装置(例如，两个伺服电机)以及机械结构组成。雷达感知的结果，需要转换到房间坐标系下才有意义，比如人在房间中的位置。然后云台的转动破环了原本的静态的坐标系变换关系。此时，要想转换到房间坐标系下，需要先转换到云台末端坐标系下，然后转换到云台基底坐标系下，最后转换到房间坐标系下。其中，云台的末端坐标系到云台基底坐标系的转换，可以根据两个舵机的角度以及机械结构进行计算。而其余两个坐标系变换则需要进行标定。
“雷达-云台”标定属于“传感器-执行器”之间的标定问题，故关键在于构造AX＝XB方程。其中A、X、B均为齐次变换矩阵。其中X代表的是雷达坐标系到云台末端系之间的变换，为我们要求解的变换。A则由雷达和房间系之间得变换，即外参，决定。B则表示了云台末端系到基底系之间的变换，可以进行理论计算。因此，求得外参，便可以构造AX＝XB，进而求解X。
求得雷达系与云台末端系之间的变换后，云台基底系与房间系之间的变换也可以很容易的根据矩阵运算进行求解。
上述步骤1)中，将部署的云台及毫米波雷达进行雷达-云台标定，包括以下步骤：
1.1)部署的云台及毫米波雷为：将雷达安装在云台末端，云台安装在房间的天花板上；
1.2)对雷达外参进行标定，得到雷达的朝向及雷达在房间中的位置；
雷达外参指的是雷达在房间中的位置与朝向，其定义了雷达坐标系与房间坐标系之间的变换关系。本实施例采用旋转矩阵R来描述雷达的朝向，使用平移向量T来描述雷达在房间中的位置。外参的标定即旋转矩阵R和平移向量T的求解。
采用传统的方法进行外参标定时需要获得点对应，即参考点在雷达坐标系坐标和房间坐标系的坐标。基于多个点对应，便可以使用求解线性方程组方法求解旋转矩阵R和平移向量T。然而毫米波雷达在多径丰富室内，很难去定位静止的参考点，而且人工测量参考点在房间坐标系下的坐标是一件很费时费力的事情。
故，本发明提出采用运动的机器人作为参考点的雷达外参标定方法。因为室内的多径主要为静态多径，借助毫米波雷达速度分辨率可以轻易滤掉静态多径，保留运动的目标信号。同时，本发明采用的小机器人配备了SLAM系统，可以自动测量其在房间坐标系的位置，避免人为测量引入的误差和不便。
本实施例中，具体的，对雷达外参进行标定，包括以下步骤：
1.2.1)以配置有SLAM系统的运动机器人作为运动目标，构建房间的二维房间地图；
使机器人能够使用激光SLAM技术构建房间的二维地图，从而在校准过程中能够自主确定其位置。本实施例中采用的SLAM算法是Cartographer，这是一种广泛使用的实时SLAM解决方案，用于室内环境中的二维定位和绘图。
1.2.2)获取机器人在移动过程中的位置数据，通过位置数据建立雷达坐标系与房间坐标系的轨迹对应关系，其中，位置数据包括雷达坐标系统中的测量值和房间坐标系统中的测量值；
本实施例中需要收集机器人在移动过程中的位置数据，这些数据既包括雷达坐标系统中的测量值，也包括房间坐标系统中的测量值，以建立轨迹对应关系。这构成了校准算法的基础。利用生成的房间地图，机器人可以自动在地图上规划轨迹，然后按照该轨迹行驶。本实施例中的轨迹由多个直线子轨迹组成。基于SLAM提供的导航能力，机器人只需依次穿越几个节点，节点间为直线轨迹。为了高效地分割每个子轨迹，机器人在每个节点暂停三秒钟，然后再前进到下一个节点。尽管机器人的轨迹是二维的，但由于机器人的高度固定，其在房间内的三维坐标很容易获得。
随着机器人的移动，同时使用雷达来跟踪其在雷达坐标系统中的坐标。目前的商用60GHz毫米波雷达，通常配备有多输入多输出(MIMO)天线。这些雷达能够生成目标的4D点云，其中4D指的是3D空间坐标加上速度。由于点云包括速度维度，本实施例可以通过消除静止速度的点来轻松过滤掉室内复杂的静态多路径效应。考虑到机器人在每个轨迹节点暂停三秒，这段时间不会产生动态点云，从而有助于子轨迹的分割。由于机器人尺寸紧凑，它被视为一个独立的反射点。因此，在每一帧动态点云中，只保留能量最高的点来代表机器人的位置。结果，通过汇总毫米波雷达随时间捕获的移动机器人的点云数据，获得了雷达坐标系统中的轨迹。这与机器人在房间坐标系统中的轨迹相结合，产生了轨迹对应关系。
1.2.3)根据SLAM系统记录的位置，通过SVD拟合得到房间坐标系下线性子轨迹的直线方程，并将直线方程中的方向向量与机器人移动的方向对齐；同时，通过SVD拟合得到雷达坐标系下线性子轨迹的直线方程，并将该直线方程中的方向向量与机器人移动的方向对齐；将两个坐标系中的直线方程合并得到线对应关系；
具体的，机器人的路径由多个线性子轨迹组成。通过拟合其端点的坐标，可以轻松得出房间坐标系统内每个子轨迹的方程。为了提高线方程拟合的准确性，本实施例在机器人穿越这些端点时，结合了SLAM系统记录的位置。所采用的拟合技术是奇异值分解(SVD)。本实施例采用参数方程来表示拟合的线方程：
Xm＝lm+t·dm (1)
其中，下标m表示的房间坐标系，lm表示的是直线上的任意一点，dm为方向向量。
为了提高准确性，本实施例采用SLAM提供的轨迹上所有点的坐标的平均值作为lm，而不是选择一个随机点。为了便于校准，并对dm进行了归一化，将其与机器人移动的方向对齐，并将其长度归一化为一。
在雷达坐标系统中，这个子轨迹的线方程也需要拟合，以形成线对应关系。本实施例同样采用基于SVD的方法来拟合由点云组成的线性子轨迹，其相应的线方程为：
Xr＝lr+s·dr (2)
其中，下标r表示的雷达坐标系，lr表示的是直线上的任意一点，dr为方向向量。
本实施例中，还是采用将dr与机器人移动的方向对齐，并将其长度归一化为一。当将两个坐标系统中的直线方程合并时，即公式(1)和公式(2)，就会出现一条线对应关系。通过结合每个线性子轨迹的线对应关系，就可以得到一组线对应关系。
1.2.4)根据线对应关系，求解雷达坐标系转换到房间坐标系中的旋转矩阵及平移向量，得到雷达的朝向及雷达在房间中的位置。
具体的，旋转矩阵的求解为：
由于公式(2)中的Xr代表了雷达坐标系统内线上任意点的坐标，可以将其转换到房间坐标系统中：
X′r＝RXr+T＝Rlr+T+s·R dr (3)
其中，R和T是需要求解的外参。dm和Rdr都是房间坐标系统中该线的方向向量。
此外，已经将方向向量归一化，以与机器人的行进方向对齐，并且它们的大小已经归一化为一。因此，可以得出以下结论，dm＝Rdr。这个方程将线对应关系转换为方向向量的对应关系。基于这个方程，可以建立关于R的线性方程组，这构成了求解旋转矩阵R的基础。
假设机器人的轨迹包括N个线性子轨迹，可以得到N个线对应关系，即N个方向向量对应关系：
其中，Dm和Dr均为3×N的矩阵，且Dm＝RDr。为求解旋转矩阵R，采用SVD的方法：
要求解的旋转矩阵即为，R＝VUTr。如果det(VUTr)＝-1，则所需的旋转矩阵为R＝V′UTr，其中V′是通过改变V的第三列的正负符号得到的。
平移向量的求解为：
公式(3)中的Rlr+T表示是该直线在房间坐标系下的一点，故一定满足公式(2)，带入该公式可以得到：
Rlr+T＝lm+t·dm (6)
其中，只有3×1的平移向量T和参数t是未知数，一共四个未知数。方程(6)是一个提供3个线性约束的向量方程组。因此，它相当于有4个未知数的3个方程，所以存在无数个解。因此，引入另一个线对应关系来增加约束：
Rlr1+T＝lm1+t·dm1 (7)
其中，k表示新的参数，是唯一新增的未知数。该方程同时提供了三个新的约束。联立方程(6)和方程(7)，共有5个未知数和6个方程，可以使用最小二乘法求解未知数，即求解平移向量T。
结合计算出的旋转矩阵R，本发明便完成了雷达的外参标定。
1.3)对雷达与云台进行标定，将雷达与云台末端执行器之间进行校准；
毫米波雷达与云台之间的坐标系统校准本质上是雷达与云台末端执行器之间的校准，这可以通过变换X来表示。确定变换矩阵X的关键在于构建方程AX＝XB。为了构建方程AX＝XB，需要用云台单元驱动雷达通过K个不同的姿态。
本实施例中，对雷达与云台进行标定，包括以下步骤：
1.3.1)通过云台驱动雷达变换K个不同的姿态，在每个姿态i下获取从雷达坐标系到房间坐标系的变换Ai，以及云台末端执行器系统与云台基底系统之间的变换Bi；本实施例中，这种变换可以基于机器人的正向运动学计算得出。
正向运动学需要了解云台的机械结构和伺服电机的角度。机械结构在设计阶段确定，而两个伺服电机的角度由设计者控制。因此，Bi也可以轻松计算。
1.3.2)根据Ai和Bi求解方程AX＝XB中的第一变换矩阵X，完成雷达与云台末端执行器之间的校准。
本实施例中，在确定了每个姿态的Ai和Bi之后，可以构建方程AX＝XB：
解决方程AX＝XB有一系列方法。在本发明中，采用了基于双四元数的方法，这是一种广泛应用于解决手眼校准方程的方法。在这种方法中，双四元数被用来表示机器人臂的姿态和传感器(雷达)观测到的校准对象的姿态，允许同时求解旋转矩阵和平移向量。与旋转矩阵和平移向量相比，使用双四元数可以减少数学表示的复杂性，并提供更紧凑、数值上更稳定的解决方案。
1.4)基于雷达与云台标定获得的数据，将云台与房间进行标定；
本实施例中，将云台与房间进行标定，具体为：
基于在雷达与云台之间的坐标系校准过程中获得的第一变换矩阵X，得到云台基底系到房间系的第二变换矩阵C：
C＝(XBi)-1Ai。
具体的，从雷达坐标系统出发，有两条路径可以到达房间坐标系统。一条路径是通过Ai直接变换到房间系统，而另一条路径则首先通过X进行连续变换，然后通过Bi到达云台基座坐标系统，最后通过C到达房间系统。因此可以推导出：
Ai＝XBiC (7)
根据公式(7)可以得到第二变换矩阵C。
上述步骤2)中，在获取4D点云数据之前，还包括雷达朝向初始化的步骤。具体为：
雷达部署和校准后，需要初始化系统以便于数据收集，最关键的因素是雷达方向的初始化。这是因为通过定向雷达跟踪目标来实现扩展的感知区域，因此，雷达的初始方向应该优化，以确保进入房间的人落在雷达的有效视场(FOV)内。当一个房间只有一个入口，如卧室、办公室或养老院的工作室时，可以简单地将雷达的初始方向与门对齐，因为这是进入房间的必经之路。
当一个房间有多个入口时，比如一个客厅通过几扇门与各个区域相连，情况就变得更加复杂。此时，目标是尽可能全面地覆盖所有入口。安装在天花板上的雷达具有3米半径圆形的感应覆盖区域，在大多数情况下，可以通过合理放置雷达来确保覆盖所有入口。此外，覆盖所有入口显然比覆盖整个房间容易得多。
当一个房间过大，单个雷达无法覆盖所有入口时，可以采用简单的遍历搜索。首先根据入口的位置对它们进行分组，可以同时覆盖的入口被分配到同一组。假设将所有入口分为L组，本发明将控制雷达依次覆盖这些L组入口。雷达在每组停留5秒钟，然后移动到下一组。
上述步骤2)中，毫米波雷达发射调频连续波(FMCW)信号至空间，该信号被目标人体反射后返回至雷达接收机。接收到的信号与原发射信号混合，并通过低通滤波器处理，产生中频信号。本发明对所有通道的中频信号进行采样，以获得用于后续处理的采样信号。在此基础上，定义了一个关键的数据单元——帧(Frame)，每帧包含多个中频信号，例如128个。故，本实施例中，根据中频信号生成运动目标的4D点云数据，包括以下步骤：
2.1)根据目标人体与雷达之间的距离与中频信号频率成正比的关系，通过FFT(快速傅里叶变换)处理每个中频信号，以计算出中频信号频率并估算出目标距离；
2.2)根据目标相对于雷达的径向速度与FMCW信号在帧内沿慢时间维度的频率变化成正比的关系，通过对FMCW信号沿慢时间维度进行第二次FFT，得到目标速度，通过目标距离及目标速度得到距离-速度频谱图；其中，距离-速度频谱图中峰值表明对应速度和距离处可能存在目标。
2.3)采用恒虚警检测方法从距离-速度频谱图中进行目标点筛选，由于关注的是动态目标，故将频谱图上速度为零的点判断为非目标点；
本实施例中，恒虚警检测方法是一种自适应阈值处理方法。
2.4)根据距离-速度频谱图得到目标点的速度，通过目标点的速度消除目标运动在不同发射天线的中频信号上引起的额外的相位差，并通过二维数字波束赋形(DBF)方法计算目标角度；其中，对于每个目标点，都能得到一个包含俯仰角和方位角的二维角度谱，谱中峰值代表目标所处的角度。
具体的，本实施例中利用不同天线间目标引起的相位差来估计角度。但由于时分复用多发多收(TDM-MIMO)技术的应用，目标运动可能在不同发射天线的中频信号上引起额外的相位差。为确保角度计算的准确性，需要消除这种相位误差，故该误差可根据速度估计中得出的目标速度来校正。
2.5)结合目标距离、目标速度和目标角度，以生成运动目标的4D点云，其中4D代表三维空间信息加速度。
上述步骤3)中，将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下，具体实现过程如下：
在系统运行时，要想将雷达的感知结果从雷达系转换到房间系，需要先转换到云台末端系，然后经过云台的机械结构和两个舵机转换到云台基底系，然后转换到房间系。其中雷达系到云台末端系，云台基底系到房间系均已标定完成。云台末端系到云台基底系的标定也可以根据伺服电机的角度，结合正运动学的知识进行实时的计算。
上述步骤4)中，由于本发明采用的云台单元并非持续旋转，而是仅在人即将离开雷达有效视场(FOV)时进行旋转。因此，判断一个人是否即将走出雷达的视场是调整雷达方向的首要步骤。故，本实施例中根据4D点云数据的人体视角判定调整雷达朝向，包括以下步骤：
4.1)若连续三帧中人体点云的所有点的平均视角超过预设角度，则认为需要调整雷达的方向；优选的，预设角度可以为40度。
其中，云中每个点的视角可以通过其位置坐标以及雷达的方向和位置来计算。
4.2)将雷达的零度视角对准目标点云的质心，基于雷达坐标系、云台末端执行器坐标系、云台基座坐标系以及房间坐标系之间的关系(为已知)，以确定目标点云在每个坐标系统中的坐标；
4.3)根据确定目标点云在每个坐标系统中的坐标，设置云台基座的两个伺服电机的角度以旋转云台，使雷达指向云台基座坐标系中的指定点。
本实施例中，确定目标点云在每个坐标系统中的坐标，这个问题可以描述为如何设置两个伺服电机的角度，以便旋转云台单元，使雷达指向云台基座坐标系统中的指定点。由于云台单元的机械结构和雷达与云台之间的坐标转换是已知的，这个问题可以通过机器人运动学和坐标系统转换来解决。
在本发明的一个实施例中，提供一种扩大毫米波雷达感知面积的系统，其包括：
标定模块，将部署的云台及毫米波雷达进行雷达-云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；
云数据获取模块，将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；
坐标系转换模块，将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；
雷达调整模块，在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
上述实施例中，将部署的云台及毫米波雷达进行雷达-云台标定，包括：
部署的云台及毫米波雷为：将雷达安装在云台末端，云台安装在房间的天花板上；
对雷达外参进行标定，得到雷达的朝向及雷达在房间中的位置；
对雷达与云台进行标定，将雷达与云台末端执行器之间进行校准；
基于雷达与云台标定获得的数据，将云台与房间进行标定。
上述实施例中，对雷达外参进行标定，包括：
以配置有SLAM系统的运动机器人作为运动目标，构建房间的二维房间地图；
获取机器人在移动过程中的位置数据，通过位置数据建立雷达坐标系与房间坐标系的轨迹对应关系，其中，位置数据包括雷达坐标系统中的测量值和房间坐标系统中的测量值；
根据SLAM系统记录的位置，通过SVD拟合得到房间坐标系下线性子轨迹的直线方程，并将直线方程中的方向向量与机器人移动的方向对齐；同时，通过SVD拟合得到雷达坐标系下线性子轨迹的直线方程，并将该直线方程中的方向向量与机器人移动的方向对齐；将两个坐标系中的直线方程合并得到线对应关系；
根据线对应关系，求解雷达坐标系转换到房间坐标系中的旋转矩阵及平移向量，得到雷达的朝向及雷达在房间中的位置。
上述实施例中，对雷达与云台进行标定，包括：
通过云台驱动雷达变换K个不同的姿态，在每个姿态i下获取从雷达坐标系到房间坐标系的变换Ai，以及云台末端执行器系统与云台基底系统之间的变换Bi；
根据Ai和Bi求解方程AX＝XB中的第一变换矩阵X，完成雷达与云台末端执行器之间的校准。
上述实施例中，将云台与房间进行标定，包括：
基于在雷达与云台之间的坐标系校准过程中获得的第一变换矩阵X，得到云台基底系到房间系的第二变换矩阵C：
C＝(XBi)-1Ai。
上述实施例中，根据中频信号生成运动目标的4D点云数据，包括：
根据目标人体与雷达之间的距离与中频信号频率成正比的关系，通过FFT处理每个中频信号，以计算出中频信号频率并估算出目标距离；
根据目标相对于雷达的径向速度与FMCW信号在帧内沿慢时间维度的频率变化成正比的关系，通过对FMCW信号沿慢时间维度进行第二次FFT，得到目标速度，通过目标距离及目标速度得到距离-速度频谱图；
采用恒虚警检测方法从距离-速度频谱图中进行目标点筛选，将频谱图上速度为零的点判断为非目标点；
根据距离-速度频谱图得到目标点的速度，通过目标点的速度消除目标运动在不同发射天线的中频信号上引起的额外的相位差，并通过二维数字波束赋形方法计算目标角度；
结合目标距离、目标速度和目标角度，以生成运动目标的4D点云，其中4D代表三维空间信息加速度。
上述实施例中，根据4D点云数据的人体视角判定调整雷达朝向，包括：
若连续三帧中人体点云的所有点的平均视角超过预设角度，则认为需要调整雷达的方向；
将雷达的零度视角对准目标点云的质心，基于雷达坐标系、云台末端执行器坐标系、云台基座坐标系以及房间坐标系之间的关系，以确定目标点云在每个坐标系统中的坐标；
根据确定目标点云在每个坐标系统中的坐标，设置云台基座的两个伺服电机的角度以旋转云台，使雷达指向云台基座坐标系中的指定点。
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
在本发明一实施例中提供的计算设备，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现上述各实施例中的方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种扩大毫米波雷达感知面积的方法，其特征在于，包括：
将部署的云台及毫米波雷达进行雷达-云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；
将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；
将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；
在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
2.如权利要求1所述扩大毫米波雷达感知面积的方法，其特征在于，将部署的云台及毫米波雷达进行雷达-云台标定，包括：
部署的云台及毫米波雷为：将雷达安装在云台末端，云台安装在房间的天花板上；
对雷达外参进行标定，得到雷达的朝向及雷达在房间中的位置；
对雷达与云台进行标定，将雷达与云台末端执行器之间进行校准；
基于雷达与云台标定获得的数据，将云台与房间进行标定。
3.如权利要求2所述扩大毫米波雷达感知面积的方法，其特征在于，对雷达外参进行标定，包括：
以配置有SLAM系统的运动机器人作为运动目标，构建房间的二维房间地图；
获取机器人在移动过程中的位置数据，通过位置数据建立雷达坐标系与房间坐标系的轨迹对应关系，其中，位置数据包括雷达坐标系统中的测量值和房间坐标系统中的测量值；
根据SLAM系统记录的位置，通过SVD拟合得到房间坐标系下线性子轨迹的直线方程，并将直线方程中的方向向量与机器人移动的方向对齐；同时，通过SVD拟合得到雷达坐标系下线性子轨迹的直线方程，并将该直线方程中的方向向量与机器人移动的方向对齐；将两个坐标系中的直线方程合并得到线对应关系；
根据线对应关系，求解雷达坐标系转换到房间坐标系中的旋转矩阵及平移向量，得到雷达的朝向及雷达在房间中的位置。
4.如权利要求2所述扩大毫米波雷达感知面积的方法，其特征在于，对雷达与云台进行标定，包括：
通过云台驱动雷达变换K个不同的姿态，在每个姿态i下获取从雷达坐标系到房间坐标系的变换Ai，以及云台末端执行器系统与云台基底系统之间的变换Bi；
根据Ai和Bi求解方程AX＝XB中的第一变换矩阵X，完成雷达与云台末端执行器之间的校准。
5.如权利要求4所述扩大毫米波雷达感知面积的方法，其特征在于，将云台与房间进行标定，包括：
基于在雷达与云台之间的坐标系校准过程中获得的第一变换矩阵X，得到云台基底系到房间系的第二变换矩阵C：
C＝(XBi)-1Ai。
6.如权利要求1所述扩大毫米波雷达感知面积的方法，其特征在于，根据中频信号生成运动目标的4D点云数据，包括：
根据目标人体与雷达之间的距离与中频信号频率成正比的关系，通过FFT处理每个中频信号，以计算出中频信号频率并估算出目标距离；
根据目标相对于雷达的径向速度与FMCW信号在帧内沿慢时间维度的频率变化成正比的关系，通过对FMCW信号沿慢时间维度进行第二次FFT，得到目标速度，通过目标距离及目标速度得到距离-速度频谱图；
采用恒虚警检测方法从距离-速度频谱图中进行目标点筛选，将频谱图上速度为零的点判断为非目标点；
根据距离-速度频谱图得到目标点的速度，通过目标点的速度消除目标运动在不同发射天线的中频信号上引起的额外的相位差，并通过二维数字波束赋形方法计算目标角度；
结合目标距离、目标速度和目标角度，以生成运动目标的4D点云，其中4D代表三维空间信息加速度。
7.如权利要求1所述扩大毫米波雷达感知面积的方法，其特征在于，根据4D点云数据的人体视角判定调整雷达朝向，包括：
若连续三帧中人体点云的所有点的平均视角超过预设角度，则认为需要调整雷达的方向；
将雷达的零度视角对准目标点云的质心，基于雷达坐标系、云台末端执行器坐标系、云台基座坐标系以及房间坐标系之间的关系，以确定目标点云在每个坐标系统中的坐标；
根据确定目标点云在每个坐标系统中的坐标，设置云台基座的两个伺服电机的角度以旋转云台，使雷达指向云台基座坐标系中的指定点。
8.一种扩大毫米波雷达感知面积的系统，其特征在于，包括：
标定模块，将部署的云台及毫米波雷达进行雷达-云台标定，并对毫米波雷达朝向进行初始化，以使进入房间的运动目标落在雷达的有效视场内；
云数据获取模块，将毫米波雷达发射调频连续波信号至空间，该信号被运动目标反射后返回至雷达接收机，将接收到的信号与原发射信号混合并处理后得到中频信号，根据中频信号生成运动目标的4D点云数据；
坐标系转换模块，将运动目标的4D点云数据从雷达坐标系转换至房间坐标系，以将雷达的感知结果从雷达坐标系转换到房间坐标系下；
雷达调整模块，在房间坐标系下，当检测到运动目标即将离开雷达的有效视野时，根据4D点云数据的人体视角判定调整雷达朝向，以使运动目标始终位于雷达的有效视场内。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311786543.6A CN117741588A (zh) | 2023-12-22 | 2023-12-22 | 扩大毫米波雷达感知面积的方法、系统、介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311786543.6A CN117741588A (zh) | 2023-12-22 | 2023-12-22 | 扩大毫米波雷达感知面积的方法、系统、介质及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117741588A true CN117741588A (zh) | 2024-03-22 |
Family
ID=90260596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311786543.6A Pending CN117741588A (zh) | 2023-12-22 | 2023-12-22 | 扩大毫米波雷达感知面积的方法、系统、介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117741588A (zh) |
-
2023
- 2023-12-22 CN CN202311786543.6A patent/CN117741588A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | WideSee: Towards wide-area contactless wireless sensing | |
| US10481696B2 (en) | Radar based user interface | |
| US20190202067A1 (en) | Method and device for localizing robot and robot | |
| US11106837B2 (en) | Method and apparatus for enhanced position and orientation based information display | |
| Sakamoto et al. | Radar-based hand gesture recognition using IQ echo plot and convolutional neural network | |
| Vashist et al. | Indoor wireless localization using consumer-grade 60 GHz equipment with machine learning for intelligent material handling | |
| Ninos et al. | Real-time macro gesture recognition using efficient empirical feature extraction with millimeter-wave technology | |
| Salman et al. | Environmental imaging with a mobile UWB security robot for indoor localisation and positioning applications | |
| CN113064483A (zh) | 一种手势识别方法以及相关装置 | |
| Sun et al. | Aim: Acoustic inertial measurement for indoor drone localization and tracking | |
| Sun et al. | Indoor drone localization and tracking based on acoustic inertial measurement | |
| KR100857248B1 (ko) | 이동체 위치 정보를 생성하는 장치 및 방법과 이동체위치를 인식하는 장치 및 방법 | |
| CN117741588A (zh) | 扩大毫米波雷达感知面积的方法、系统、介质及计算设备 | |
| Kwon et al. | Radar sensor-based ego-motion estimation and indoor environment mapping | |
| US11475177B2 (en) | Method and apparatus for improved position and orientation based information display | |
| CN110927666B (zh) | 一种基于LoRa信号的非接触式检测定位方法及系统 | |
| JP2020524261A (ja) | センサを使用したオブジェクトの６つの自由度追跡 | |
| US20210263531A1 (en) | Mapping and simultaneous localisation of an object in an interior environment | |
| CN115131756A (zh) | 一种目标检测方法及装置 | |
| US11211700B1 (en) | Dynamic noise cancellation using noise patterns | |
| Vaca-Rubio et al. | User localization using rf sensing: A performance comparison between lis and mmwave radars | |
| Premachandra et al. | UWB Radar SLAM: an Anchorless Approach in Vision Denied Indoor Environments | |
| Chen et al. | Toward Wide-Area Contactless Wireless Sensing | |
| Wang et al. | Infradar-Localization: single-chip infrared-and radar-based Monte Carlo localization | |
| Wang et al. | Determination of an indoor target position: An accurate and adaptable approach based on differential positioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |