CN110757477A - 一种陪护机器人的高度方位自适应调整方法及陪护机器人 - Google Patents

Abstract

本发明公开了一种陪护机器人的高度方位自适应调整方法及陪护机器人，方法包括根据激光雷达的扫描数据识别用户腿部特征，并计算人体方位信息；根据所述人体方位信息控制机器人头部转动直至机器人头部朝向用户；控制所述机器人头部作俯仰运动并同时获取双目相机的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部停止运动；计算人脸在机器人基坐标系中的位置；根据所述位置调整躯干的高度。本发明的陪护机器人的高度方位自适应调整方法及陪护机器人基于激光雷达的扫描数据与双目相机采集的数据，结合识别算法能够自主调整机器人转动到正对的方向且升降到合适的高度，实现人机交互的舒适性，提高交互体验。

Description

一种陪护机器人的高度方位自适应调整方法及陪护机器人

技术领域

本发明涉及机器人技术领域，特别是涉及一种陪护机器人的高度方位自适应调整方法及陪护机器人。

背景技术

陪护机器人是一种应用于服务场景下的智能辅助类型机器人，它能够协助人类完成一些较为简单的工作。在与人类协同交互的过程中，必然会要求机器人能够更加智能、协调，现有的陪护机器人在与人交互时，无法根据用户所在位置以及用户身高等因素进行位置与高度的调节，往往用户与其交互时，机器人的整体偏向一边，且头部也不与人面对面正对，交互体验较差。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供了一种陪护机器人的高度方位自适应调整方法及陪护机器人，旨在解决机器人与人类交互过程中存在的方向不匹配与高度不匹配的问题。

技术方案：为实现上述目的，本发明的陪护机器人的高度方位自适应调整方法，包括：

根据激光雷达的扫描数据识别用户腿部特征，并计算人体方位信息；

根据所述人体方位信息控制机器人头部转动直至机器人头部朝向用户；

控制所述机器人头部作俯仰运动并同时获取双目相机的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部停止运动；

计算人脸在机器人基坐标系中的位置；

根据所述位置调整躯干的高度。

进一步地，所述根据激光雷达的扫描数据识别用户腿部特征包括：

根据预设范围剔除所述扫描数据中超出预设范围的数据；

将扫描数据从激光坐标系下变换至机器人基坐标系下，得到变换后扫描数据；

对所述变换后扫描数据进行数据聚类分割处理得到若干个类；

对得到的类进行识别，提取符合人体腿部特征的类配对，所述类配对包括两个类；

根据符合人体腿部特征的类配对计算得到人体方位信息。

进一步地，所述对所述变换后扫描数据进行数据聚类分割处理得到若干个类包括：

针对所述变换后扫描数据中的每个数据都设置一个类；

循环执行聚类流程，得到若干个类；其中所述距离流程包括：计算每相邻两个类之间的最小距离，将距离小于预设最小距离的两个类合并为一个类；

筛除元素个数不在预设范围内的类；

对于剩余的每个类，用圆形去拟合各类中的数据，计算各类中元素的拟合程度，得到拟合数据，所述拟合数据包括标准差、拟合半径以及圆心坐标；

筛除标准差不符合要求的类，得到剩余的若干个类。

进一步地，所述对得到的类进行识别，提取符合人体腿部特征的类配对包括：

计算每个类中元素的总长以及首尾元素的直线距离；

筛选出所述拟合半径以及所述直线距离满足预设条件的类；

计算出的所有类中每组类配对的两个类之间的距离；

筛除距离超过预设最大值的类配对。

进一步地，所述根据符合人体腿部特征的类配对计算得到人体方位信息包括；

计算每组类配对的中心坐标，所述中心坐标为所述类配对中两个类的两个中心点的中点。

进一步地，所述控制所述机器人头部作俯仰运动并同时获取双目相机的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部停止俯仰运动包括：

同步订阅所述双目相机的彩色图像话题、深度图像话题、相机模型信息话题，得到时间戳误差小于设定阈值的彩色图像数据、深度图像信息以及相机模型信息；

将所述彩色图像数据转换为cvMat数据；

将所述cvMat数据输入dlib人脸检测库进行人脸检测，得到dlib人脸检测库输出的人脸方框数量；

根据所述人脸方框数量判断是否检测到人脸，是则控制所述机器人头部停止俯仰运动。

进一步地，当所述dlib人脸检测库输出的人脸方框数量大于1时，dlib人脸检测库同时输出的数据包括人脸方框在像素图中的位置以及人脸的68个特征点在像素图中的像素位置信息；所述计算人脸在机器人基坐标系中的位置包括：

计算人脸的68个特征点的点云数据；

根据人脸的68个特征点的像素位置信息以及对应的点云数据，计算得到68个特征点在相机坐标系下的空间坐标；

根据所述相机坐标系与所述机器人基坐标系的转换关系，将68个特征点在相机坐标系下的空间坐标转换为在机器人基坐标系下的位置。

进一步地，所述计算人脸的68个特征点的点云数据包括：

确定68个特征点的像素位置向量数组；

将所述深度图像信息转换为点云数据；

计算每个特征点在一维向量中的位置，匹配得到对应位置的点云数据。

进一步地，所述根据所述位置坐标调整躯干的高度包括：

计算人脸的68个特征点中对应于眼部的12个特征点的坐标的坐标均值；

根据预设规则调整躯干的高度，其中所述预设规则包括：

若所述坐标均值中X轴方向的坐标值大于预设的远度最大值，则不做调整；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值大于预设的高度最大值，则将躯干调整到最高位置；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值小于预设的高度最小值，则将躯干调整到最低位置；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值小于预设的高度最大值且大于预设的高度最小值，则控制躯干运动使得机器人头部上的预设点与所述坐标均值中的Z轴坐标值一致。

一种陪护机器人，包括：

移动底盘，其能可控移动；

激光雷达，其安装在所述移动底盘上；

躯干，其安装在所述移动底盘上；

升降调节模块，其连接所述移动底盘与躯干，用于驱动所述躯干相对于所述移动底盘升降；

机器人头部，其安装在所述躯干上；

双目相机，其安装在所述机器人头部上，用于采集彩色图像数据与深度图像信息；

头部驱动模块，其连接所述躯干与所述机器人头部，用于驱动所述机器人头部作回转运动以及俯仰运动；及

控制单元，其与所述移动底盘、升降调节模块、双目相机以及头部驱动模块电性连接，用于执行上述的陪护机器人的高度方位自适应调整方法。

有益效果：本发明的陪护机器人的高度方位自适应调整方法及陪护机器人基于激光雷达的扫描数据与双目相机采集的数据，结合识别算法能够自主调整机器人转动到正对的方向且升降到合适的高度，实现人机交互的舒适性，提高交互体验。

附图说明

附图1为陪护机器人的结构图；

附图2为陪护机器人的高度方位自适应调整方法的流程示意图。

图中：100-陪护机器人；101-移动底盘；102-激光雷达；103-躯干；104-升降调节模块；105-机器人头部；106-双目相机；107-头部驱动模块。

具体实施方式

下面结合附图对本发明作更进一步的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

此外，在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

如附图1所示为一种陪护机器人100，其为本发明的陪护机器人视觉抓取方法的一种硬件基础，该陪护机器人100包括：移动底盘101、激光雷达102、躯干103、升降调节模块104、机器人头部105、双目相机106、头部驱动模块107、控制单元。控制单元与所述移动底盘101、升降调节模块104、双目相机106以及头部驱动模块107电性连接，控制单元可与上述各组件收发信号进行交互如：控制单元可获取激光雷达102的扫描数据以及可获取双目相机106采集的数据，控制单元可控制头部驱动模块107以及升降调节模块104运转。

移动底盘101，其能可控移动，其包含有两个主动轮，两个主动轮可作差速运动，激光雷达102安装在所述移动底盘101上；

躯干103通过升降调节模块104安装在所述移动底盘101上，升降调节模块104可驱动所述躯干103相对于所述移动底盘101升降；

机器人头部105通过头部驱动模块107安装在所述躯干103上；头部驱动模块107可驱动所述机器人头部105相对于所述躯干103作回转运动以及俯仰运动；双目相机106安装在所述机器人头部105上，用于采集彩色图像数据与深度图像信息；通过使头部驱动模块107运转可使机器人头部105运动，从而驱使双目相机106运动以调节双目相机106的朝向与视野。

控制单元用于执行下述的陪护机器人的高度方位自适应调整方法。

如附图2为陪护机器人的高度方位自适应调整方法的流程示意图，可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。所述方法包括如下步骤S201-S205：

步骤S201，根据激光雷达102的扫描数据识别用户腿部特征，并计算人体方位信息；

本步骤要求人在激光雷达102的扫描范围内，本步骤的触发条件为控制系统探测到有人在靠近陪护机器人100。

步骤S202，根据所述人体方位信息控制机器人头部105转动直至机器人头部105朝向用户；

步骤S203，控制所述机器人头部105作俯仰运动并同时获取双目相机106的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部105停止运动；

步骤S204，计算人脸在机器人基坐标系中的位置；

步骤S205，根据所述位置调整躯干103的高度。

上述步骤S201-S205通过先对用户腿部的特征进行识别确定用户的人体方位，再根据识别用户的人脸确定用户的高矮，最后通过调节躯干103的高度以使机器人头部105的高度与用户头部高度一致，实现了与用户交互时面朝用户且高度与用户相适应，使得用户与陪护机器人交互时具有和一个活生生、有灵性的对象交互的体验。

下面将对上述步骤S201-S205各步骤的实现方式作具体阐述。

步骤S201中所述根据激光雷达102的扫描数据识别用户腿部特征包括如下步骤S301-S305：

步骤S301，订阅激光雷达102的扫描数据；

本步骤中，激光雷达102的扫描数据为一系列扫描点，激光雷达102的工作原理是通过驱动激光发射器转动，激光发射器每隔一定角度发射一束激光，激光遇到障碍物后返回被激光接收器接收以形成一个扫描点，因此获取的每个扫描点均在激光雷达102坐标系下有一组对应的坐标值以标定该方位的障碍物远近，扫描数据的格式为[l_i,θ_i]，该格式为极坐标下的数据格式，其中，θ_i为第i个扫描点在激光雷达102坐标系下的扫描角度，l_i为在θ_i这个扫描角度下扫描点的离激光雷达102的距离。

步骤S302，根据预设范围剔除所述扫描数据中超出预设范围的数据；

本步骤中，可根据常规交互范围对超出范围的数据进行剔除，例如，若陪护机器人与用户的交互距离不超过3米，超过该距离一般无法进行有效交互，因此可将扫描数据中坐标值超出3米的扫描点予以剔除，如此可剔除大量的无用扫描点，在后续计算中可排除这些无用扫描点的干扰，大大节约计算资源。

步骤S303，将扫描数据从激光坐标系下变换至机器人基坐标系下，得到变换后扫描数据；

本步骤中，将剩余的扫描数据进行坐标变换可将所有的数据变换至机器人基坐标系下，如此可方便后续计算。变换步骤为，先将扫描数据由极坐标变换至欧拉坐标系下，变换后的坐标值记为再通过转换矩阵T将扫描数据由激光雷达102坐标系变换至机器人基坐标系，变换后扫描数据记为B[i]＝T·R[i]。

步骤S304，对所述变换后扫描数据进行数据聚类分割处理得到若干个类；

步骤S305，对得到的类进行识别，提取符合人体腿部特征的类配对，每个所述类配对包括两个类；

本步骤中，类配对记为Pair_n，其中n代表第n组类配对。

步骤S306，根据符合人体腿部特征的类配对计算得到人体方位信息。

具体地，步骤S304中所述对所述变换后扫描数据进行数据聚类分割处理得到若干个类包括如下步骤S401-S405：

步骤S401，针对所述变换后扫描数据B[i]中的每个数据都设置一个类记为class_n；

本步骤中，类的数据格式为

其中x_k、y_k、z_k为每个类的中心点的x、y、z坐标，B_i是当前类中的激光点数据集合。

步骤S402，循环执行聚类流程，得到若干个类；其中所述距离流程包括：计算每相邻两个类之间的最小距离，将距离小于预设最小距离的两个类合并为一个类，并更新class_n；

本步骤中，预设最小距离记为min_length，其表示可以合并成一个类的两个数据间的最小距离，class_n的更新方法为：其中

是新的类的中心点x、y、z坐标，B_P+B_t是两个类合并后的激光点集数据。

步骤S403，筛除元素个数不在预设范围内的类；

本步骤中，由于需要检测的是用户的腿部特征，因此一般人的腿的粗细是有一定的范围的，对应的元素的个数也即有一定的范围，元素过多(如柱子等障碍物)或元素过少(如扫描到栏杆等明显太细的障碍物以及若干孤立的扫描点)均明显不符合条件，因此，需要将元素个数不在预设范围内的类予以剔除以避免其干扰后续运算。上述预设范围可记为[min_num，max_num]，其中，min_num、max_num分别表示每个类中最小和最大元素个数。

步骤S404，对于剩余的每个类，用圆形去拟合各类中的数据，计算各类中元素的拟合程度，得到拟合数据，所述拟合数据包括标准差、拟合半径以及圆心坐标；

本步骤中，拟合数据的格式为[δ_n,r_n,x_n,y_n]，其中，δ_n为标准差、r_n为拟合半径，x_n、y_n为圆心坐标的x、y值。因为用户腿部具有一定弧度，因此用圆形去拟合数据可在后续筛选过程中根据拟合情况判断剩余的类是否与人腿特征类似。

步骤S405，筛除标准差不符合要求的类，得到剩余的若干个类。

本步骤中，可去除标准差大于δ_max的类，δ_max表示标准差的最大值，标准差超过此值说明对应的类中各点的拟合程度太差，明显不是具有弧度的特征，不符合人腿特征。

步骤S305中所述对得到的类进行识别，提取符合人体腿部特征的类配对包括如下步骤S501-S504：

步骤S501，计算每个类中元素的总长以及首尾元素的直线距离；

本步骤中总长L_m以及直线距离D_m的计算公式分别为：

其中，class_n[i]代表聚类结果，n表示类的标号，k表示类的标号，i表示类中元素标号，class_n[i].x和class_n[i].y分别表示第n个类的第i个元素的横坐标和纵坐标。

步骤S502，筛选出所述拟合半径以及所述直线距离满足预设条件的类；

本步骤中，筛选条件用公式表示即为r_n＜r_c，且d_min<D_m<d_max，其中r_n表示拟合半径，r_c表示腿部半径极限值。上述r_c、d_min与d_max的值可根据正常用户的腿的弧度以及腿宽情况统计得出。

步骤S503，计算出的所有类中每组类配对的两个类之间的距离；

本步骤中，两个类之间的距离为：

其中Dist[p]表示两个类之间的距离。

步骤S504，筛除距离超过预设最大值的类配对。

本步骤中，预设最大值以Dist_max表示，当Dist[p]超过Dist_max说明该类配对的两个类之间的距离明显超出常人的两腿距离，明显不符合人类腿距特征，应当予以排除。

步骤S306，所述根据符合人体腿部特征的类配对计算得到人体方位信息包括：

计算类配对的中心坐标，所述中心坐标为所述类配对中两个类的两个中心点的中点。

本步骤中，配对Pair_n的中心坐标的计算公式为：

其中，x_center和y_center分别表示每组类配对中心坐标的横坐标与纵坐标。

步骤S203中所述控制所述机器人头部105作俯仰运动并同时获取双目相机106的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部105停止俯仰运动包括如下步骤S601-S604：

步骤S601，同步订阅所述双目相机106的彩色图像话题、深度图像话题、相机模型信息话题，得到时间戳误差小于设定阈值的彩色图像数据、深度图像信息以及相机模型信息；

本步骤中，通过对时间戳误差范围进行限定，可保证后续点云匹配得到的位置信息准确。

步骤S602，将所述彩色图像数据转换为cvMat数据；

步骤S603，将所述cvMat数据输入dlib人脸检测库进行人脸检测，得到dlib人脸检测库输出的人脸方框数量；

本步骤中，对cvMat数据进行人脸检测的过程使用了dlib人脸检测库的dlib::get_frontal_face_detector()函数，若检测出有人脸存在，dlib人脸检测库输出的检测数据包含人脸方框数量、人脸方框在像素图中的位置以及人脸的68个特征点在像素图中的像素位置信息。

步骤S604，根据所述人脸方框数量判断是否检测到人脸，是则控制所述机器人头部105停止俯仰运动。

本步骤中，若没有检测到人脸，则继续控制头部驱动模块107的俯仰电机转动并重复执行上述步骤S602-S604，直至检测到人脸。

步骤S204中，所述计算人脸在机器人基坐标系中的位置包括如下步骤S701-S703：

步骤S701，计算人脸的68个特征点的点云数据；

步骤S702，根据人脸的68个特征点的像素位置信息以及对应的点云数据，计算得到68个特征点在相机坐标系下的空间坐标；

步骤S703，根据所述相机坐标系与所述机器人基坐标系的转换关系，将68个特征点在相机坐标系下的空间坐标转换为在机器人基坐标系下的位置。

本步骤中，从系统数据中获取机器人基坐标系与双目相机106坐标系的变换关系为

将68个特征点的空间坐标转换为机器人基坐标系中，具体为

其中P_B表示机器人基座标系中的位置，P_c为相机坐标系下的空间坐标。

由头部驱动模块107的位姿得出。

进一步地，所述计算人脸的68个特征点的点云数据包括如下步骤S801-S803：

步骤S801，确定68个特征点的像素位置向量数组；

本步骤中，向量数组记为P_f，每组向量数组均包含，

其中x_i表示横向坐标，y_i表示垂直向坐标。

步骤S802，将所述深度图像信息转换为点云数据；

本步骤中，使用ROS中depth_image_proc::convert<T>()函数将深度图转换为点云数据。

步骤S803，计算每个特征点在一维向量中的位置，匹配得到对应位置的点云数据。

特征点在一维向量中的位置pos[i]＝y_i*width+x_i，匹配得到对应位置的点云数据

其中pos[i]是整数，表示，width表示图像像素的列数，P_c[i].x、P_c[i].y、P_c[i].z表示特征点对应点云在相机坐标系下的坐标值。

进一步地，步骤S205中所述根据所述位置坐标调整躯干103的高度包括如下步骤S901-S902：

步骤S901，计算人脸的68个特征点中对应于眼部的12个特征点的坐标的坐标均值；

本步骤中，对应于眼部的12个特征点在68个特征点中处于36-47位的位置，通过眼部的位置坐标值P_B[36]～P_B[47]取均值，推断当前人体与机器人的高度位置关系为

其中P_P.x表示人面部特征在机器人前方的距离，P_P.z表示人面部特征在基座标系Z轴方向上的高度，根据机器人实际的调整性能。

步骤S902，根据预设规则调整躯干103的高度，其中所述预设规则包括：

若所述坐标均值中X轴方向的坐标值大于预设的远度最大值(即：P_P.x>PX_max，PX_max表示人面部特征在机器人前方的最大距离，即用户与机器人的在水平方向的距离超过远度最大值)，则不做调整；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值大于预设的高度最大值(即P_P.x<＝PX_max、P_P.z>PZ_max，其中PZ_max表示高度最大值，即机器人可上升到的最高高度)，则将躯干103调整到最高位置；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值小于预设的高度最小值(即P_P.x<＝PX_max、P_P.z<PZ_min，其中PZ_min表示高度最小值，即机器人可下降到的最低高度)，则将躯干103调整到最低位置；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，所述坐标均值中Z轴坐标值小于预设的高度最大值且大于预设的最小值(即P_P.x<＝PX_max、P_P.z<PZ_max、P_P.z>PZ_min)，则控制躯干103运动使得机器人头部105上的预设点(如双目相机106的正中心点)与所述坐标均值中的Z轴坐标值一致。

本发明的陪护机器人的高度方位自适应调整方法及陪护机器人基于激光雷达的扫描数据与双目相机采集的数据，结合识别算法能够自主调整机器人转动到正对的方向且升降到合适的高度，实现人机交互的舒适性，提高交互体验。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种陪护机器人的高度方位自适应调整方法，其特征在于，包括：

根据激光雷达的扫描数据识别用户腿部特征，并计算人体方位信息；

根据所述人体方位信息控制机器人头部转动直至机器人头部朝向用户；

控制所述机器人头部作俯仰运动并同时获取双目相机的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部停止运动；

计算人脸在机器人基坐标系中的位置；

根据所述位置调整躯干的高度。

2.根据权利要求1所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述根据激光雷达的扫描数据识别用户腿部特征包括：

根据预设范围剔除所述扫描数据中超出预设范围的数据；

将扫描数据从激光坐标系下变换至机器人基坐标系下，得到变换后扫描数据；

对所述变换后扫描数据进行数据聚类分割处理得到若干个类；

对得到的类进行识别，提取符合人体腿部特征的类配对，所述类配对包括两个类；

根据符合人体腿部特征的类配对计算得到人体方位信息。

3.根据权利要求2所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述对所述变换后扫描数据进行数据聚类分割处理得到若干个类包括：

针对所述变换后扫描数据中的每个数据都设置一个类；

循环执行聚类流程，得到若干个类；其中所述距离流程包括：计算每相邻两个类之间的最小距离，将距离小于预设最小距离的两个类合并为一个类；

筛除元素个数不在预设范围内的类；

对于剩余的每个类，用圆形去拟合各类中的数据，计算各类中元素的拟合程度，得到拟合数据，所述拟合数据包括标准差、拟合半径以及圆心坐标；

筛除标准差不符合要求的类，得到剩余的若干个类。

4.根据权利要求3所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述对得到的类进行识别，提取符合人体腿部特征的类配对包括：

计算每个类中元素的总长以及首尾元素的直线距离；

筛选出所述拟合半径以及所述直线距离满足预设条件的类；

计算出的所有类中每组类配对的两个类之间的距离；

筛除距离超过预设最大值的类配对。

5.根据权利要求4所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述根据符合人体腿部特征的类配对计算得到人体方位信息包括；

计算每组类配对的中心坐标，所述中心坐标为所述类配对中两个类的两个中心点的中点。

6.根据权利要求1所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述控制所述机器人头部作俯仰运动并同时获取双目相机的采集数据进行人脸检测，当检测到人脸后控制所述机器人头部停止俯仰运动包括：

同步订阅所述双目相机的彩色图像话题、深度图像话题、相机模型信息话题，得到时间戳误差小于设定阈值的彩色图像数据、深度图像信息以及相机模型信息；

将所述彩色图像数据转换为cvMat数据；

将所述cvMat数据输入dlib人脸检测库进行人脸检测，得到dlib人脸检测库输出的人脸方框数量；

根据所述人脸方框数量判断是否检测到人脸，是则控制所述机器人头部停止俯仰运动。

7.根据权利要求6所述的陪护机器人的高度方位自适应调整方法，其特征在于，当所述dlib人脸检测库输出的人脸方框数量大于1时，dlib人脸检测库同时输出的数据包括人脸方框在像素图中的位置以及人脸的68个特征点在像素图中的像素位置信息；所述计算人脸在机器人基坐标系中的位置包括：

计算人脸的68个特征点的点云数据；

根据人脸的68个特征点的像素位置信息以及对应的点云数据，计算得到68个特征点在相机坐标系下的空间坐标；

根据所述相机坐标系与所述机器人基坐标系的转换关系，将68个特征点在相机坐标系下的空间坐标转换为在机器人基坐标系下的位置。

8.根据权利要求7所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述计算人脸的68个特征点的点云数据包括：

确定68个特征点的像素位置向量数组；

将所述深度图像信息转换为点云数据；

计算每个特征点在一维向量中的位置，匹配得到对应位置的点云数据。

9.根据权利要求7所述的陪护机器人的高度方位自适应调整方法，其特征在于，所述根据所述位置坐标调整躯干的高度包括：

计算人脸的68个特征点中对应于眼部的12个特征点的坐标的坐标均值；

根据预设规则调整躯干的高度，其中所述预设规则包括：

若所述坐标均值中X轴方向的坐标值大于预设的远度最大值，则不做调整；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值大于预设的高度最大值，则将躯干调整到最高位置；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值小于预设的高度最小值，则将躯干调整到最低位置；

若所述坐标均值中X轴方向的坐标值小于等于预设的远度最大值，且所述坐标均值中Z轴坐标值小于预设的高度最大值且大于预设的高度最小值，则控制躯干运动使得机器人头部上的预设点与所述坐标均值中的Z轴坐标值一致。

10.一种陪护机器人，其特征在于，包括：

移动底盘，其能可控移动；

激光雷达，其安装在所述移动底盘上；

躯干，其安装在所述移动底盘上；

升降调节模块，其连接所述移动底盘与躯干，用于驱动所述躯干相对于所述移动底盘升降；

机器人头部，其安装在所述躯干上；

双目相机，其安装在所述机器人头部上，用于采集彩色图像数据与深度图像信息；

头部驱动模块，其连接所述躯干与所述机器人头部，用于驱动所述机器人头部作回转运动以及俯仰运动；及

控制单元，其与所述移动底盘、升降调节模块、双目相机以及头部驱动模块电性连接，用于执行如权利要求1-9任一项所述的陪护机器人的高度方位自适应调整方法。

Images