CN112936245B - 一种类人机器人头部和眼睛注视控制装置及方法 - Google Patents

Abstract

本发明提供的一种类人机器人头部和眼睛注视控制装置，包括：电动推杆控制类人机器人的头部进行上下运动；角度传感器采集类人机器人头部的俯仰角度，用作电动推杆的闭环控制；舵机控制类人机器人的眼睛进行转动；电机控制类人机器人的头部进行左右运动；编码器采集电机的转动角度；深度摄像头采集视频数据和深度数据；麦克风克风阵列用作识别用户的方位；控制器用于连接各个传感器并收集传感器的信息。本发明同时提出了该装置的控制方法，通过摄像头和麦克风阵列对用户进行定位，然后控制对应电机运动到指定角度。本发明能够让类人机器人在执行交互任务时，头部和眼睛始终注视着用户的脸部，让机器人在交互动作上更接近人类。

Description

一种类人机器人头部和眼睛注视控制装置及方法

技术领域

本发明属于类人机器人技术领域，具体涉及一种类人机器人头部和眼睛注视控制装置及方法。

背景技术

在机器人领域中,类人机器人是当前比较火热的研究方向。类人机器人的一个突出的特点是具有很强的交互性，因而常常被用于迎宾、陪护等工作。在类人机器人实行交互功能(如和人类谈话交流)时，需要做出与人类类似的动作和反应，才能够使得机器人更接近人类。需要让机器人做出与人类类似的动作和反应，则需要硬件、传感器、方法的良好配合才能完成。在现有的机器人控制系统中，控制机器人注视的方法往往比较简单，有的只有头部转动，如中国专利申请“一种机器人头部拟人化转动机构及方法(CN202010275484.6)”，自由度不高，动作不够拟人化。在控制反馈上，大部分的控制反馈都是基于单一的图像人脸识别，也只有单目的摄像头识别。这样的传统控制算法使得类人机器人的头部和眼睛注视效果不够类人(只能一维而且只能根据图像信息判断机器人应该转向哪个方向)。

发明内容

本发明的目的是针对具有多自由度的类人机器人在交互时的注视问题，一种类人机器人头部和眼睛注视控制装置及方法，目的是让类人机器人在执行交互任务时，头部和眼睛始终注视着用户的脸部，能够让机器人在交互动作上更接近人类。为实现这个目的，需要结合图像识别和麦克风阵列识别用户的方位，然后通过控制方法控制机器人的头部始终面向用户。

为了实现以上目的，一种类人机器人头部和眼睛注视控制装置，包括电动推杆、角度传感器、电机、第一眼睛转动舵机、第二眼睛转动舵机、编码器、深度摄像头、麦克风阵列和控制器，

所述电动推杆，用于控制类人机器人的头部进行上下运动；

所述角度传感器，用于采集类人机器人头部的俯仰角度，用作电动推杆的闭环控制；

所述电机，用于控制类人机器人的头部进行左右运动；

所述第一眼睛转动舵机、所述第二眼睛转动舵机分别用于控制类人机器人的眼睛进行上下和左右转动；

所述编码器，用于采集电机的转动角度，用作电机的闭环控制；

所述深度摄像头，用于采集视频数据和深度数据；

所述麦克风阵列，用于采集声音方位信息；

所述控制器包括依次连接的工控机、单片机和用于控制电动推杆的电机驱动器，所述摄像头及所述麦克风阵列均与工控机的输入端连接，所述编码器及所述角度传感器均与所述单片机的输入端连接，所述电机驱动器及所述电机均与所述单片机的输出端连接。

本发明的进一步优选方案中，所述电动推杆与类人机器人头部机械件相连，通过推杆的直线运动控制类人机器人头部运动。

本发明的进一步优选方案中，所述角度传感器，为MPU6050角度传感器，安装在类人机器人的头部顶端，能够采集类人机器人头部的俯仰角度，并把采集的转动角度传送给所述单片机。

本发明的进一步优选方案中，所述电机通过齿轮组与类人机器人的头部相连接，通过驱动齿轮组带动类人机器人头部左右转动。

本发明的进一步优选方案中，所述第一眼睛转动舵机、第二眼睛转动舵机通过连杆结构与类人机器人的眼球连接。通过转动分别控制机器人眼睛的上下转动和左右转动。通过串口线连接到所述控制器中接收控制信号。

本发明的进一步优选方案中，所述编码器为绝对式编码器，能够获取所述电机的转动角度，并把采集的转动角度传送给所述单片机，配合控制方法控制所述电机进行精确角度转动。

本发明的进一步优选方案中，所述深度摄像头为RGB-D深度摄像头，采集二维图像的同时能够采集深度信息，其通过USB数据传输线与所述控制器连接，并把采集到的图像信息和深度信息传送给所述控制器。

本发明的进一步优选方案中，所述麦克风阵列为4阵列麦克风阵列，其通过USB数据传输线与所述控制器连接，能够把采集到的声音方位信息传送给所述控制器。

本发明相应提出的上述一种类人机器人头部和眼睛注视控制装置的控制方法，包括以下步骤：

摄像头采集视频数据和深度信息并将视频数据和深度信息传送至工控机，工控机通过人脸识别模型对视频数据进行人脸识别，通过检测得到的人脸数据获得人脸在二维图像中的坐标，根据坐标获得人脸的深度数据，根据深度数据线性转换成机器人的俯仰角度，并把俯仰角度发送到单片机，根据所获取的人脸二维图像的纵轴坐标，通过线性关系转换成眼睛的上下角度，然后发送控制数据到第一眼睛转动舵机；

麦克风阵列采集人声数据并计算出人声方位信息，并将人声方位信息传送给工控机，工控机提取人声数据中的方位信息并转换成眼睛和头部的电机控制角度，然后将电机控制角度发送至单片机和舵机；

编码器采集电机当前的转动角度并发送至单片机，单片机根据当前的转动角度及工控机发送的电机控制角度得到电机控制信号，并根据电机控制信号控制电机转动到目标位置；

角度传感器采集类人机器人头部的当前俯仰角度并发送至单片机，单片机根据当前俯仰角度和工控机发送的机器人的俯仰角度得到机器人控制信号，并把机器人控制信号发送至电机驱动器，电机驱动器驱动电动推杆运动到目标位置。

本发明的进一步优选方案中，所述工控机提取人声数据中的方位信息并转换成眼睛和头部的电机控制角度，然后将电机控制角度发送至单片机和舵机，包括：

工控机计算人声方位和机器人头部的方位的差值，若差值小于所设定阈值，则通过线性计算得到第二眼睛转动舵机的转动角度，并发送控制信号给第二眼睛转动舵机，若差值大于所设定阈值，则先控制眼睛转动到居中位置，然后根据线性关系计算电机的转动角度，把电机控制角度发送到单片机中。

本发明的进一步优选方案中，所述人脸识别模型为opencv人脸识别模型。

本发明的进一步优选方案中，单片机内设置有第一定时中断和第二定时中断，当第一定时中断发生时，单片机从编码器中获取电机当前的角度值，当第二定时中断发生时，单片机从角度传感器中获取电机当前的角度值。

与现有技术相比，本发明能够实现的有益效果至少如下：

(1)本发明使用了深度摄像头和麦克风阵列作为检测人类方位的传感器，从视觉和声音信息上分别对人类方位进行定位，能够准确的定位出在类人机器人附近的用户的方位，同时能够增强系统的鲁棒性。在定位出用户的方位后，通过单片机和角度传感器结合，对两个驱动电机进行闭环控制，能够准确的控制类人机器人的头部和眼睛转向特定的方向。此方法能够让类人机器人在交互时能够时刻的面向用户。

(2)本发明实现眼睛和头部运动的联合控制，在小范围内先控制眼睛转动，当声音源大于一定角度时才转头，这样控制更符合实际。

(3)本发明通过深度摄像头采集深度信息，以获得人脸到摄像头之间的距离，通过人脸的距离可以实现对头部的上下俯仰的控制，通过人脸的坐标可以实现对眼睛的上下转动的控制。可以同时实现对头部和眼睛的运动，自由度更多，更加拟人化。

附图说明

图1是本实施例提出的一种类人机器人头部和眼睛注视控制装置结构示意图。

图中：1-电动推杆，2-角度传感器，3-电机，4-编码器，5-摄像头，6-第一眼睛转动舵机，7-第二眼睛转动舵机。

图2、图3是本实施例提出的一种类人机器人头部和眼睛注视控制装置中的眼球转动机械结构示意图。

图4是本实施例提出的一种基于图像识别和麦克风阵列的类人机器人头部注视控制方法的流程示意图。

具体实施方式

为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。

请参阅图1，本实施例提供的一种类人机器人头部和眼睛注视控制装置，包括电动推杆1、角度传感器2、电机3、编码器4、摄像头5、第一眼睛转动舵机6、第二眼睛转动舵机7、麦克风阵列和控制器。

控制器安装在机器人的身体躯干部分，控制器作用是连接各个传感器并收集传感器的信息，驱动电机以及运行算法，控制器包括工控机、单片机、电机驱动器，工控机部分负责运行算法，接收摄像头、麦克风阵列的数据，通过控制算法计算电机控制量，并且发送控制数据给单片机，单片机负责发送驱动信号给电机驱动器和电机，电机驱动器驱动电动推杆运动。

电动推杆1安装在类人机器人脖子处，与类人机器人的头部机械件连接以通过推杆的直线运动控制类人机器人的头部进行上下运动。电动推杆包括驱动电机和推杆，驱动电机驱动推杆做直线运动。

角度传感器2安装在类人机器人的头部顶端，采集类人机器人头部的俯仰角度，用作电动推杆的闭环控制。本实施例的角度传感器2为MPU6050角度传感器，把采集的转动角度传送给单片机，配合控制算法控制所述电动推杆进行精确角度转动。

电机3安装在类人机器人的脖子下端，通过齿轮组与类人机器人的中心轴相连接，通过转动可以控制类人机器人的头部进行旋转运动以改变方向。电机可以采用直流电机、伺服电机、步进电机等类型的电机。本实施例的电机为86型步进电机，通过驱动齿轮组带动类人机器人头部左右转动。

编码器4与电机3通过联轴器相连，在电机3转动时，编码器的轴同时转动相同角度，能够采集电机的转动角度，用作电机的闭环控制。本实施例的编码器4为绝对式编码器，能够获取电机3的转动角度，并把采集的转动角度传送给单片机，配合控制算法控制电机3进行精确角度转动。

摄像头5安装在机器人的眼睛内，并且通过usb数据线连接到控制器上进行数据传输。本实施例的摄像头5为RGB-D深度摄像头。

第一眼睛转动舵机6和第二眼睛转动舵机7安装在设置在机器人头部的安装板上，通过连杆结构和机器人眼睛连接，控制机器人眼睛的转动。其中，第一眼睛转动舵机6负责控制机器人眼睛的上下转动，第二眼睛转动舵机7负责控制机器人眼睛的左右转动。

具体的，请参阅图2、图3，本实施例中的一种类人机器人头部和眼睛注视控制装置中的眼球转动机械结构包括第一眼睛转动舵机6、上下转动连杆601、上下转动轴602、机器人眼球603、第二眼睛转动舵机7、左右转动连杆701、左右转动轴702。

实现眼球上下转动方法：第一眼睛转动舵机6与上下转动连杆601连接，当第一眼睛转动舵机6转动时，根据平行四边形原则，上下转动连杆601四边转动，并且对边保持平行，同时带动上下转动轴602转动，上下转动轴602与机器人眼球603同轴连接，上下转动轴602转动时带动机器人眼球603上下转动。

实现眼球左右转动方法：第二眼睛转动舵机7与左右转动连杆701连接，当第二眼睛转动舵机7转动时，同样根据平行四边形原则，左右转动连杆701转动，并且对边保持平行，同时带动左右转动轴702转动，左右转动轴702与机器人眼球603连接，左右转动轴702转动时带动机器人眼球603左右转动。

麦克风阵列安装在机器人的身体躯干部分，麦克风阵列通过声音信息识别用户的方位并且把具体方位信息通过串口传输到控制器上。本实施例的麦克风阵列为4阵列麦克风阵列。

其中，控制器包括依次连接的工控机、单片机和用于控制电动推杆的电机驱动器，摄像头及麦克风阵列均与工控机的输入端连接，编码器及角度传感器均与单片机的输入端连接，电机驱动器及电机均与单片机的输出端连接。

可以理解的是，以上给出的组成部分的型号是一种具体举例，不构成对保护范围的限制，其他可实现本发明功能的型号也可适用于本发明。

本实施例还提供了前述控制装置的控制方法。

请参阅图4，本实施例提供的一种基于图像识别和麦克风阵列的类人机器人头部注视控制方法，包括以下步骤：

步骤1：深度摄像头采集视频数据和深度信息并将视频数据和深度信息传送至工控机，工控机通过人脸识别模型对视频数据进行人脸识别，通过检测得到的人脸数据获得人脸在二维图像中的坐标，根据坐标获得人脸的深度数据，根据深度数据线性转换成机器人的俯仰角度，并把俯仰角度发送到单片机。根据所获取的人脸二维图像的纵轴坐标，通过线性关系转换成眼睛的上下角度，然后通过串口发送控制数据到第一眼睛转动舵机，具体如下：

步骤1.1、加载opencv开发库；

步骤1.2、加载opencv人脸识别模型；

步骤1.3、通过摄像头循环获取视频流；

步骤1.4、使用加载的opencv人脸识别模型检测视频流中的人脸数据；

步骤1.5、若检测到人脸数据，则获取人脸在二维图像中的坐标，并且根据坐标位置提取深度信息中的距离，得到人脸离摄像头的距离。根据人脸距离控制头部的俯仰角度，简要来说，人脸离机器人越远，机器人的头部越需要往上仰。俯仰的角度和距离的控制关系为普通正相关线性关系，即距离越远机器人头部仰得越高，通过线性计算得到俯仰角度后，把俯仰角度发送到单片机中，修改单片机中电动推杆PID闭环控制方法的目标值。对于机器人眼睛的控制，根据所获取的人脸二维图像的纵轴坐标，通过线性关系转换成眼睛的上下翻动的角度，然后通过串口发送控制数据到第一眼睛转动舵机6。识别过程结束，继续循环获取视频流，等待下一个检测数据；

步骤1.6、若检测不到人脸数据，继续循环获取视频流。

步骤2：麦克风阵列采集人声数据并计算出人声方位信息，并将人声方位信息传送给工控机，工控机将人声方位信息转换成眼睛和头部的电机控制角度，然后将电机控制角度发送至单片机和舵机。具体如下：

在工控机部分同时运行有麦克风阵列信息获取的代码，能够接收来自麦克风阵列发来的人声方位信息，并且转换成电机控制角度，发送到单片机中进行具体控制。这部分的程序运行逻辑如下：

步骤2.1、循环检测串口接收数据；

步骤2.2、当检测到有人声数据，麦克风阵列通过串口把范围信息传送给工控机；

步骤2.3、工控机检测到有人声方位信息，计算人声方位和机器人头部的方位的差值，若差值小于所设定阈值α(α可调节),则只控制眼睛转动，根据线性关系计算第二眼睛转动舵机的转动角度，并且通过串口发送控制数据到第二眼睛转动舵机。若差值大于α，则先控制眼睛转动到居中位置，然后根据线性关系计算脖子即电机3的转动角度，把电机控制角度发送到单片机中，修改单片机中电机PID闭环控制方法的目标值。过程结束，继续循环检测串口接收数据。

步骤2.4、若检测不到有人声数据，则继续循环检测接收数据。

步骤3：编码器采集电机3当前的转动角度并发送至单片机，单片机根据当前的转动角度及工控机发送的电机控制角度得到电机控制信号，并根据电机控制信号控制电机转动到目标位置；角度传感器采集类人机器人头部的当前俯仰角度并发送至单片机，单片机根据当前俯仰角度和工控机发送的机器人的俯仰角度得到机器人控制信号，并把机器人控制信号发送至电机驱动器，电机驱动器驱动电动推杆运动到目标位置。具体如下：

单片机在本控制装置中主要起到闭环方法的实现、传感器的信息采集和电机控制信号的发送。如图1所示，单片机中一共设置了两个定时中断，定义为第一定时中断(即图中的定时中断1)和第二定时中断(即图中的定时中断2)，定时时间设置为0.5秒，可以理解的是，在其他实施例中可以根据需要将定时时间设置成其他时间。两个中断分别对应着电机3和电动推杆的闭环控制，其程序逻辑如下：

步骤3.1、设定定时中断1和定时中断2，中断间隔为0.5秒，即每0.5秒产生一次中断；

步骤3.2、定时中断1中断发生时，从编码器中获取电机3当前的转动角度值；

步骤3.3、获取在步骤2中工控机端音频处理程序中得到的电机角度控制目标值，若无新数据发送，则沿用上一时序的数据。获取数据后进行PID闭环控制计算；

步骤3.4、通过线性关系计算得到电机控制信号，并把电机控制信号发送至电机，控制电机转动到目标位置；

步骤3.5、定时中断2中断发生时，从角度传感器中获取类人机器人头部的当前俯仰角度值；

步骤3.6、获取在步骤1中工控机端人脸识别程序中的俯仰角度目标值，若无新数据发送，则沿用上一时序的数据。获取数据后进行PID闭环控制计算；

步骤3.7、通过线性关系计算得到机器人控制信号，并把机器人控制信号发送至电机驱动器，电机驱动器驱动电动推杆运动到目标位置。

以上实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (7)

1.一种类人机器人头部和眼睛注视控制装置，其特征在于，包括电动推杆、角度传感器、电机、第一眼睛转动舵机、第二眼睛转动舵机、编码器、深度摄像头、麦克风阵列和控制器，

所述电动推杆，用于控制类人机器人的头部进行上下运动；

所述角度传感器，用于采集类人机器人头部的俯仰角度，用作电动推杆的闭环控制；

所述电机，用于控制类人机器人的头部进行左右运动；

所述第一眼睛转动舵机 、所述第二眼睛转动舵机分别用于控制类人机器人的眼睛进行上下和左右转动；

所述编码器，用于采集电机的转动角度，用作电机的闭环控制；

所述深度摄像头，用于采集视频数据和深度数据；

所述麦克风阵列，用于采集声音方位信息；

所述控制器包括依次连接的工控机、单片机和用于控制电动推杆的电机驱动器，所述摄像头及所述麦克风阵列均与工控机的输入端连接，所述编码器及所述角度传感器均与所述单片机的输入端连接，所述电机驱动器及所述电机均与所述单片机的输出端连接；

其中，所述控制装置的控制方法，包括以下步骤：

摄像头采集视频数据和深度信息并将视频数据和深度信息传送至工控机，工控机通过人脸识别模型对视频数据进行人脸识别，通过检测得到的人脸数据获得人脸在二维图像中的坐标，根据坐标获得人脸的深度数据，根据深度数据线性转换成机器人的俯仰角度，并把俯仰角度发送到单片机，根据所获取的人脸二维图像的纵轴坐标，通过线性关系转换成眼睛的上下角度，然后发送控制数据到第一眼睛转动舵机；

麦克风阵列采集人声数据并计算出人声方位信息，并将人声方位信息传送给工控机，工控机提取人声数据中的方位信息并转换成眼睛和头部的电机控制角度，然后将电机控制角度发送至单片机和舵机；

编码器采集电机当前的转动角度并发送至单片机，单片机根据当前的转动角度及工控机发送的电机控制角度得到电机控制信号，并根据电机控制信号控制电机转动到目标位置；

角度传感器采集类人机器人头部的当前俯仰角度并发送至单片机，单片机根据当前俯仰角度和工控机发送的机器人的俯仰角度得到机器人控制信号，并把机器人控制信号发送至电机驱动器，电机驱动器驱动电动推杆运动到目标位置；

其中，所述工控机提取人声数据中的方位信息并转换成眼睛和头部的电机控制角度，然后将电机控制角度发送至单片机和舵机，包括：

工控机计算人声方位和机器人头部的方位的差值，若差值小于所设定阈值，则通过线性计算得到第二眼睛转动舵机的转动角度，并发送控制信号给第二眼睛转动舵机，若差值大于所设定阈值，则先控制眼睛转动到居中位置，然后根据线性关系计算电机的转动角度，把电机控制角度发送到单片机中；

其中，单片机内设置有第一定时中断和第二定时中断，当第一定时中断发生时，单片机从编码器中获取电机当前的角度值，当第二定时中断发生时，单片机从角度传感器中获取电机当前的角度值。

2.根据权利要求1所述的一种类人机器人头部和眼睛注视控制装置，其特征在于，所述电动推杆与类人机器人头部机械件相连。

3.根据权利要求1所述一种类人机器人头部和眼睛注视控制装置，其特征在于，所述角度传感器安装在类人机器人的头部顶端。

4.根据权利要求1所述的一种类人机器人头部和眼睛注视控制装置，其特征在于，所述电机通过齿轮组与类人机器人的头部相连接。

5.根据权利要求1所述的一种类人机器人头部和眼睛注视控制装置，其特征在于，所述第一眼睛转动舵机、第二眼睛转动舵机通过连杆结构与类人机器人的眼球连接。

6.根据权利要求1所述的一种类人机器人头部和眼睛注视控制装置，其特征在于，所述深度摄像头为RGB-D深度摄像头。

7.根据权利要求1所述的一种类人机器人头部和眼睛注视控制装置，其特征在于，所述人脸识别模型为opencv人脸识别模型。