CN109976335A - 一种可追踪的便携式立体直播智能机器人及其控制方法 - Google Patents

Abstract

本发明涉及一种可追踪的便携式立体直播智能机器人及其控制方法，主要要解决的是自动检测和追踪人脸、双目摄像三维成像、与移动设备实时高速传输影像等功能实现的技术问题。主要包括：1、设备集成基于α散度的NMF人脸识别和基于Kalman滤波的改进跟踪算法，自动标定算法，查表和防抖动算法等算法，自动或半自动完成检测并追踪人脸。2、设备采用了一种双舵机并联结构模型及其控制策略，从而配合自动检测和追踪人脸算法，实现人脸追踪。3、设备模拟人的双眼，同步拍摄两幅画面，再根据视差原理同步播放两幅画面，借助VR眼镜实现立体直播。

Description

一种可追踪的便携式立体直播智能机器人及其控制方法

技术领域

本发明属于图像分析、立体摄影术和运动控制技术领域，具体涉及一种可追踪的便携式立体直播智能机器人及其控制方法。

背景技术

随着网络直播产业的高速发展，市场对直播视频质量提出了更高的需求。目前网络直播的拍摄设备主要为高清摄像头、红外摄像头和手机等。各种设备多是或夹或挂地固定在某一位置，需要手动移动摄像头位置和调节远近景焦距，极大地影响了直播视频的流畅度和用户的观看体验。且几乎都为单目摄像头，不能够满足越来越多的用户对于立体直播的沉浸式体验的需要。

发明内容

为了满足市场的现有需求，本发明提供了一种可追踪的便携式立体直播智能机器人，应用于网络直播特别是立体直播市场。

本发明具有自动检测和追踪人脸、双目摄像三维成像、与移动设备实时高速传输影像等功能，它集成了两个同规格摄像头，两个同规格舵机，蓝牙模块，蓄电池和NanoPi M3控制板。

本发明主要采用如下技术方案：

一种可追踪的便携式立体直播智能机器人，其特征在于：包括上半部、连接部和下半部，其中，上半部设计为一个长方体小盒，将两个摄像头装入其中；连接部分由两根定长连杆和一根T型杆组成，定长连杆起动力传动作用，T型杆下端的垂直杆底端通过转轴固定到下半部，并且可以转动，上端的水平杆的两端设置在上半部小盒内部的凹槽里，长方体小盒能够在转轴的驱动下做水平旋转，并能够在长连杆的往复运动下使长方体小盒能够在凹槽的支撑下做俯仰运动；下半部设计为一个立方体盒子，将两组舵机平行固定在盒子内部，舵机前方剩余部分用来固定蓄电池、蓝牙模块和NanoPi M3控制板，连接摄像头的数据线从T型杆内部穿出与控制板相连，控制板与蓄电池、蓝牙模块和舵机分别相连；定长连杆两端连接上半部长方体小盒的下部和舵机并通过球头铰接，舵机上的齿轮与连杆直接铰接，舵机驱动齿轮转动进而借助连杆传动，带动上半部运动。

一种可追踪的便携式立体直播智能机器人的控制方法，其特征在于：包括：

进行人脸跟踪：基于人脸追踪算法，对人脸进行跟踪，所述人脸追踪算法包括集成基于α散度的NMF人脸识别，基于Kalman滤波的改进跟踪算法，自动标定算法，查表和防抖动算法；

行走步骤：基于人脸追踪算法，设备将两个同规格舵机平行固定安装在底板，舵盘带动连杆来驱动上半部摄像头运动到指定位置，能够在左右各60°，上下各45°，三自由度范围内旋转，控制部分采用建立标定表，然后进行查表与三角空间平滑的方法生成控制策略。

在上述的可追踪的便携式立体直播智能机器人的控制方法，集成基于α散度的NMF人脸识别算法和基于Kalman滤波的改进跟踪算法，包括：

步骤1：进行NMF人脸检测，检测画面中的人脸特征，若检测到人脸目标，进入步骤2，否则，直接进入步骤3；

步骤2：根据人脸肤色提取特征，建立人脸中心坐标，并将特征输入步骤3；

步骤3：进行Cam shift人脸检测，建立人脸中心坐标；

步骤4：由人脸中心坐标基于强跟踪Kalman滤波预测下一帧人脸位置，然后回到步骤1。

在上述的一种双舵机并联结构模型及其控制方法，集成自动标定算法，包括：

步骤1：两舵机移动到初始位置，其中舵机一处于最小初始位置，舵机二处于最大初始位置；

步骤2：舵机一位置不变，舵机二向最小位置移动；

步骤3：当舵机二力矩大于预设置阈值时，舵机二向最大位置转动；

步骤4：当舵机二力矩大于预设置阈值时，舵机一向最大位置转动Δs；若舵机一位置到达最大值，则标定结束；否则转步骤2。

在上述的可追踪的便携式立体直播智能机器人的控制方法，查表和防抖动算法，包括：

步骤1：读取标定表T，并输入目标点P(x，y)，检测P是否在标定表T中，若在标定表中，移动舵机到dxl1,dxl2，然后结束，否则，进行步骤2；

步骤2：按照与P点的距离，对标定表进行排序，若存在A,B,C三点在标定表T中，且P点位于三角形ABC内部，进行步骤3，否则，结束；

步骤3：分别记A’,B’,C’为(xa,ya,dxla),(xb,yb,dxlb)和(xc,yc,dxlc)，并计算A’B’C’所在的平面，将P代入平面中，求得dxl1和dxl2的值，移动舵机到dxl1,dxl2，然后结束。

因此，本发明具有如下优点：1、本发明提出了一种特殊的舵机固定驱动结构，即两个舵机平行固定安装在底板，齿轮带动连杆来驱动摄像头运动到指定位置。这种结构抛弃了直接用两个垂直安装的舵机分别控制竖直和水平两个自由度的设计，该结构较具有安装方便快捷、机械结构稳定、不易磨损、转动力矩小但承受负载大和占用空间小等优点。2、本发明设计了一种自动标定算法与防抖动算法，即通过获取的舵机舵盘位置与摄像头位置的映射关系表来设计跟踪控制算法，并考虑到控制过程中摄像头位置变化过大产生的抖动问题，将一步到位的位移分成合理的几个小位移，逐步靠近目标位置，由此来减缓大位移中的抖动问题，从而能够有效控制产品加工和组装过程中的误差。3、本发明设计了一种基于Alpha散度的NMF人脸识别方法，用Alpha散度作为奖励度量标准，得到对应的NMF分解表达式，通过表达式中参数取值可衍生出多种分解迭代表达式，在每步迭代过程中计算差异度，进而确定下一步的最优参数，使用该方法设计的人脸识别算法，可明显提高人脸识别精度。4、本发明设计了一种基于Kalman滤波的改进跟踪算法，在算法中应用强跟踪Kalman算法对下一帧人脸可能出现的位置区域进行预测，将该预测位置作为下一帧人脸检测算法的优先检测区域，明显提高了人脸跟踪算法的实时性和准确率。

附图说明

图1为人脸识别和追踪算法流程图。

图2为查表算法流程图。

图3为机械结构原理示意图。

图4为视差原理示意图。

图5为机器人结构示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

一、首先介绍本发明的主要方法原理。

本发明设计了一种可追踪的便携式立体直播智能机器人，具体功能实现如下：

第一，设备集成基于α散度的NMF人脸识别和基于Kalman滤波的改进跟踪算法，自动标定算法，查表和防抖动算法等算法，自动或半自动完成检测并追踪人脸，有两种方式，其一，设备自动检测拍摄画面中的人脸，完成识别后跟踪人脸，其二，用户圈定目标后设备自动跟踪。同时设备自动检查目标是否在画面中心，否则设备自动转动使目标保持画面中心。

第二，设备采用了一种双舵机并联结构模型及其控制策略。该模型模拟人的头部运动，能够在左右各60°，上下各45°，三自由度范围内旋转；控制部分采用建立标定表，然后进行查表与三角空间平滑的方法生成控制策略。这种控制策略与跟踪算法相匹配，能够快速、平滑、精确控制并联结构运动，保持目标在视野中心；与理论模型计算相比，降低了运算复杂度，减小了机械间隙及测量等带来的误差。设备将两个同规格舵机平行固定安装在底板，舵盘带动连杆来驱动摄像头运动到指定位置，从而配合自动检测和追踪人脸算法，实现人脸追踪。

第三，设备采用了仿生学设计，模拟人的双眼，直播端两个同规格摄像头平行放置，同时从不同位置拍摄两幅画面，用户端设备根据视差原理同步播放同时拍摄的两幅画面，直播用户佩戴VR眼镜即可观看3D画面，从而实现立体直播。

第四，设备集成蓝牙模块和蓄电池，在室内外环境均可工作，蓝牙模块实现摄像头画面与移动设备间的实时高速传输，蓄电池保证设备便于携带，满足户外直播需要。

第五，根据实现发明功能的需要，我们设计了机器人的结构示意图，如图5所示。

二、下面结合附图阐述具体案例。

针对发明内容中的第一点，设备集成了自动标定算法、查表与防抖算法。具体实现如下：

1)自动标定算法：

设备使用标定的方法，建立舵机位置与摄像头视角的对应关系。标定相较于物理建模的方法，能够实现标定一次，多次使用，且使用过程中查表的计算开销很小；而物理建模由于3D打印的误差、组装时的机械间隙等，导致模型不精确，且计算量较大，不适合应用于嵌入式开发。

标定的思路是遍历两个舵机所有可以运动的位置，然后记录下摄像头的视角状态。在实际标定过程中，我们使用一个实心圆作为标定点，以实心圆的圆心在图像中的像素坐标作为摄像头的视角状态。

标定具体流程如下：

①两舵机移动到初始位置(舵机1处于最小初始位置，舵机2处于最大初始位置)；

②舵机1位置不变，舵机2向最小位置移动；

③当舵机2力矩大于预设置阈值时，舵机2向最大位置转动；

④当舵机2力矩大于预设置阈值时，舵机1向最大位置转动Δs。若舵机1位置到达最大值，则标定结束；否则转2)。

标定频率：2Hz

标定表格式：dxl1,dxl2,x,y(舵机1位置，舵机2位置，标定点x坐标，标定点y坐标)

2)查表与防抖算法：

标定表不可能记录下所有的可达位置，因此对于不在标定表中的点我们采取了一种三角平滑取值的方法，得出近似的舵机位置反馈。标定表的具体使用流程图如图2所示。红色框部分即为三角平滑取值方法。对于不在标定表中的点P，我们首先根据标定表中的x、y项，取出包含点P的最小△ABC；然后根据标定表中的dxl1项，将△ABC从二维映射到三维，得到平面ABC；假设点P映射到三维空间后的点在平面ABC内部，则可以求得P的三维坐标，得到dxl1；重复映射，得到dxl2。这种方法能够尽量减小舵机1和舵机2的位置误差。

在实际跟踪过程中，由于种种误差，执行一次查表可能无法使摄像头到达目标状态，因此我们在摄像头运动过程中，会不断根据当前位置状态和目标的像素坐标进行多次查表，逐步修改运动位置，从而达到目标状态。

2.针对发明内容中的第二点，本发明最终要实现摄像头对目标的跟踪，所以摄像头需要安装在合理的机械结构上，通过驱动装置能将摄像头驱动到合理的位置。基于这样的设想，本发明根据如图3的原理，设计了相关机械结构。

图3中，圆A和圆B代表舵机舵盘、平面GEF由定点G和两个动点E和F确定，通过两根定长的金属杆，把舵盘边沿C、D两点同平面GEF中的E、F两点相连，舵机舵盘转动改变C、D两点位置从而带动上平面的运动，使得固定在上平面上的摄像头能运动到指定位置。根据此原理，具体的机械结构设计主要分为上半部、下半部和连接部分：上半部设计为一个长方体小盒，将摄像头和NanoPi M3控制板装入其中，在长方体下部安装可360度旋转的球头作为原理图中带动平面运动的E、F两点。下半部设计一个封闭的盒子，将两个舵机平行固定在盒子内部，舵机前方剩余部分用来固定电池。连接部分由两根定长连杆和一根T型杆组成，定长连杆起动力传动作用；T型杆下端通过轴承固定到下半部盒子上，使之能支撑上半部做水平转动，上端同样通过轴承固定到上半部盒子上，使上半部可以做垂直转动。

3.针对发明中的第三点，我们采用仿生学设计，平行放置左右两个摄像头从不同的位置同时获取拍摄画面的两幅图像，用户借助VR眼镜利用视差原理同步播放画面即可观看到3D画面，视察原理图如图4所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种可追踪的便携式立体直播智能机器人，其特征在于：包括上半部、连接部和下半部，其中，上半部设计为一个长方体小盒，将两个摄像头装入其中；连接部分由两根定长连杆和一根T型杆组成，定长连杆起动力传动作用，T型杆下端的垂直杆底端通过转轴固定到下半部，并且可以转动，上端的水平杆的两端设置在上半部小盒内部的凹槽里，长方体小盒能够在转轴的驱动下做水平旋转，并能够在长连杆的往复运动下使长方体小盒能够在凹槽的支撑下做俯仰运动；下半部设计为一个立方体盒子，将两组舵机平行固定在盒子内部，舵机前方剩余部分用来固定蓄电池、蓝牙模块和NanoPi M3控制板，连接摄像头的数据线从T型杆内部穿出与控制板相连，控制板与蓄电池、蓝牙模块和舵机分别相连；定长连杆两端连接上半部长方体小盒的下部和舵机并通过球头铰接，舵机上的齿轮与连杆直接铰接，舵机驱动齿轮转动进而借助连杆传动，带动上半部运动。

2.一种权利要求1所述机器人的控制方法，其特征在于：包括：

进行人脸跟踪：基于人脸追踪算法，对人脸进行跟踪，所述人脸追踪算法包括集成基于α散度的NMF人脸识别，基于Kalman滤波的改进跟踪算法，自动标定算法，查表和防抖动算法；

行走步骤：基于人脸追踪算法，设备将两个同规格舵机平行固定安装在底板，舵盘带动连杆来驱动上半部摄像头运动到指定位置，能够在左右各60°，上下各45°，三自由度范围内旋转，控制部分采用建立标定表，然后进行查表与三角空间平滑的方法生成控制策略。

3.根据权利要求2所述的可追踪的便携式立体直播智能机器人的控制方法，其特征在于：集成基于α散度的NMF人脸识别算法和基于Kalman滤波的改进跟踪算法，包括：

步骤1：进行NMF人脸检测，检测画面中的人脸特征，若检测到人脸目标，进入步骤2，否则，直接进入步骤3；

步骤2：根据人脸肤色提取特征，建立人脸中心坐标，并将特征输入步骤3；

步骤3：进行Cam shift人脸检测，建立人脸中心坐标；

步骤4：由人脸中心坐标基于强跟踪Kalman滤波预测下一帧人脸位置，然后回到步骤1。

4.根据权利要求2所述的可追踪的便携式立体直播智能机器人的控制方法，其特征在于：集成自动标定算法，包括：

步骤1：两舵机移动到初始位置，其中舵机一处于最小初始位置，舵机二处于最大初始位置；

步骤2：舵机一位置不变，舵机二向最小位置移动；

步骤3：当舵机二力矩大于预设置阈值时，舵机二向最大位置转动；

步骤4：当舵机二力矩大于预设置阈值时，舵机一向最大位置转动Δs；若舵机一位置到达最大值，则标定结束；否则转步骤2。

5.根据权利要求2所述的可追踪的便携式立体直播智能机器人的控制方法，其特征在于：查表和防抖动算法，包括：

步骤1：读取标定表T，并输入目标点P(x，y)，检测P是否在标定表T中，若在标定表中，移动舵机到dxl1,dxl2，然后结束，否则，进行步骤2；

步骤2：按照与P点的距离，对标定表进行排序，若存在A,B,C三点在标定表T中，且P点位于三角形ABC内部，进行步骤3，否则，结束；

步骤3：分别记A’,B’,C’为(xa,ya,dxla),(xb,yb,dxlb)和(xc,yc,dxlc)，并计算A’B’C’所在的平面，将P代入平面中，求得dxl1和dxl2的值，移动舵机到dxl1,dxl2，然后结束。