CN105930766A - 无人机 - Google Patents

Abstract

本发明公开了一种无人机。包括：RGBD相机用于获取第一目标的多角度的RGBD图像，RGBD图像中每个像素点包括R、G、B彩色信息和深度信息；处理器用于根据第一目标的多角度的RGBD图像对第一目标进行特征点标识，形成第一目标的骨架网格以识别第一目标并生成对应的3D模型；飞行控制器用于对第一目标进行跟踪以获取第一目标的RGBD图像序列；处理器还用于根据第一目标的RGBD图像序列获取第一目标的骨架网格的运动轨迹，以与第一目标的3D模型或预设的第二目标的3D模型进行匹配，并根据第一目标的RGBD图像序列对应获得第一目标或第二目标的3D视频。通过以上方式，本发明能够通过在拍摄的RGBD图像中设置特征点，自动识别、跟踪、拍摄目标，输出3D视频或动画。

Description

无人机

技术领域

本发明涉及无人机领域，特别是涉及一种无人机。

背景技术

随着微电子技术和计算机视觉技术的不断发展，使得目标跟踪得以实时实现，尤其是将目标跟踪装置安装到无人机上，可以实现对目标的灵活动态跟踪，在军事和民用领域具有较高的使用价值。

传统无人机的目标跟踪技术中，通常使用激光、雷达和超声等主动环境感知方法，其缺点为并不能直接获得目标的未知信息，并且多个无人机检测时会相互干扰，更为弊端的是在战场环境中隐蔽性差，被敌方发现的概率大的增加。

现有的无人机主要致力于增大航时，提高速度，隐身机体，缩小体积，高度智能，加载武器，增强传输可靠性和通用性，使无人机能够按照指令或者预先编制的程序来完成预定的作战任务。而现有的无人机上的相机一般应用2D相机来拍摄2D图像，图像中每个像素点只包括红(Red，R)、绿(Green，G)、蓝(Blue，B)像素，不包括深度信息D。如此现有的无人机无法根据拍摄2D图像来自动实现目标跟踪拍摄等。

发明内容

本发明实施例提供了一种无人机，能够通过在拍摄的RGBD图像中设置特征点，自动识别、跟踪、拍摄目标，输出3D视频或动画。

本发明提供一种无人机，无人机包括RGBD相机，用于获取第一目标的多角度的RGBD图像，RGBD图像中每个像素点包括R、G、B彩色信息和深度信息；处理器，用于根据第一目标的RGBD图像对第一目标进行特征点标识，形成第一目标的骨架网格以识别第一目标，并生成第一目标的3D模型；飞行控制器，用于对第一目标进行跟踪，以使RGBD相机进一步获取第一目标的RGBD图像序列；处理器还用于根据第一目标的RGBD图像序列获取第一目标的骨架网格的运动轨迹，将第一目标的骨架网格的运动轨迹与第一目标的3D模型或预设的第二目标的3D模型进行匹配，并根据第一目标的RGBD图像序列对应获得第一目标或第二目标的3D视频。

其中，处理器用于：分别在第一目标的RGBD图像中对第一目标进行特征点标识，根据第一目标的多角度RGBD图像获取第一目标的骨架网格，以识别第一目标。

其中，处理器用于：在第一目标的边缘、关键节点处设置特征点。

其中，RGBD相机用于获取第二目标的多角度RGBD图像；处理器根据第二目标的多角度RGBD图像中的R、G、B彩色信息和深度信息建立目标的3D模型。

其中，RGBD相机获取第二目标的正面、侧面以及反面的RGBD图像；处理器用于，根据第二目标的正面、侧面以及反面的RGBD图像中的深度信息建立第二目标的点云网格；根据第二目标的点云网格和第二目标的R、G、B彩色信息建立第二目标的3D模型。

其中，处理器将第二目标的正面、侧面以及反面的点云网格拼接形成一个整体，采用迭代算法重建第二目标的3D模型。

其中，RGBD相机还用于获取第一目标的正面、侧面、反面或局部的RGBD图像序列的至少之一。

其中，第二目标为3D视频的角色。

其中，RGBD相机移动到不同角度对第一目标进行拍摄，获取第一目标的多角度的RGBD图像。

其中，无人机包括多个RGBD相机，分别从不同角度对第一目标进行拍摄，获取第一目标的多角度的RGBD图像。

通过上述方案，本发明的有益效果是：通过RGBD相机获取第一目标的多角度的RGBD图像，RGBD图像中每个像素点包括R、G、B彩色信息和深度信息；处理器根据第一目标的多角度的RGBD图像对第一目标进行特征点标识，形成第一目标的骨架网格以识别第一目标，并生成第一目标的3D模型；飞行控制器对第一目标进行跟踪，以使RGBD相机进一步获取第一目标的RGBD图像序列；处理器还根据第一目标的RGBD图像序列获取第一目标的骨架网格的运动轨迹，将第一目标的骨架网格的运动轨迹与第一目标的3D模型或预设的第二目标的3D模型进行匹配，并根据第一目标的RGBD图像序列对应获得第一目标或第二目标的3D视频，能够通过在拍摄的RGBD图像中设置特征点，自动识别、跟踪、拍摄目标，输出3D视频或动画。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本发明第一实施例的无人机的结构示意图；

图2是本发明实施例的无人机对目标进行3D建模的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明第一实施例的无人机的结构示意图。如图1所示，无人机(unmanned air vehicle，UAV)10包括：RGBD相机11、飞行控制器12以及处理器13。处理器13与RGBD相机11以及飞行控制器12连接。RGBD相机11用于获取第一目标的多角度的RGBD图像。RGBD图像中每个像素点包括R、G、B像素信息和对应的深度信息。其中像素的深度信息构成场景的二维像素矩阵，简称深度图。每个像素与其在场景中的位置相对应，并具有表示从某个参考位置到其场景位置的距离的像素值。换言之，深度图具有图像的形式，像素值指出场景的物体的形貌信息，而不是亮度和/或颜色。处理器13用于根据第一目标的RGBD图像对第一目标进行特征点标识，形成第一目标的骨架网格以识别第一目标，并生成第一目标的3D模型。飞行控制器12用于对第一目标进行跟踪。具体地，飞行控制器12可以接收通过遥控器，语音、手势等控制单元发出的指令，并根据指令跟踪拍摄目标，其中，无人机10的飞行姿态包括起飞、悬停、俯仰、滚转、偏航、降落等。处理器13还用于根据第一目标的RGBD图像序列获取第一目标的骨架网格的运动轨迹，将第一目标的骨架网格的运动轨迹与第一目标的3D模型或预设的第二目标的3D模型进行匹配，并根据第一目标的RGBD图像序列对应获得第一目标或第二目标的3D视频。

无人机10还包括飞行组件和云台(图未示)。RGBD相机设置在云台上，云台用于测量载体的姿态变化做出反应以稳定云台上的RGBD相机，以方便RGBD相机对目标进行跟踪拍摄。飞行组件可以包括旋翼或固定翼，以用于确保无人机的正常飞行以及飞行过程中飞行姿态的稳定。优选地，以四旋翼无人机为例，四个螺旋桨呈十字形交叉结构，相对的四旋翼具有相同的旋转方向，分两组，两组的旋转方向不同。与传统的直升机不同，四旋翼飞行器只能通过改变螺旋桨的速度来实现各种动作。跟踪拍摄的方式包括正面拍摄、侧面拍摄、背面拍摄、顶部拍摄中的一者或任意组合。

在本发明实施例中，RGBD相机11可以移动到不同角度对第一目标进行拍摄，获取第一目标的多角度的RGBD图像。例如，RGBD相机11移动到第一目标的正面、侧面、反面等进行拍摄。单个RGBD相机11在拍摄的过程中，RGBD相机11的移动可以认为是视角的移动，拍摄时如果RGBD相机11进行水平移动，则能够拍摄到更大的场景，如果RGBD相机11围绕物体旋转进行拍摄，则能够拍摄到同一物体不同的视角。或者无人机10可以包括多个RGBD相机，该多个RGBD相机分别从不同角度对第一目标进行拍摄，获取第一目标的多角度的RGBD图像。

在本发明实施例中，处理器13用于：在第一目标的RGBD图像中对第一目标进行特征点标识，根据第一目标的多角度RGBD图像获取第一目标的骨架网格，以识别所述第一目标。具体地，处理器13可以根据一帧RGBD图像即可识别第一目标的特征点，然后根据连续多角度的RGBD图像对特征点进行修正。以第一目标为人体为例，根据一帧RGBD图像即可识别人体的特征点，具体地，对RGBD图像去除背景得到人体的轮廓，然后将人体躯干部分的中心点、头部的质心、边缘的转折点记为特征点，并根据人体比例以及存储的人体大数据将手肘以及腿部的关节点记为特征点得到人体的全部特征点如图2中的图a所示。进一步根据连续多角度RGBD图像对特征点进行修正得到人体的骨架网格如图2中的图b所示。处理器13可以根据第一目标的骨架网格对第一目标进行动态行为分析。由于骨架网格数据量较小，可以实时输出。

在本发明实施例中，处理器13也可以分别在第一目标的多角度的RGBD图像中对第一目标进行特征点标识，得到点云数据，利用深度图像上的四领域作为连接的拓扑关系生成三角网格数据；并将多角度的RGBD图像形成的三角网格进行匹配，形成第一目标的骨架网格，以识别第一目标。具体地，处理器13在第一目标的边缘、关键节点处设置特征点。其中，特征点通常指图像中灰度变化剧烈的点，包括物体轮廓上的曲率变化最大点、直线的交点、单调背景上的孤点等。由于第一目标周围的边界点具有很强的边缘特征，更容易进行区分，因此被选作特征点。

在本发明实施例中，处理器13还可利用RGB色彩信息对目标的进行特征识别，识别物体的轮廓、色彩信息，提取更多目标的特征，提高目标的识别准确率。识别方法不限于常用的训练方法，如机器学习，深度学习等算法。例如利用RGB信息，对动态生物目标进行肤色识别，或符合人体肤色特征，则识别目标是否为人体，否则为非人体。处理器13还兼容处理声音、红外传感器等其他传感器的信息，用于识别和检测目标及其特征，提高准确率。

本发明实施例中的第一目标可以是人体、动物以及刚性的非生物物体等，在此不作限制。而飞行控制器12根据处理器13识别的第一目标对其进行跟踪，以使RGBD相机11进一步获取第一目标的RGBD图像序列。RGBD相机11获取第一目标的RGBD图像序列时，可以获取第一目标的正面、侧面、反面或局部的RGBD图像序列的至少之一。

飞行控制器12根据处理器13识别的第一目标对其进行跟踪，具体地，飞行控制器12根据第一目标与RGBD相机11之间的相对位置对第一目标进行跟踪，即保证第一目标与RGBD相机11之间的距离恒定。相对位置包括但不限于方向、角度、距离等信息。而相对位置的变化可以是RGBD相机11自身产生移动从而造成与目标之间的相对位置变化，也有可能是在跟踪第一目标时用户主动操作下使RGBD相机11与第一目标产生相对位置变化，或者RGBD相机11保持不动，而第一目标移动造成的相对位置变化，以及两者分别移动造成的两者之间的位置变化，在此不多赘述。但是无论何种原因导致两者相对位置变化，均能通过RGBD相机11拍摄的RGBD图像确定两者之间的相对位置。

处理器13还用于根据第一目标的RGBD图像序列获取第一目标的骨架网格的运动轨迹。具体地，处理器13计算RGBD图像序列中连续帧上相匹配的特征点之间的运动距离，进而获取第一目标的骨架网格的运动轨迹。处理器13进一步将第一目标的骨架网格的运动轨迹与预设的第二目标的3D模型进行匹配，根据第一目标的RGBD图像序列即可获得第二目标的3D视频如图2c。

在本发明实施例中，第二目标为3D视频的角色。第二目标可以是人体、动物以及刚性的非生物物体等，且第二目标可以与第一目标相同，即第二目标即为第一目标。无人机10可以预先第二目标的3D模型，或者也可以是处理器13在第一目标的骨架网格的基础上采用迭代算法重建第一目标的三维模型。具体地，在迭代算法中，先找出标准模型与采集到的数据之间的对应点，以用作后面的变化约束点。然后将约束点作为能量项，最小化目标函数，从而将标准模型变形到解决扫描数据，最后求出变形后的标准模型在第一目标空间中的参数，计算得到的第一目标的参数用于下一次迭代中，如此进行多次迭代后完成第一目标的三维模型的重建。

第二目标也可以与第一目标不相同。同样地，无人机10可以预先第二目标的3D模型以便直接根据第一目标的RGBD图像序列获得第二目标的3D视频。或者也可以是处理器13预先对第二目标进行3D模型的重建并存储。

若处理器13预先对第二目标进行3D模型的重建，则RGBD相机11用于获取第二目标的多角度RGBD图像；处理器13根据第二目标的多角度RGBD图像中的R、G、B彩色信息和深度信息建立目标的3D模型。RGBD相机获取第二目标的正面、侧面以及反面的RGBD图像。处理器13根据第二目标的正面、侧面以及反面的RGBD图像中的深度信息建立第二目标的点云网格，并根据第二目标的点云网格和第二目标的R、G、B彩色信息建立第二目标的3D模型。处理器13将第二目标的正面、侧面以及反面的点云网格拼接形成一个整体，采用迭代算法重建第二目标的3D模型。

更具体地，在处理器13对第二目标进行建模之间，需要先识别第二目标。如果识别到目标为人体，则处理器13标识出人体躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小、脸部表情特征等信息。处理器13首先对RGBD相机11拍摄的目标的深度图像去除背景部分，由于背景像素点的深度值比人体部位的深度值大，处理器13可以选择一个适当的阈值，当像素点的深度值大于这个阈值时，将此像素点标记为背景点，从深度图像中去除，得到人体点云数据。处理器13再将点云数据转化为三角网格数据，具体可以利用深度图像上的四领域作为连接的拓扑关系，点云数据根据该拓扑关系生成三角网格数据。处理器13进一步对点去数据进行去噪处理，具体可以将每个视角的多帧点云数据分别求和平均去除大噪声，再用双边滤波去除微小噪声。处理器13最后将多个视角的三角网格数据拼接在一起形成一个整体，以用于进行模型重建。处理器13可以采用迭代算法重建三维人体模型。在迭代算法中，先找出标准模型与采集到的数据之间的对应点，以用作后面的变化约束点。然后将约束点作为能量项，最小化目标函数，从而将标准模型变形到解决扫描数据，最后求出变形后的标准模型在人体空间中的参数，计算得到的人体参数用于下一次迭代中，如此进行多次迭代后完成三维人体模型的重建。进而可以标识出人体躯干、四肢、手部、脸部等人体部位，提取出身高、臂长、肩宽、手掌大小、脸部大小、脸部表情特征等信息。

无人机10还包括存储单元，用于存储视频、处理器13初步处理的第二目标的3D模型以及3D视频等。无人机10还与远端服务器进行通信以进行骨架网格、RGBD图像序列、3D模型以及3D视频的传输。无人机10可以包括多个RGBD相机以获取目标的多角度的RGBD图像。无人机10将多个RGBD相机获取的RGBD图像发送至远端服务器，在远端服务器直接根据多角度的RGBD图像实时处理输出3D视频。若无人机10只包括一个RGBD相机，则无人机10需要将生成的3D模型以及RGBD相机获取的RGBD图像序列发送至远端服务器，以进行处理输出3D视频，此时远端服务器无法实时输出3D视频。

综上所述，本发明通过RGBD相机获取第一目标的多角度的RGBD图像，RGBD图像中每个像素点包括R、G、B彩色信息和深度信息；处理器根据第一目标的多角度的RGBD图像对第一目标进行特征点标识，形成第一目标的骨架网格以识别第一目标，并生成第一目标的3D模型；飞行控制器对第一目标进行跟踪，以使RGBD相机进一步获取第一目标的RGBD图像序列；处理器还根据第一目标的RGBD图像序列获取第一目标的骨架网格的运动轨迹，将第一目标的骨架网格的运动轨迹与第一目标的3D模型或预设的第二目标的3D模型进行匹配，并根据第一目标的RGBD图像序列对应获得第一目标或第二目标的3D视频，能够通过在拍摄的RGBD图像中设置特征点，自动识别、跟踪、拍摄目标，输出3D视频或动画。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种无人机，其特征在于，所述无人机包括：

RGBD相机，用于获取第一目标的多角度的RGBD图像，所述RGBD图像中每个像素点包括R、G、B彩色信息和深度信息；

处理器，用于根据所述第一目标的RGBD图像对所述第一目标进行特征点标识，形成所述第一目标的骨架网格以识别所述第一目标，并生成所述第一目标的3D模型；

飞行控制器，用于对所述第一目标进行跟踪，以使所述RGBD相机进一步获取所述第一目标的RGBD图像序列；

所述处理器还用于根据所述第一目标的RGBD图像序列获取所述第一目标的骨架网格的运动轨迹，将所述第一目标的骨架网格的运动轨迹与所述第一目标的3D模型或预设的第二目标的3D模型进行匹配，并根据所述第一目标的RGBD图像序列对应获得所述第一目标或所述第二目标的3D视频。

2.根据权利要求1所述的无人机，其特征在于，所述处理器用于：在所述第一目标的RGBD图像中对所述第一目标进行特征点标识，根据所述第一目标的多角度RGBD图像获取所述第一目标的骨架网格，以识别所述第一目标。

3.根据权利要求2所述的无人机，其特征在于，所述处理器用于：在所述第一目标的边缘、关键节点处设置所述特征点。

4.根据权利要求1所述的无人机，其特征在于，

所述RGBD相机用于获取所述第二目标的多角度RGBD图像；

所述处理器根据所述第二目标的多角度RGBD图像中的所述R、G、B彩色信息和所述深度信息建立所述目标的3D模型。

5.根据权利要求3所述的无人机，其特征在于，所述RGBD相机获取所述第二目标的正面、侧面以及反面的RGBD图像；

所述处理器用于，

根据所述第二目标的正面、侧面以及反面的RGBD图像中的深度信息建立所述第二目标的点云网格；

根据所述第二目标的点云网格和所述第二目标的R、G、B彩色信息建立所述第二目标的3D模型。

6.根据权利要求5所述的无人机，其特征在于，所述处理器将所述第二目标的正面、侧面以及反面的点云网格拼接形成一个整体，采用迭代算法重建第二目标的3D模型。

7.根据权利要求1所述的无人机，其特征在于，所述RGBD相机还用于获取所述第一目标的正面、侧面、反面或局部的RGBD图像序列的至少之一。

8.根据权利要求1所述的无人机，其特征在于，所述第二目标为所述3D视频的角色。

9.根据权利要求1所述的无人机，其特征在于，所述RGBD相机移动到不同角度对所述第一目标进行拍摄，获取所述第一目标的多角度的RGBD图像。

10.根据权利要求1所述的无人机，其特征在于，所述无人机包括多个所述RGBD相机，分别从不同角度对所述第一目标进行拍摄，获取所述第一目标的多角度的RGBD图像。