CN105025272A - 一种机器人及其混合视频流生成方法 - Google Patents

Abstract

本发明公开一种机器人及其混合视频流生成方法，通过摄像机采集视频并生成视频流数据；通过测距传感器测量机器人所处环境的360°深度信息并生成环境深度数据；再通过增强现实引擎接收视频流数据及环境深度数据，并根据环境深度数据进行同步地图构建与定位，获得机器人的位置与姿态，再根据机器人的位置与姿态将预设的虚拟三维物体与视频流数据进行叠加，生成混合视频流，实现了增强现实的功能。

Description

一种机器人及其混合视频流生成方法

技术领域

本发明涉及机器人技术领域，尤其涉及一种机器人及其混合视频流生成方法。

背景技术

机器人领域中，有一种机器人用于采集视频并发送至终端，可以根据所述终端的控制采集其活动区域内能够观测到的视频。

现有技术中的这种机器人，一般只包括摄像机、接收模块、发送模块、处理器、电机驱动器、电机和轮子，这种机器人能够根据所述接收模块接收到的移动指令实现动态的视频采集，并将采集到的视频通过所述发送模块发送至所述终端。

但是现有技术中的这种机器人不能将虚拟的物体添加到其发送的视频(现实世界)中，也即未能实现增强现实(Augmented Reality，简称AR)的功能。

发明内容

有鉴于此，本发明提供了一种机器人及其混合视频流生成方法，以解决现有技术中未能实现增强现实的功能的问题。

一种机器人，包括：

摄像机，用于采集视频并生成视频流数据；

测距传感器，用于测量所述机器人所处环境的360°深度信息并生成环境深度数据；

与所述摄像机及所述测距传感器相连的增强现实引擎，用于接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。

优选的，所述增强现实引擎用于根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态时，包括：

所述增强现实引擎，用于在所述机器人的移动过程中，根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。

优选的，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，还包括：

所述增强现实引擎用于：根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加。

优选的，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，还包括：

所述增强现实引擎用于：根据构建的地图创建障碍物掩膜，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。

优选的，还包括：与所述增强现实引擎相连的辅助传感器，用于测量所述机器人环境中所述测距传感器未能测量的信息，生成辅助测量数据至所述增强现实引擎，使所述增强现实引擎根据所述环境深度数据和所述辅助测量数据进行同步地图构建与定位。

优选的，还包括：连接于所述测距传感器及所述增强现实引擎之间的预处理模块，用于对所述环境深度数据进行滤波后输出至所述增强现实引擎。

一种机器人的混合视频流生成方法，包括：

摄像机采集视频并生成视频流数据；

测距传感器测量所述机器人所处环境的360°深度信息并生成环境深度数据；

增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位；

所述增强现实引擎获得所述机器人的位置与姿态；

所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。

优选的，所述增强现实引擎根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态的步骤包括：

在所述机器人的移动过程中，所述增强现实引擎根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。

优选的，还包括：

当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，所述增强现实引擎根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加。

优选的，还包括：

当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，所述增强现实引擎根据构建的地图创建障碍物掩膜，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。

本发明公开的机器人，通过摄像机采集视频并生成视频流数据；通过测距传感器测量所述机器人所处环境的360°深度信息并生成环境深度数据；再通过增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流，实现了增强现实的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的机器人的硬件结构示意图；

图2为本发明另一实施例公开的另一机器人的硬件结构示意图；

图3为本发明另一实施例公开的另一机器人的硬件结构示意图；

图4为本发明另一实施例公开的另一机器人的硬件结构示意图；

图5为本发明另一实施例公开的机器人的混合视频流生成方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种机器人，以解决现有技术中未能实现增强现实的功能的问题。

具体的，如图1所示，所述机器人包括：

摄像机101、测距传感器102，及与摄像机101及测距传感器102相连的增强现实引擎103。

具体的工作原理为：

摄像机101采集视频并生成视频流数据；

测距传感器102测量所述机器人所处环境的360°深度信息并生成环境深度数据；

增强现实引擎103接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流，进而实现了增强现实的功能。

所述预设的虚拟三维物体可以是根据应用需求进行预设并存储在存储器中的，此处不做具体限定。

值得说明的是，所述机器人可以根据终端的控制，通过电机驱动器的驱动，由电机控制轮子使所述机器人实现移动；在所述机器人的移动过程中，摄像机101通过多次的采集和输出，使得增强现实引擎103可以根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。

另外，当增强现实引擎103根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加时，所述视频流数据中的现实场景可能会对所述虚拟三维物体存在遮挡或者部分遮挡，此时，增强现实引擎103还可以根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加；或者，增强现实引擎103还可以在根据构建的地图创建障碍物掩膜之后，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。

优选的，如图2所示，所述机器人还包括：与增强现实引擎103相连的辅助传感器104。

在具体的应用中，测距传感器102可以采用激光雷达、相控阵雷达、RGB-D(RGB-Depth)摄像头或者多目摄像机，此处不做具体限定，只要能够测量所述机器人所处环境的360°深度信息并生成环境深度数据即可，视其具体应用环境而定。

但是由于测距传感器102，比如激光雷达，无法识别黑色物体和玻璃等物体，此时可以通过辅助传感器104测量所述机器人所处环境中测距传感器102未能测量的信息，生成辅助测量数据至增强现实引擎103，使增强现实引擎103根据所述环境深度数据和所述辅助测量数据进行同步地图构建与定位。

辅助传感器104可以是超声波传感器，辅助测距传感器102进行所述机器人的定位或者遮挡物的检测。

在具体的实际应用中，如图3所示，所述机器人还可以优选包括：连接于测距传感器102及增强现实引擎103之间的预处理模块105，用于对所述环境深度数据进行滤波后输出至增强现实引擎103。

或者，如图4所示，所述机器人还包括：输入端与测距传感器102及辅助传感器104相连、输出端与增强现实引擎103相连的预处理模块106，用于对所述环境深度数据和所述辅助测量数据进行滤波后输出至增强现实引擎103。

所述预处理模块对接收到的数据进行滤波后输出，可以去除干扰信号，使增强现实引擎103接收到的数据更为精准。

优选的，所述机器人的发送模块为：无线模块，与所述增强现实引擎相连，用于将所述混合视频流进行无线发送。

所述混合视频流采用无线发送，为所述机器人避免了移动过程中来自所述机器人自身的阻挡。

本发明另一实施例还提供了一种机器人的混合视频流生成方法，如图5所示，包括：

S101、摄像机采集视频并生成视频流数据；

S102、测距传感器测量所述机器人所处环境的360°深度信息并生成环境深度数据；

S103、增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位；

值得说明的是，所述机器人可以根据终端的控制，通过电机驱动器的驱动，由电机控制轮子使所述机器人实现移动；在所述机器人的移动过程中，所述摄像机通过多次的采集和输出，使得所述增强现实引擎可以根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。

S104、所述增强现实引擎获得所述机器人的位置与姿态；

S105、所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。

所述预设的虚拟三维物体可以是根据应用需求进行预设并存储在存储器中的，此处不做具体限定。

另外，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加时，所述视频流数据中的现实场景可能会对所述虚拟三维物体存在遮挡或者部分遮挡，此时，所述增强现实引擎还可以根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加；或者，所述增强现实引擎还可以在根据构建的地图创建障碍物掩膜之后，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。

本实施例所述的机器人的混合视频流生成方法，通过增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，在获得所述机器人的位置与姿态后，将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流，实现了增强现实的功能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种机器人，其特征在于，包括：

摄像机，用于采集视频并生成视频流数据；

测距传感器，用于测量所述机器人所处环境的360°深度信息并生成环境深度数据；

与所述摄像机及所述测距传感器相连的增强现实引擎，用于接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态，再根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。

2.根据权利要求1所述的机器人，其特征在于，所述增强现实引擎用于根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态时，包括：

所述增强现实引擎，用于在所述机器人的移动过程中，根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。

3.根据权利要求1或2所述的机器人，其特征在于，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，还包括：

所述增强现实引擎用于：根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加。

4.根据权利要求1至3任一所述的机器人，其特征在于，当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，还包括：

所述增强现实引擎用于：根据构建的地图创建障碍物掩膜，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。

5.根据权利要求1所述的机器人，其特征在于，还包括：与所述增强现实引擎相连的辅助传感器，用于测量所述机器人环境中所述测距传感器未能测量的信息，生成辅助测量数据至所述增强现实引擎，使所述增强现实引擎根据所述环境深度数据和所述辅助测量数据进行同步地图构建与定位。

6.根据权利要求1所述的机器人，其特征在于，还包括：连接于所述测距传感器及所述增强现实引擎之间的预处理模块，用于对所述环境深度数据进行滤波后输出至所述增强现实引擎。

7.一种机器人的混合视频流生成方法，其特征在于，包括：

摄像机采集视频并生成视频流数据；

测距传感器测量所述机器人所处环境的360°深度信息并生成环境深度数据；

增强现实引擎接收所述视频流数据及所述环境深度数据，并根据所述环境深度数据进行同步地图构建与定位；

所述增强现实引擎获得所述机器人的位置与姿态；

所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，生成混合视频流。

8.根据权利要求7所述的机器人的混合视频流生成方法，其特征在于，所述增强现实引擎根据所述环境深度数据进行同步地图构建与定位，获得所述机器人的位置与姿态的步骤包括：

在所述机器人的移动过程中，所述增强现实引擎根据多次接收到的不同环境深度数据中的地图特征进行定位，获得所述机器人的位置和姿态，再根据所述机器人的位置，进行增量式的地图构建。

9.根据权利要求7所述的机器人的混合视频流生成方法，其特征在于，还包括：

当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，所述增强现实引擎根据构建的地图创建障碍物掩膜，根据所述障碍物掩膜将所述视频流数据与所述虚拟三维物体进行叠加。

10.根据权利要求7至9任一所述的机器人的混合视频流生成方法，其特征在于，还包括：

当所述增强现实引擎根据所述机器人的位置与姿态将预设的虚拟三维物体与所述视频流数据进行叠加，所述视频流数据中的现实场景对所述虚拟三维物体存在遮挡或者部分遮挡时，所述增强现实引擎根据构建的地图创建障碍物掩膜，对遮挡或者部分遮挡所述虚拟三维物体的遮挡物进行分割，改变所述遮挡物的位置或者移除所述遮挡物，根据对所述虚拟三维物体的观测，将所述视频流数据与所述虚拟三维物体进行叠加。