CN209050734U - 一种带翻滚摄像头的全景视觉滚动机器人 - Google Patents

Abstract

本实用新型涉及一种带翻滚摄像头的全景视觉滚动机器人，解决现有的固定安装摄像头安装位置限制较大，存在盲区，而且应用场景受到限制的问题。本装置包括绕水平轴线滚动的壳体，其特征在于：以水平轴线两端方向为左右方向，壳体左右侧壁分别环绕水平轴线设置若干摄像头，同一侧壁的相邻摄像头在环周方向视野交叠，左右侧壁之间的相邻摄像头在左右方向视野交叠，所述壳体上还设有至少一个获取壳体位姿信息的陀螺仪，所述陀螺仪与各摄像头的相对方位固定。本实用新型将摄像头设置在滚动机器人的壳体表面，各摄像头采集图像拼合，利用摄像头的位姿变化对图像进行补偿，来获取稳定的全景视图，本装置受应用场景的限制更小，而且获取的视野信息更大。

Description

一种带翻滚摄像头的全景视觉滚动机器人

技术领域

本实用新型属于机器人领域，涉及一种代替人工采集信息的滚动机器人，特别涉及一种带翻滚摄像头的全景视觉滚动机器人。

背景技术

机器人是一种通过手动或者自动控制，模拟人类完成各种指令的一种智能化装置。机器人可以代替人体进行各种复杂精细的操作，也可以代替人类进入复杂、危险的环境进行探索作业，保证人员安全。现有的机器人有固定设置、在一定区域范围内进行操作的固定式机器人，也有可移动的，通过机械腿、履带、滚轮等结构实现机器人的行走移动。移动式机器人可以代替人类进入一些复杂、危险的场景，如有毒害气体的空间、火场等，采集信号，指导救援。

机器人视觉系统在移动机器人的功能拓展上有着很重要的意义。视觉系统可以作为机器人进行路径规划、目标探测、障碍物翻越等具体功能的基础。拥有稳定的视觉系统，对于一个移动机器人的功能来说是一种质的飞跃。现有的移动机器人，摄像头大多是固定设置，采集图像的视野相对机器人固定，视野受限。

尤其对于利用自身壳体滚动前行的滚动机器人，由于壳体不断进行回转滚动，对于固定式设置摄像头的信息采集模式，安装摄像头的位置需要在壳体内找到相对稳定的安装点，安装位置非常受限，然而这种视觉系统要求球壳必须至少有部分是透明的，势必会使得其应用场景受到限制，例如很难用于火场救援等极端环境，这类环境势必对球壳材料有特殊要求，很难实现透明，同时，由于摄像头安装位置受限，则视觉系统的视野非常有限，会存在一定的盲区。

发明内容

本实用新型的目的在于针对现有的固定安装摄像头的模式在滚动机器人中安装位置限制较大，导致存在盲区，而且应用场景受到限制的问题，提供一种带翻滚摄像头的全景视觉滚动机器人。

本实用新型解决其技术问题所采用的技术方案是：一种带翻滚摄像头的全景视觉滚动机器人，包括绕水平轴线滚动的壳体，其特征在于：以水平轴线两端方向为左右方向，壳体左右侧壁分别环绕水平轴线设置若干摄像头，同一侧壁的相邻摄像头在环周方向视野交叠，左右侧壁之间的相邻摄像头在左右方向视野交叠，所述壳体上还设有至少一个获取壳体位姿信息的陀螺仪，所述陀螺仪与各摄像头的相对方位固定。所述壳体最优选择为球体，也可以为椭球体、环形滚动体、轮胎型等。在壳体两侧壁分设若干摄像头，分别获取壳体左右侧的图像，选择合适的摄像头角度，壳体左右侧的图像可以相互交叠以便拼合。陀螺仪对壳体位姿进行采集，而各摄像头与壳体上陀螺仪相对位置确定，从而所有摄像头的位姿信息可以通过计算获取。滚动机器人向前滚动时，各摄像头均随之翻滚运动，各摄像头的视野相互交叠，为摄像头的图像拼接提供了基础，拼接的图像也随壳体的滚动而翻滚，通过摄像头的位姿信息对图像滚动进行补偿，可以获取稳定的全景图像。本装置可以将摄像头位置设置在壳体表面，可以在不影响壳体滚动的前提下、选择摄像头内嵌或者贴设壳体的外壁或者内壁，相对固定设置在壳体内部的摄像头安装方式，本装置受应用场景的限制更小，而且获取的视野信息更大。

作为优选，所述壳体左右侧壁的摄像头数量相同且对称设置。壳体左右侧壁对称的摄像头可以设置在同一经线上构成一个摄像头组，使图像可以先左右拼合然后环形拼接，相比左侧环形图像和右侧环形图像的左右拼接更为容易和准确，减少了图像拼合产生的错位。

作为优选，壳体同一侧壁的各摄像头设置在同一圆环上且相邻摄像头的弧度间隔相等。经线为壳体表面连接水平轴线两端的弧线，当可以为球体时，经线为半圆。本方案有规律地设置摄像头，在图像拼合时更容易对齐，减少了算法的复杂程度，从硬件设置上简化了计算需求，降低算法的要求。

作为优选，所述摄像头贴设或者嵌设在壳体的表面。

作为优选，所述摄像头沿壳体法线方向向外设置，摄像头的视野不少于90°。左右对称设置的两个摄像头交角不超过摄像头的视野角度，因此需要摄像头的视野必须大于90°才能有条件获取全景信息，且保证视野交叠，能进行图像拼合。优选选择150°视野的摄像头，左右侧壁在摄像头左右方向交角为90°。

作为优选，壳体左右两侧壁的摄像头分别设置三个或三个以上。优选为壳体左右侧壁摄像头分别设置四个，同一侧壁相邻摄像头组弧度间隔为90°。

作为优选，所述壳体两侧壁之间沿水平轴线设置主轴，主轴中心设有水平设置并与主轴相互垂直的副轴，副轴两端悬空，副轴两端的下方吊设有摆动块，摆动块与副轴的两端固定连接，所述主轴和副轴的相交处设置有控制主轴和副轴转动的驱动装置。

作为优选，驱动装置包括若干个直流电机和电源模块，各直流电机分别通过传动带连接主轴或者副轴。

一种带翻滚摄像头的全景视觉滚动机器人的图像处理方法，其特征在于：包括以下步骤：

步骤1、图像拼接，壳体左右侧壁的摄像头获取的图像左右拼接，壳体同一侧壁的摄像头的图像环形拼接、形成环形全景图；

步骤2、通过陀螺仪获取壳体的位姿，通过壳体上固定的几何关系推算出各个摄像头的实时位姿；

步骤3、通过已知各个摄像头的视角信息，结合各个摄像头的实时位姿，将任一时刻环形全景图的画面分割为前视部分与后视部分，将环形全景图进行旋转补偿，使得前视部分始终朝前，后视部分始终朝后。

作为优选，步骤1包含以下步骤：

步骤1.1、图像预处理，对于相邻两幅图像，通过直方图均衡手段使得两幅图像的亮度达到基本一致，通过柱面变换，使得两幅图像所在的坐标系保持一致；对于壳体左右侧壁对称设置摄像头的方案，先进行左右对称两摄像头图像的左右拼接，再完成环形拼接；

步骤1.2、寻找图像中的特征点并匹配两副图像中的特征点，可以通过sift等算法来具体的实现；

步骤1.3、对于相邻两幅图像、分别标记为右图和左图，通过匹配到的关键点，找到右图到左图的一个变换矩阵，通过对右图进行变换，使得两幅图像能够基本重合；

步骤1.4、通过对两幅图重合的区域可以进行多分辨率融合，使得两幅图过渡区自然的过渡。

作为优选，步骤1图像拼接之前，可以对摄像头图像进行去抖处理。对于去抖处理的算法，可以采用基于光流法的帧间运动补偿来进行实现，具体可以通过光流法，预测帧与帧之间的运动变换矩阵，通过反向求解这个变换矩阵，来实现去抖的目的，或者通过对过去运动矩阵的平均滤波来实现目的。

本实用新型可以将摄像头位置设置在滚动机器人的壳体表面，可以在不影响滚动的前提下、选择摄像头内嵌或者贴设壳体的外壁或者内壁，通过各摄像头采集图像的拼合，并利用摄像头的位姿变化对滚动获取的图像进行补偿，来获取稳定的全景视图，本装置受应用场景的限制更小，而且获取的视野信息更大。

附图说明

图1是本实用新型的球形壳体内部静止状态侧视结构示意图。

图2是本实用新型的球形壳体内部前行状态侧视结构示意图。

图3是本实用新型的球形壳体内部静止状态正视结构示意图。

图4是本实用新型的球形壳体内部转弯状态正视结构示意图。

图5是本实用新型的壳体表面摄像头分布的侧向视图。

图6是本实用新型的壳体表面摄像头分布的正向视图。

图7是本实用新型的摄像头采集图像的处理流程图。

图8是本实用新型的滚动机器人应用场景示意图。

图9是本实用新型的图8场景中滚动机器人的图像拼合图。

图10是本实用新型的图9中图像分隔而成的前景图和后景图。

图中：1、壳体，2、主轴，3、副轴，4、摆动块，5、驱动装置，6、摄像头。

具体实施方式

下面通过具体实施例并结合附图对本实用新型进一步说明。

实施例：一种带翻滚摄像头的全景视觉滚动机器人，如图1-6所示。本装置包括可滚动的球形的壳体1，所述壳体左右侧壁之间架设水平设置的主轴，主轴中心设有水平设置并与主轴相互垂直的副轴3，副轴两端悬空，副轴既可随主轴转动而绕主轴的轴线转动，也可以自身的轴线转动。副轴两端的下方吊设有摆动块4，摆动块4与副轴的两端固定连接，不可相对转动。所述主轴和副轴的交叉处设置有驱动主轴和副轴转动的驱动装置5。驱动装置5包括两个直流电机，两个直流电机分别通过传动带连接主轴和副轴，驱动装置5内还设置直流电机的电源模块。本方案依赖于质心的改变来产生滚动机器人行进的扭矩，质心的变化通过摆动块来控制，取决于摆动块的重量和质心位置。因此摆动块的重量越大扭矩越高、摆动块的重量设置壳体自重的2倍以上。摆动块尽可能贴近壳体1底面内壁，以提高扭矩，而且尽可能低的质心位置可以保证滚动机器人的稳定。如图5、6所示，壳体1表面均匀设有四组摄像头组，每个摄像头组包括两个摄像头6，同组的两个摄像头6设置在壳体的同一条连接主轴两端的经线上、并在壳体的左右侧壁对称设置，选用视野150°的摄像头，同摄像头组的两个摄像头交角为90°，相邻摄像头组在壳体上的弧度间距也为90°，保证相邻摄像头图像的重叠。壳体上设置一个陀螺仪，且陀螺仪和其中一个摄像头同位置设置。摄像头6贴设或者嵌设在壳体1的表面，摄像头沿壳体法线方向向外设置。

如图1-4所示，当滚动机器人需要前进或者后退时，驱动装置带动主轴转动，副轴设置在主轴中部且两端悬空，因此副轴被主轴带动绕主轴转动一个角度，从而带动摆动块向前或者向后摆动，造成整体质心的前移或者后移，从而带动滚动机器人前进或者后退。当滚动机器人需要转弯时，主轴持续转动保持滚动机器人稳定前进或者后退，同时驱动装置驱动副轴绕自身轴线转动，带动摆动块向左侧或者后侧摆动，使整体质心向一侧便宜，使滚动机器人向一侧倾斜，从而实现转弯。

上述带翻滚摄像头的全景视觉滚动机器人的图像处理方法，如图7所示。滚动机器人行进与如图8的场景，首先对各摄像头采集的图像进行去抖处理，对于去抖处理的算法，可以采用基于光流法的帧间运动补偿来进行实现，具体可以通过光流法，预测帧与帧之间的运动变换矩阵，通过反向求解这个变换矩阵，来实现去抖的目的，或者通过对过去运动矩阵的平均滤波来实现目的。而后包括以下步骤：

步骤1、图像拼接，如图9所示，壳体左右侧壁的摄像头获取的图像左右拼接，壳体同一侧壁的摄像头的图像环形拼接、形成环形全景图；对于图9所示的8个摄像头所获取的8幅图像a-h拼接时，先左右对称摄像头的图像左右拼接，而后进行环形拼接；

步骤1.1、图像预处理，对于相邻两幅图像，通过直方图均衡手段使得两幅图像的亮度达到基本一致，通过柱面变换，使得两幅图像所在的坐标系保持一致；

步骤1.2、寻找图像中的特征点并匹配两副图像中的特征点；可以通过sift等算法来具体的实现；

步骤1.3、对于相邻两幅图像、分别标记为右图和左图，通过匹配到的关键点，找到右图到左图的一个变换矩阵，通过对右图进行变换，使得两幅图像能够基本重合；

步骤1.4、通过对两幅图重合的区域可以进行多分辨率融合，使得两幅图过渡区自然的过渡。

步骤2、通过陀螺仪获取壳体的位姿，通过壳体上固定的几何关系推算出各个摄像头的实时位姿；

步骤3、如图10所示，通过已知各个摄像头的视角信息，结合各个摄像头的实时位姿，将任一时刻环形全景图的画面分割为前视部分与后视部分，将环形全景图进行旋转补偿，使得前视部分始终朝前，后视部分始终朝后。

Claims (8)

1.一种带翻滚摄像头的全景视觉滚动机器人，包括绕水平轴线滚动的壳体，其特征在于：以水平轴线两端方向为左右方向，壳体左右侧壁分别环绕水平轴线设置若干摄像头，同一侧壁的相邻摄像头在环周方向视野交叠，左右侧壁之间的相邻摄像头在左右方向视野交叠，所述壳体上还设有至少一个获取壳体位姿信息的陀螺仪，所述陀螺仪与各摄像头的相对方位固定。

2.根据权利要求1所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：所述壳体左右侧壁的摄像头数量相同且对称设置。

3.根据权利要求1所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：壳体同一侧壁的各摄像头设置在同一圆环上且相邻摄像头的弧度间隔相等。

4.根据权利要求1所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：所述摄像头贴设或者嵌设在壳体的表面。

5.根据权利要求1或2或3或4所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：所述摄像头沿壳体法线方向向外设置，摄像头的视野不少于90°。

6.根据权利要求1或2或3或4所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：壳体左右两侧壁的摄像头分别设置三个或三个以上。

7.根据权利要求1或2或3或4所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：所述壳体两侧壁之间沿水平轴线设置主轴，主轴中心设有水平设置并与主轴相互垂直的副轴，副轴两端悬空，副轴两端的下方吊设有摆动块，摆动块与副轴的两端固定连接，所述主轴和副轴的相交处设置有控制主轴和副轴转动的驱动装置。

8.根据权利要求7所述的一种带翻滚摄像头的全景视觉滚动机器人，其特征在于：驱动装置包括若干个直流电机和电源模块，各直流电机分别通过传动带连接主轴或者副轴。