CN109682381A - 基于全向视觉的大视场场景感知方法、系统、介质及设备 - Google Patents

Abstract

本公开提供了基于全向视觉的大视场场景感知方法、系统、介质及设备。其中，基于全向视觉的大视场场景感知方法，包括实时接收所有相机传送来图像，通过图像语义分割来识别障碍物信息，进而构建出所有相机的局部栅格地图；其中，所有相机均围绕机器人设置，这些相机的视角总范围覆盖机器人周围360度环境；利用构建的局部栅格地图进行路径规划，依据规划的路径控制机器人运行。其能够采集机器人周围360度方向的环境信息弥补了单相机存在可视范围小的缺点，能够适应更加复杂的环境，具有优异的场景泛化性以及鲁棒性。

Description

基于全向视觉的大视场场景感知方法、系统、介质及设备

技术领域

本公开属于机器人导航避障领域，尤其涉及一种基于全向视觉的大视场场景感知方法、系统、介质及设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

机器人实现自主导航避障是机器人的核心任务之一，导航避障作为一项涉及移动机器人多传感器融合的环境感知、按照一定算法实时更新路径的运动控制的系统，移动机器人在其规划路径下绕过存在的静态或动态障碍，最终到达目标点。

机器人利用地图信息可以指导机器人进行全局路径规划。在导航过程中融合多种传感器信息感知局部动态环境信息进行局部路径规划灵活避障。目前视觉避障的主要包含图像获取、障碍物位置检测、图像分割、运动规划等步骤。发明人发现，由于传统的视觉传感器存在可视范围小等缺点，不能有效还原环境的全局信息进行视觉导航。

传统的障碍物检测技术一般都以边缘检测为基础，辅以灰度化处理、Hough变换、模式匹配等。发明人还发现，传统的方法都是根据图像像素自身的低阶视觉信息来进行图像处理，传统方法没有算法的训练阶段往往算法复杂度不高，对于复杂环境背景，无法有效的识别障碍物等有效信息。

发明内容

本公开的第一个方面，提供一种基于全向视觉的大视场场景感知方法，其能够采集机器人周围360度方向的环境信息弥补了单相机存在可视范围小的缺点，能够适应更加复杂的环境，具有优异的场景泛化性以及鲁棒性。

本公开的一种基于全向视觉的大视场场景感知方法的技术方案为：

基于全向视觉的大视场场景感知方法，包括：

构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；

实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行。

本公开第二个方面，提供一种基于全向视觉的大视场场景感知系统。

本公开的一种基于全向视觉的大视场场景感知系统的技术方案为：

基于全向视觉的大视场场景感知系统，包括：

若干个相机，这些相机围绕机器人设置，且所有相机的视角总范围可覆盖机器人周围360度环境；

感知处理器，所述感知处理器包括：

局部栅格地图构建模块，其用于构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；

路径规划模块，其用于实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行。

本公开第三个方面，提供一种计算机可读存储介质。

本公开的一种计算机可读存储介质的技术方案为：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的基于全向视觉的大视场场景感知方法中的步骤。

本公开第四个方面，提供一种设备。

本公开的一种设备的技术方案为：

一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于全向视觉的大视场场景感知方法中的步骤。

本公开的有益效果是：

本公开通过构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行，一方面弥补了单相机存在可视范围小的缺点，另外，通过图像语义分割识别障碍物信息实现了精确感知周围环境，具有更优异的场景理解力以及鲁棒性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例提供的基于全向视觉的大视场场景感知方法整体流程图。

图2为本公开实施例提供的基于全向视觉的大视场场景感知方法具体流程图。

图3为本公开实施例提供的相机透视投影示意图。

图4为本公开实施例提供的构建局部地图数学模型示意图。

图5为本公开实施例提供的场景语义分割模型结构图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本实施例的基于全向视觉的大视场场景感知方法可运行在ROS(Robot OperatingSystem)平台下。

如图1和图2所示，本实施例的基于全向视觉的大视场场景感知方法，至少包括：

S101：构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境。

本实施例的相机以六个为例，在机器人komodo2上搭建了六个环绕相机，这样可以采集机器人周围360度方向的环境信息。

需要说明的是，也可选择其他数量的相机数量，而且实际相机数量根据相机视角实际确定，保证覆盖360°环境即可。

具体地，S101构建所有围绕机器人的相机的局部栅格地图的过程为：

S1011：根据相机的对应变换矩阵，得到像素坐标与相机平面二维坐标之间的关系。

在具体实施中，由于在机器人上搭建了六个环绕相机，六个相机均在同一平面上，所以可以看成六个平面直角坐标系，每两个相机之间的变换矩阵都可以分解为一个旋转矩阵R和一个平移向量T描述，通过相机的两对对应点的坐标可以求出二维坐标系下的旋转平移关系。

S1012：通过已知的静态环境地图和目标位置，规划机器人直达目的地的全局路径。

具体地，通过已知的静态环境地图和目标位置规划直达目的地的全局路径，通过全局路径可以获取一系列的路径点，取距离起始点3m的路径点作为机器人的局部目标点。

假设机器人在全局坐标系下的位姿为(current_x,current_y,current_theta)，其中三个参数分为代表机器人在全局参考系中的横坐标、纵坐标、以及绕Z轴的旋转角度。ROS下通过TF维护多个参考坐标系之间的坐标变化关系，利用TF变化将局部目标点从全局参考系转化到六个相机坐标系中。

S1013：通过全局路径确定局部目标点，根据像素坐标与相机平面二维坐标之间的关系，将局部目标点映射到每个相机对应的相机坐标系中。

具体地，为每个相机构建局部地图，通过相机定位算法确定像素坐标与相机平面二维坐标的变换关系，通过构建数学模型确定二维坐标与栅格坐标的映射关系，最终得到像素坐标与栅格坐标的变换关系。

如图3所示，空间中三维点从世界平面到相机的透视投影。假设相机坐标系{c}为参考坐标系，空间平面π存在三维空间点P_i＝[X_i,Y_i,Z_i,1]^T,i＝1,2,…。通过小孔成像模型可以得出P_i的归一化摄影坐标为

对应的齐次图像坐标为：

K为相机的内参矩阵：

其中，K内的参数为相机的内参数。

当相机的内参矩阵已知的时候，可以得出结论空间中的图像坐标与归一化摄影坐标可以相互转换。

定义在参考坐标系{A}下的空间点为 到p_i可以通过以下公式得到：

其中，σ_i为三维空间点P_i的成像深度，为求得的相机外参矩阵，和分别表示参考坐标系{A}与相机坐标系{c}的旋转与平移关系。

平面π与坐标系{A}的XY-平面在同一平面上，空间点在平面π中表示为将表示为即得到以下表达式：

H是参考坐标系Z＝0时平面的单应矩阵。设平面π上与相对应的点为归一化H，尺度因子为α，表示为以下公式：

结合公式(5)、公式(6)与公式(7)，可以得到：

在已知p_i和的条件下求解H'，由于尺度因子σ_i和α均为未知参数，做叉乘得到：

H'有九个未知参数，使用一张A4纸作为标定物，采集A4纸的4个角点对应的图像坐标系下像素坐标与世界坐标系下的二维平面坐标，四个点带入公式(9)即可求得H'，H'与H相差了一尺度因子λ。

为了得到λ，将公式(6)矩阵分解为：

通过以及可以得到：

设a＝[a₁₁ a₁₂ a₁₃]^T，b＝[b₁₁ b₁₂ b₁₃]^T代入公式(11)求解。

为了表示方便，设ω＝K^-TK^-1，使用的实验场景图片分辨率为640×480，所以在公式(3)内参矩阵的部分参数值已知，(u₀,v₀)选择为(320,240)，并且σ取值为0。通过公式(11)求得内参矩阵K，λ可以通过以下公式获得：

现在已经得到及外参矩阵平面π在参考坐标{A}中可以表示为n^A代表平面π在参考坐标{A}中的法向量，d^A表示参考坐标系原点到平面_π的距离。把相机坐标系作为参考坐标系，则平面π可以表示为π^c＝[n^cT d^c]^T，其中：

如图4所示，定义过相机光心和点m空间直线L，变化为齐次坐标的形式：

直线L的Plucker矩阵为L＝AB^T-BA^T，通过计算直线L与平面π^c的交点坐标即求得在图像坐标p在相机坐标系下的坐标P，通过以下公式求解：

相机坐标系与地面参考坐标系{A}的转换可以通过外参矩阵实现，即：

通过上述相机定位算法得到了图像坐标到平面二维坐标系的映射关系，通过图四构建的数学模型求解二维平面坐标与栅格坐标的映射关系。为了使规划的路径的更适合机器人运动控制，建立以机器人为极坐标中心的局部地图。平面上每一个二维坐标点都对应一个极半径与极角，通过以下公式求得：

其中，T_dim表示在角度维度上将机器人一圈划分为180份，即每个栅格占据2度大小的空间。

S1014：根据相机平面二维坐标和栅格坐标之间的映射关系，构建出所有相机的局部栅格地图。

由于图像像素点对应平面二维坐标变化的不连续性，即距离相机近的区域对应的图像区域大于距离相机远的区域，所有选择按照两种方式划分栅格，距离相机1.8m的平面区域等分划为9个栅格，即每个栅格代表的长度为0.2m，距离超过1.8m的平面区域同样划分为7个栅格，但是每个栅格代表的长度是不连续的。h_cam代表相机高度，通过测量平面1.8m时的相机高度，可以获得hR_dim，通过相似三角形原理可以求得非线性栅格的最大距离，用公式可以表达为：

其中，R_dim表示线性区栅格的个数，hR_dim表示非线性区栅格的个数。

每一个极半径与极角都会有对应一个栅格坐标，通过以下公式求得：

其中：

C_res表示线性区单个栅格的长度；

h_cam表示相机距水平地面的高度；

R_min表示非线性区个栅格到极坐标原点的距离；

hR_min表示在R_min位置，相机视野顶端与地面的距离；

R_dim表示线性区栅格的个数；

hR_dim表示非线性区栅格的个数；

T_dim表示将360度划分为180份，即每个栅格占据2度大小的空间。

其中，R_c代表线性区栅格到坐标原点的距离，R_n代表非线性栅格到坐标原点的距离。r代表栅格编号，当极半径小于1.8m的时候根据线性区公式计算r，当极半径大于1.8m的时候根据非线性区域公式计算r，相机的前向视野为180度，将180等分划为90个栅格，即每个栅格占据2度大小的空间。

通过公式(17)求得的极角确定栅格位置。建立的极坐标栅格地图尺寸为16×90。因此，建立了像素坐标点->平面二维坐标点->极坐标栅格坐标的转换关系，下一步需要确定每一个栅格点的属性，即可通行区域还是不可通行区域。

S102：实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行。

在具体实施中，通过图像语义分割识别障碍物信息的过程为：

S1021：获取图像语义分割训练数据集；所述图像语义分割训练数据集由像素点及其标签构成。

具体地，训练数据分为两个部分，分别是公共数据库CamVid和手动采集的实验场景数据。使用标注工具对手动采集图片进行标注。将地板标记为1，其他的标记为0,。手动采集的数据中随机选取80％用于训练网络参数，剩余20％图片用于模型的交叉验证。

S1022：将图像语义分割训练数据集输入至预设场景分割模型中，直至场景分割模型训练完成。

场景分割模型网络如图5所示，选择基于SegNet的图像语义分割模型用于机器人场景识别。模型有一个编码器网络和相对应的解码器网络，然后是一个Softmax分类器输出为像素点属于每一种分类的概率。一般选取概率最大的一类作为像素点的结果。编码器包含13层卷积层，类似于VGG-16网络前13层。卷积层包含卷积、BN层(批归一化)、最大池化层、ReLU激活层构成，进行最大池化的时候，编码器都会保存其最大值索引以供解码器使用。解码器与编码器的结构类似，但是在对输入特征上采样的时候会使用编码器保存的索引，对特征图进行放大2倍然后在对应的索引位置填入特征值，其余的位置使用0进行填充，得到稀疏的特征图。

S1023：将实时接收每个相机传送来图像输入至训练完成的场景分割模型中，得到障碍物信息。

根据图像语义分割模型得到的图像分割结果，通过求得的映射关系确定局部地图栅格属性，分为可通行区域与不可通行区域。

在每个相机的局部栅格地图中进行路径规划的过程中，将像素点的标签映射到栅格中，通过像素坐标到栅格坐标的映射关系，统计栅格中标签为障碍物的像素点占栅格中所有像素点的比例，若当前比例大于预设阈值时，则该栅格的属性为不可通行区域，否则为可通行区域。

例如：在PyTorch平台上对模型进行训练。当训练好模型之后，需要将模型的分割结果手动膨胀一定系数以考虑机器人的体积，防止机器人沿规划路径与障碍物之间间距太窄发生碰撞。接下类我们需要将像素点的标签映射到栅格中，通过像素坐标到栅格坐标的映射关系，统计栅格中标签为障碍物的像素点占栅格中所有像素点的比例λ。取λ的阈值为0.1，即当λ＞0.1时，该栅格的属性为不可通行区域，否则为路面。为由于相机视野的局限性，超出相机视野的栅格认为是不可通行区域。由于无法确定像素点的深度信息，障碍物在图像中会遮挡部分图像区域，所以局部地图可以反映的近距离障碍物信息。栅格地图中超过一定距离的栅格认为是可通行区域。

通过上述步骤的场景分割以及坐标映射关系，全向视觉场景感知系统中每个相机都可以构建局部环境地图以应用于导航。

依据规划的路径控制机器人运行的过程中，还实时计算机器人是否到达目的地，若到达目标点，结束感知；否则，重新在所有相机的局部栅格地图中进行路径规划。

具体地，通过场景分割以及坐标变化构建局部地图，这样可以应用A*算法(路径规划算法)计算出规避碰撞的安全路径。A*算法综合了优先搜索和Dijkstra算法的优点：在进行启发式搜索提高算法效率的同时，可以保证找到一条最优路径(基于评估函数)。通过六个相机同时进行路径规划，由于六个相机重合视野非常小，所以局部目标点通常映射在一个或两个相机视野中，在其余相机的视野之外，根据构建局部地图的规则，超出视野的栅格在局部地图中表示为不可通行区域。所以当局部目标点落在不可通行区域内，路径规划算法无法得到路径。通过得出的所有路径，计算旋转角度确定最优路径。

若在所有相机的局部栅格地图中均没有规划出路径，则采取路径探索策略，将局部目标点设置为每个相机的正前方，按照朝目标点前进的原则来规划出的最优路径，控制机器人进行路径探索。

具体地，若没有规划出路径，即说明规划最优路径的相机视野被障碍物遮挡，可以获取机器人周围360度的视野信息,所以机器人可以获取丰富的视觉信息进行路径探索，采取的策略为局部目标点设置为每个相机的正前方，机器人在预设起始位置在每个相机中栅格坐标为(0,45)，将目标点设置为(8,45)，这样每个相机都会规划出相应的路径，按照朝目标点前进的原则选取相对应的路径。

本实施例通过构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行，一方面弥补了单相机存在可视范围小的缺点，另外，通过图像语义分割识别障碍物信息实现了精确感知周围环境，具有更优异的场景理解力以及鲁棒性。

实施例2

本实施例的基于全向视觉的大视场场景感知系统，至少包括：

(1)若干个相机，这些相机围绕机器人设置，且所有相机的视角总范围可覆盖机器人周围360度环境。

(2)感知处理器，所述感知处理器包括：

(2.1)局部栅格地图构建模块，其用于构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境。

具体地，所述局部栅格地图构建模块，还包括：

(2.1.1)关系构建模块，其用于根据相机的对应变换矩阵，得到像素坐标与相机平面二维坐标之间的关系；

(2.1.2)全局路径规划模块，其用于通过已知的静态环境地图和目标位置，规划机器人直达目的地的全局路径；

(2.1.3)局部目标点映射模块，其用于通过全局路径确定局部目标点，根据像素坐标与相机平面二维坐标之间的关系，将局部目标点映射到每个相机对应的相机坐标系中；根据相机平面二维坐标和栅格坐标之间的映射关系，构建出所有相机的局部栅格地图。

(2.2)路径规划模块，其用于实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行。

具体地，所述路径规划模块，还包括障碍物模块，所述障碍物模块包括：

(2.2.1)训练数据集获取模块，其用于获取图像语义分割训练数据集；所述图像语义分割训练数据集由像素点及其标签构成；

(2.2.2)场景分割模型训练模块，其用于将图像语义分割训练数据集输入至预设场景分割模型中，直至场景分割模型训练完成；

(2.2.3)障碍物信息输出模块，其用于将实时接收每个相机传送来图像输入至训练完成的场景分割模型中，得到障碍物信息。

在另一实施例中，所述路径规划模块，还用于：

在每个相机的局部栅格地图中进行路径规划的过程中，将像素点的标签映射到栅格中，通过像素坐标到栅格坐标的映射关系，统计栅格中标签为障碍物的像素点占栅格中所有像素点的比例，若当前比例大于预设阈值时，则该栅格的属性为不可通行区域，否则为可通行区域。

在另一实施例中，所述路径规划模块，还用于：

依据规划的路径控制机器人运行的过程中，还实时计算机器人是否到达目的地，若到达目标点，结束感知；否则，重新在所有相机的局部栅格地图中进行路径规划；

在另一实施例中，所述路径规划模块，还用于：

若在所有相机的局部栅格地图中均没有规划出路径，则采取路径探索策略，将局部目标点设置为每个相机的正前方，按照朝目标点前进的原则来规划出的最优路径，控制机器人进行路径探索。

本实施例通过构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行，一方面弥补了单相机存在可视范围小的缺点，另外，通过图像语义分割识别障碍物信息实现了精确感知周围环境，具有更优异的场景理解力以及鲁棒性。

实施例3

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如图1所示的基于全向视觉的大视场场景感知方法中的步骤。

实施例4

本实施例提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如图1所示的基于全向视觉的大视场场景感知方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于全向视觉的大视场场景感知方法，其特征在于，包括：

构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；

实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行。

2.如权利要求1所述的基于全向视觉的大视场场景感知方法，其特征在于，构建所有围绕机器人的相机的局部栅格地图的过程为：

根据相机的对应变换矩阵，得到像素坐标与相机平面二维坐标之间的关系；

通过已知的静态环境地图和目标位置，规划机器人直达目的地的全局路径；

通过全局路径确定局部目标点，根据像素坐标与相机平面二维坐标之间的关系，将局部目标点映射到每个相机对应的相机坐标系中；

根据相机平面二维坐标和栅格坐标之间的映射关系，构建出所有相机的局部栅格地图。

3.如权利要求1所述的基于全向视觉的大视场场景感知方法，其特征在于，通过图像语义分割识别障碍物信息的过程为：

获取图像语义分割训练数据集；所述图像语义分割训练数据集由像素点及其标签构成；

将图像语义分割训练数据集输入至预设场景分割模型中，直至场景分割模型训练完成；

将实时接收每个相机传送来图像输入至训练完成的场景分割模型中，得到障碍物信息。

4.如权利要求1所述的基于全向视觉的大视场场景感知方法，其特征在于，在每个相机的局部栅格地图中进行路径规划的过程中，将像素点的标签映射到栅格中，通过像素坐标到栅格坐标的映射关系，统计栅格中标签为障碍物的像素点占栅格中所有像素点的比例，若当前比例大于预设阈值时，则该栅格的属性为不可通行区域，否则为可通行区域。

5.如权利要求1所述的基于全向视觉的大视场场景感知方法，其特征在于，依据规划的路径控制机器人运行的过程中，还实时计算机器人是否到达目的地，若到达目标点，结束感知；否则，重新在所有相机的局部栅格地图中进行路径规划；

或若在所有相机的局部栅格地图中均没有规划出路径，则采取路径探索策略，将局部目标点设置为每个相机的正前方，按照朝目标点前进的原则来规划出的最优路径，控制机器人进行路径探索。

6.基于全向视觉的大视场场景感知系统，其特征在于，包括：

若干个相机，这些相机围绕机器人设置，且所有相机的视角总范围可覆盖机器人周围360度环境；

感知处理器，所述感知处理器包括：

局部栅格地图构建模块，其用于构建所有围绕机器人的相机的局部栅格地图；这些围绕机器人的相机的视角总范围可覆盖机器人周围360度环境；

路径规划模块，其用于实时接收每个相机传送来图像，通过图像语义分割识别障碍物信息，并在每个相机的局部栅格地图中进行路径规划，依据规划的路径控制机器人运行。

7.如权利要求6所述的基于全向视觉的大视场场景感知系统，其特征在于，所述局部栅格地图构建模块，还包括：

关系构建模块，其用于根据相机的对应变换矩阵，得到像素坐标与相机平面二维坐标之间的关系；

全局路径规划模块，其用于通过已知的静态环境地图和目标位置，规划机器人直达目的地的全局路径；

局部目标点映射模块，其用于通过全局路径确定局部目标点，根据像素坐标与相机平面二维坐标之间的关系，将局部目标点映射到每个相机对应的相机坐标系中；根据相机平面二维坐标和栅格坐标之间的映射关系，构建出所有相机的局部栅格地图；

或所述路径规划模块，还包括障碍物模块，所述障碍物模块包括：

训练数据集获取模块，其用于获取图像语义分割训练数据集；所述图像语义分割训练数据集由像素点及其标签构成；

场景分割模型训练模块，其用于将图像语义分割训练数据集输入至预设场景分割模型中，直至场景分割模型训练完成；

障碍物信息输出模块，其用于将实时接收每个相机传送来图像输入至训练完成的场景分割模型中，得到障碍物信息。

8.如权利要求6所述的基于全向视觉的大视场场景感知系统，其特征在于，所述路径规划模块，还用于：

在每个相机的局部栅格地图中进行路径规划的过程中，将像素点的标签映射到栅格中，通过像素坐标到栅格坐标的映射关系，统计栅格中标签为障碍物的像素点占栅格中所有像素点的比例，若当前比例大于预设阈值时，则该栅格的属性为不可通行区域，否则为可通行区域；

或所述路径规划模块，还用于：

依据规划的路径控制机器人运行的过程中，还实时计算机器人是否到达目的地，若到达目标点，结束感知；否则，重新在所有相机的局部栅格地图中进行路径规划；

或所述路径规划模块，还用于：

若在所有相机的局部栅格地图中均没有规划出路径，则采取路径探索策略，将局部目标点设置为每个相机的正前方，按照朝目标点前进的原则来规划出的最优路径，控制机器人进行路径探索。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于全向视觉的大视场场景感知方法中的步骤。

10.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于全向视觉的大视场场景感知方法中的步骤。