CN114663754A - 检测方法、装置、多足机器人及存储介质 - Google Patents

Abstract

本申请公开了一种多足机器人可行驶空间的检测方法、装置、多足机器人以及存储介质。检测方法包括：获取当前时刻摄像头采集的图像数据，对图像数据进行预处理以生成满足预设的行驶空间检测模型输入格式要求的预处理图像；根据行驶空间检测模型对预处理图像处理，生成多足机器人行驶空间边界信息，多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，通过摄像头的标定参数对边界线位置信息进行映射处理生成目标行驶空间。本申请实施方式的检测方法通过行驶空间检测模型对预处理后的图像数据生成多足机器人行驶空间边界信息，并通过摄像头的标定参数对行驶空间边界信息映射处理，得到目标行驶空间，如此，保证了多足机器人行驶安全。

Description

检测方法、装置、多足机器人及存储介质

技术领域

本申请涉及图像识别领域，特别涉及一种多足机器人可行驶空间的检测方法、检测装置、多足机器人及计算机可读存储介质。

背景技术

随着多足机器人科技的快速发展，多足机器人的应用也越来越广泛。多足机器人逐渐成为生活中不可或缺的一部分。多足机器人最关键的是要有自主导航能力，给定目标地点即可完全自主的走到目标位置。这涉及到对周围环境的感知、路径规划、控制。而环境感知作为上游模块至关重要，影响着下游能否规划出合理路线，尤其是对障碍物的避让。可行驶空间检测则为多足机器人提供了可以自由移动的空间的信息和障碍物的信息，为多足机器人的自主行驶安全提供保障。

相关技术中，可行驶空间检测主要是基于深度相机、激光雷达、超声波雷达等带有测距能力的传感器，探测出障碍物的空间信息，从而得到多足机器人可行驶的空间。然而，通常，这样的传感器大多价格昂贵，并且传感器的视野角度有限，此外，对细小物体、悬空物体、镂空物体探测不准确。

发明内容

有鉴于此，本申请提供一种多足机器人可行驶空间的检测方法、检测装置、多足机器人及非失易性计算机可读存储介质。

本申请实施方式的检测方法，包括：

获取当前时刻摄像头采集的图像数据；

对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像；

根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，所述多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，所述边界线位置信息为边界线上边界点的坐标信息；所述边界属性信息为边界线上边界点的类别属性信息；

通过所述摄像头的标定参数对所述边界线位置信息进行映射处理生成目标行驶空间。

在某些实施方式中所述根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，还包括：

根据场景检测模型对所述预处理图像进行检测，判断出多足机器人当前所处场景，将所述当前所处场景进行训练的可行驶空间检测模型作为预设的行驶空间检测模型。

在某些实施方式中，所述行驶空间检测模型包括特征提取网络和任务分支网络，所述根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，包括：

通过所述特征提取网络对所述预处理图像进行处理以生成基本特征图；

通过所述任务分支网络对所述基本特征图处理以得到所述多足机器人行驶空间边界信息。

在某些实施方式中，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，包括：

所述标注图像由多列像素组成，将所述标注图像每列像素根据预设边界点选取原则筛选出目标像素标注为边界点，所述边界点选取原则为从所述标注图像底边向上搜索到最先触碰的障碍物，以该障碍物的接地点或者该障碍物投影到地面的投影点作为所述边界点；

将所有所述边界点构成边界线。

在某些实施方式中，所述边界属性信息包括静止障碍物和/或移动障碍物，所述静止障碍物包括悬空障碍物、透明障碍物、镜面障碍物、楼梯、门。

在某些实施方式中，所述通过所述摄像头的标定参数对所述边界位置信息映射处理生成目标行驶空间，包括：

确定所述多足机器人行驶空间边界信息的图像坐标信息；

根据所述标定参数将所述图像坐标信息映射至物理空间，以得到在物理坐标系的所述目标行驶空间。

在某些实施方式中，在对所述图像数据进行预处理以生成满足预设的行驶空间检测模型输入格式要求的预处理图像包括：

计算所述图像数据的亮度值；

判断所述图像数据的亮度值是否大于预设阈值，若是，则根据预设的行驶空间检测模型的输入格式要求对所述图像数据进行预处理。

在某些实施方式中，所述检测方法还包括：

将所述边界属性信息发送至控制器，控制器根据所述边界属性信息输出不同的避障措施；和/或

将所述边界属性信息发送至建图模块、定位模块和路径规划模块，以提供语义拓扑信息。

本申请实施方式的多足机器人可行驶空间的检测装置，包括：

获取模块，用于获取当前时刻摄像头采集的图像数据；

生成模块，用于对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像；

处理模块，用于根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，所述多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，所述边界线位置信息为边界线上边界点的坐标信息；所述边界属性信息为边界线上边界点的类别属性信息；和

映射模块，用于通过所述摄像头的标定参数对所述边界线位置信息进行映射处理生成目标行驶空间。

本申请实施方式的多足机器人，包括处理器和存储单元；所述存储单元中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述的检测方法。所述检测方法包括：获取当前时刻摄像头采集的图像数据；对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像，根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，所述多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，所述边界线位置信息为边界线上边界点的坐标信息；所述边界属性信息为边界线上边界点的类别属性信息；通过摄像头的标定参数对所述边界线位置信息进行映射处理生成目标行驶空间。

本申请实施方式的非易失性计算机可读存储介质，包括计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行上述的所述的检测方法。所述检测方法包括：获取当前时刻摄像头采集的图像数据；对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像，根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，所述多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，所述边界线位置信息为边界线上边界点的坐标信息；所述边界属性信息为边界线上边界点的类别属性信息；通过摄像头的标定参数对所述边界线位置信息进行映射处理生成目标行驶空间。

本申请实施方式的多足机器人可行驶空间的检测方法、装置、多足机器人及可读存储介质中，通过获取到当前时刻摄像头采集的图像数据，并对图像数据进行预处理，生成能够被预设的行驶空间检测模型输入格式要求的预处理图像，使得行驶空间检测模块能够对预处理图像处理，生成包含边界线位置信息和边界属性信息的多足机器人行驶空间边界信息，最后，通过摄像头的标定参数将边界线位置信息进行映射处理，即可得到准确地目标行驶空间。如此，多足机器人可根据目标行驶空间行驶，保证了多足机器人的行驶安全，相较于基于深度相机、激光雷达、超声波雷达等带有测距能力的传感器，探测出障碍物的空间信息得到多足机器人可行驶的空间而言，本申请仅需要设置摄像头即可实现，节省了成本。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的多足机器人的硬件结构示意图；

图2是本申请某些实施方式的多足机器人的结构示意图；

图3是本申请某些实施方式的多足机器人可行驶空间的检测方法的流程示意图；

图4是本申请某些实施方式的多足机器人可行驶空间的检测装置的模块示意图；

图5是本申请某些实施方式的多足机器人可行驶空间的检测方法的场景示意图；

图6是本申请某些实施方式的多足机器人可行驶空间的检测方法的流程示意图；

图7是本申请某些实施方式的多足机器人可行驶空间的检测装置的模块示意图；

图8-12是本申请某些实施方式的多足机器人可行驶空间的检测方法的流程示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示部件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

请参阅图1，图1为本发明其中一个实施方式的多足机器人100的硬件结构示意图。在图1所示的实施方式中，多足机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、控制模块110、电源111。多足机器人100的各种部件可以以任何方式连接，包括有线或无线连接等。本领域技术人员可以理解，图1中示出的多足机器人100的具体结构并不构成对多足机器人100的限定，多足机器人100可以包括比图示更多或更少的部件，某些部件也并不属于多足机器人100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者组合某些部件。

下面结合图1对多足机器人100的各个部件进行具体的介绍：

机械单元101为多足机器人100的硬件。如图1所示，机械单元101可包括驱动板1011、电机1012、机械结构1013，如图2所示，机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016，在其他实施方式中，机械结构1013还可包括可伸展的机械臂(图未示)、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020、摄像头结构1021等。需要说明的是，机械单元101的各个部件模块可以为一个也可以为多个，可根据具体情况设置，比如腿部1015可为4个，每个腿部1015可配置3个电机1012，对应的电机1012为12个。

通讯单元102可用于信号的接收和发送，还可以通过与网络和其他设备通信，比如，接收遥控器或其他多足机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后，传输给控制模块110处理。通讯单元102包括如WiFi模块、4G模块、5G模块、蓝牙模块、红外模块等。

传感单元103用于获取多足机器人100周围环境的信息数据以及监控多足机器人100内部各部件的参数数据，并发送给控制模块110。传感单元103包括多种传感器，如获取周围环境信息的传感器：激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统(GNSS，Global Navigation Satellite System)等。如监控多足机器人100内部各部件的传感器：惯性测量单元(IMU，Inertial Measurement Unit)(用于测量速度值、加速度值和角速度值的值)，足底传感器(用于监测足底着力点位置、足底姿态、触地力大小和方向)、温度传感器(用于检测部件温度)。至于多足机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器，在此不再赘述。

接口单元104可以用于接收来自外部装置的输入(例如，数据信息、电力等)并且将接收到的输入传输到多足机器人100内的一个或多个部件，或者可以用于向外部装置输出(例如，数据信息、电力等)。接口单元104可包括电源端口、数据端口(如USB端口)、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口等。

存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统程序、运动控制程序、应用程序(比如文本编辑器)等；数据存储区可存储多足机器人100在使用中所生成的数据(比如传感单元103获取的各种传感数据，日志文件数据)等。此外，存储单元105可以包括高速随机存取存储器，还可以包括非易失性存储器，例如磁盘存储器、闪存器、或其他易失性固态存储器。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

输入单元107可用于接收输入的数字或字符信息。具体地，输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户的触摸操作(比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中，触摸检测装置1073检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器1074；触摸控制器1074从触摸检测装置1073上接收触摸信息，并将它转换成触点坐标，再送给控制模块110，并能接收控制模块110发来的命令并加以执行。除了触控面板1071，输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给控制模块110以确定触摸事件的类型，随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现输入和输出功能，具体此处不做限定。

控制模块110是多足机器人100的控制中心，利用各种接口和线路连接整个多足机器人100的各个部件，通过运行或执行存储在存储单元105内的软件程序，以及调用存储在存储单元105内的数据，从而对多足机器人100进行整体控制。

电源111用于给各个部件供电，电源111可包括电池和电源控制板，电源控制板用于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中，电源111电连接控制模块110，在其它的实施方式中，电源111还可以分别与传感单元103(比如摄像头、雷达、音箱等)、电机1012电性连接。需要说明的是，各个部件可以各自连接到不同的电源111，或者由相同的电源111供电。

在上述实施方式的基础上，具体地，在一些实施方式中，可以通过终端设备来与多足机器人100进行通信连接，在终端设备与多足机器人100进行通信时，可以通过终端设备来向多足机器人100发送指令信息，多足机器人100可通过通讯单元102来接收指令信息，并可在接收到指令信息的情况下，将指令信息传输至控制模块110，使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于：具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。

指令信息可以根据预设条件来确定。在一个实施方式中，多足机器人100可以包括传感单元103，传感单元103可根据多足机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断多足机器人100的当前速度值是否满足对应的预设条件。若满足，则会保持多足机器人100的当前速度值和当前步态移动；若不满足，则会根据对应的预设条件来确定目标速度值和相应的目标步态，从而可控制多足机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信，也可以为无线通信。无线通信的方式包括但不限于：无线网络、移动通信网络(3G、4G、5G等)、蓝牙、红外。

请参阅图3，本申请实施方式提供一种多足机器人可行驶空间的检测方法，包括步骤：

01，获取当前时刻摄像头采集的图像数据；

02，对图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像；

03，根据行驶空间检测模型对预处理图像进行处理，以生成多足机器人行驶空间边界信息，行驶空间检测模型由深度学习模型通过标注图像训练得到，多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，边界线位置信息为边界线上边界点的坐标信息；边界属性信息为边界线上边界点的类别属性信息；

04，通过摄像头的标定参数对边界线位置信息进行映射处理生成目标行驶空间。

请参阅图4，本申请实施方式提供了一种多足机器人可行驶空间的检测装置10。检测装置10包括获取模块11、生成模块12、处理模块13和映射模块14。

其中，01可以由获取模块11实现，02可以由生成模块12实现，03可以由处理模块13实现，04可以由映射模块14实现。或者说，获取模块11可以用于获取当前时刻摄像头采集的图像数据；生成模块12可以用于对图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像。处理模块13可以用于根据行驶空间检测模型对预处理图像进行处理，以生成多足机器人行驶空间边界信息，行驶空间检测模型由深度学习模型通过标注图像训练得到，多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，边界线位置信息为边界线上边界点的坐标信息；边界属性信息为边界线上边界点的类别属性信息。映射模块14可以用于通过摄像头的标定参数对边界线位置信息进行映射处理生成目标行驶空间。

请结合图1，本申请提供的多足机器人100还包括处理器(图中未示出)，存储单元105存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现上述检测方法，也即是，处理器用于获取当前时刻摄像头采集的图像数据，对图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像，根据预设的行驶空间检测模型对预处理图像进行处理，以生成多足机器人行驶空间边界信息，行驶空间检测模型由深度学习模型通过标注图像训练得到，多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，边界线位置信息为边界线上边界点的坐标信息；边界属性信息为边界线上边界点的类别属性信息，通过摄像头的标定参数对边界线位置信息映射处理生成目标行驶空间。

本申请的检测方法、检测装置和多足机器人100中，通过获取到摄像头采集的当前行驶空间的图像数据，并对图像数据进行预处理，生成能够被由深度学习模型训练得到的行驶空间检测模型处理的预处理图像，使得行驶空间检测模块能够对预处理图像处理，生成准确地多足机器人行驶空间边界信息，其中，多足机器人行驶空间边界信息包含边界线位置信息和边界属性信息，最后，再通过摄像头的标定参数对多足机器人行驶空间边界信息的边界线位置信息进行映射处理，即可得到准确地目标行驶空间，如此，多足机器人100根据沿着目标行驶空间行驶，能够保证多足机器人100的行驶安全，提升了多足机器人100的应用场景。并且，由于本申请通过摄像头获取多足机器人当前行驶空间的图像数据从而得到目标行驶空间，相较于相关技术中的基于深度相机、激光雷达、超声波雷达等带有测距能力的传感器，探测出障碍物的空间信息得到多足机器人可行驶的空间而言，提高了目标行驶空间的准确度，提升了多足机器人100的行驶安全，并节省了成本。

本实施方式可以以多足机器人100是四足机器人为例进行说明，也即是说，检测方法和检测装置10应用于但不限于四足机器人。检测装置可以是预安装于四足机器人的硬件或软件，并在四足机器人上启动运行时可以执行检测方法。例如，检测装置10可以是四足机器人的底层软件代码段或者说是操作系统的一部分。如此，当四足机器人可以根据摄像头采集的图像数据生成目标行驶空间并沿着目标行驶空间行驶。

在一些实施方式中，检测装置10可以是多足机器人100的一部分。或者说，多足机器人100包括检测装置10。

在一些实施方式中，检测装置10可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。

在一些实施方式中，作为硬件，检测装置10可以是独立或者作为额外增加的外围元件加装到多足机器人100。检测装置10也可以集成到多足机器人100上，例如，检测装置10是多足机器人100的一部分时，检测装置10可以集成到处理器上。

具体地，多足机器人100可通过摄像头采集当前行驶空间的图像数据。在本实施方式中，摄像头可以为单目摄像头，相关领域技术人员可以理解，单目摄像头具有丰富的颜色、纹理特征，并且广角大、分辨率高，价格低廉等特点，因此，降低了多足机器人100的成本，并且，多足机器人100通过单目摄像头采集的当前行驶空间的范围广，从而为多足机器人100沿目标行驶空间行驶安全提供保障，使得多足机器人100能够适应更广的应用场景。

需要说明的是，标注图像训练是指对图像中多足机器人100可以无碰撞、安全通行的区域进行标记的过程。其中，标注图像训练所采用的图像可以为摄像头采集的历史图像数据。图像可以包括多个，可以理解地，由于行驶空间检测模型由深度学习模型通过标注图像训练得到，图像越多，且场景越复杂，则通过标注图像训练得到行驶空间检测模型的准确度越高，生成的目标行驶空间越准确。

请结合图5，多足机器人行驶空间边界信息是指多足机器人100可正常、安全行驶区域的边界信息，边界属性信息包括静止障碍物和/或移动障碍物，需要说明的是，障碍物是指会对多足机器人100正常通行造成阻碍、碰撞的物体。静止障碍物是指不会自主移动的物体，移动障碍物是指会自主移动的物体。

静止障碍物包括但不限于悬空障碍物、透明障碍物、镜面障碍物、楼梯、门等其它可行驶区域边界。其中，悬空障碍物是指此处边界线并不是障碍物与地面的接地线，不是客观存在、实际可见的线，而是悬空物体投影到地面的边界，例如桌子如果对多足机器人100头部等造成碰撞，则桌子的边界投影到地面就是可行驶空间的边界，此边界的属性则为悬空障碍物。透明障碍物是指透明的物体，例如落地窗、玻璃门等；镜面障碍物是指具有镜面反射的物体，例如镜子。

移动障碍物包括但不限于行人、动物、车辆、其它多足机器人100等能自主移动的物体。

标定参数是指预设在处理器上的用于对摄像头进行标定的参数。标定参数可包括内参矩阵和畸变参数矩阵。也即是，可通过摄像头的内参矩阵和畸变参数矩阵对边界线位置信息进行映射处理，生成无障碍可以通行的目标行驶空间。

请参阅图6，在某些实施方式中，在步骤03前，检测方法还包括步骤：

05，根据场景检测模型对预处理图像进行检测，判断出多足机器人当前所处场景，将当前所处场景进行训练的可行驶空间检测模型作为预设的行驶空间检测模型。

请结合图7，在某些实施方式中，检测装置10还包括选择模块15，步骤05可以由选择模块15实现。

或者说，选择模块15可以用于根据场景检测模型对预处理图像进行检测，判断出多足机器人当前所处场景，将当前所处场景进行训练的可行驶空间检测模型作为预设的行驶空间检测模型。

在某些实施方式中，处理器可以用于根据场景检测模型对预处理图像进行检测，判断出多足机器人当前所处场景，将当前所处场景进行训练的可行驶空间检测模型作为预设的行驶空间检测模型。

具体地，场景检测模型是一个基于深度学习的分类模型。场景检测模型用于对预处理图像中的当前行驶空间进行检测，从而判断当前行驶空间处于哪种场景。场景可以包括工厂、医院、街道小区、商场、家庭或其它开放道路等。存储单元105还可预先存储分别由不同场景训练出的多个行驶空间检测模型，例如，存储单元105预设有工厂、医院、街道小区、商场、家庭或其它开放道路等场景下训练的多个行驶空间检测模型。

可以理解地，由于不同场景所对应的障碍物可能存在差异，例如，在商场时，行人较多，移动障碍物会多于静止障碍物，而在家庭时，静止障碍物会多于移动障碍物。因此，根据场景训练对应的可行驶空间检测模型，并根据场景对应的可行驶空间检测模型对该场景下的预处理图像处理生成的多足机器人行驶空间边界信息准确。

例如，在一些示例中，场景检测模型对预处理图像进行检测，判断出预处理图像的场景为工厂场景，则以由图像为工厂场景训练得到的可行驶空间检测模型作为预设的行驶空间检测模型，又例如，在一些示例中，场景检测模型对预处理图像进行检测，判断出预处理图像的场景为商场场景，则以由图像为商场场景训练得到的可行驶空间检测模型作为预设的行驶空间检测模型。

请参阅图8，在某些实施方式中，行驶空间检测模型包括特征提取网络和任务分支网络，步骤03包括子步骤：

031，通过特征提取网络对预处理图像进行处理以生成基本特征图；

032，通过任务分支网络对基本特征图处理以得到多足机器人行驶空间边界信息。

在某些实施方式中，子步骤031和032可以由处理模块13完成。或者说，处理模块13可以用于通过特征提取网络对预处理图像进行处理以生成基本特征图，以及通过任务分支网络对基本特征图处理以得到多足机器人行驶空间边界信息。

在某些实施方式中，处理器可以用于通过特征提取网络对预处理图像进行处理以生成基本特征图，以及通过任务分支网络对基本特征图处理以得到多足机器人行驶空间边界信息。

特征提取网络可以包括但不限于Restnet、VGG、MobileNet等卷积神经网络。例如，在本实施方式中，特征提取网络可以为Restnet，也即是，通过Restnet对预处理图像进行处理，生成基本特征图。

任务分支网络的方法包括但不限于回归、分类、语义分割、实例分割等方法。任务分支网络以特征提取网络生成的基本特征图作为输入，任务分支网络包括两个输出，一个输出为行驶边界线位置信息，另一个输出为边界属性信息。在本实施方式中，任务分支网络可使用回归方法根据基本特征图生成行驶边界线位置信息，使用分类方法根据基本特征图生成边界属性信息。

请参阅图9，在某些实施方式中，步骤03还包括子步骤：

033，图像由多列像素组成，将图像每列像素根据预设边界点选取原则筛选出目标像素标注为边界点，边界点选取原则为从图像底边向上搜索到最先触碰的障碍物，以该障碍物的接地点或者该障碍物投影到地面的投影点作为边界点；

034，将所有边界点构成边界线。

请进一步地结合图2，在某些实施方式中，子步骤033和034可以由处理模块13完成。或者说，处理模块13可以用于图像由多列像素组成，将图像每列像素根据预设边界点选取原则筛选出目标像素标注为边界点，边界点选取原则为从图像底边向上搜索到最先触碰的障碍物，以该障碍物的接地点或者该障碍物投影到地面的投影点作为边界点，以及将所有边界点构成边界线。

在某些实施方式中，处理器可以用于图像由多列像素组成，将图像每列像素根据预设边界点选取原则筛选出目标像素标注为边界点，边界点选取原则为从图像底边向上搜索到最先触碰的障碍物，以该障碍物的接地点或者该障碍物投影到地面的投影点作为边界点，以及将所有边界点构成边界线。

需要说明的是，本实施方式中，图像可以为由摄像头拍摄的历史图像数据。可以理解地，以图像底边向上搜索到最先触碰的障碍物，并以该障碍物的接地点或者该障碍物投影到地面的投影点作为边界点(例如，桌子面可能比桌子脚凸出来，则以桌子面投影到地面作为边界位置)，可以保证多足机器人100的任意一处都不会碰到边界点，如此，避免了悬空物体对多足机器人100的干扰。

在得到边界点后，从图像上从左到右依次标注，形成多个连续线段，其中，线段与线段的交点为转折点。转折点需要遵守一个原则。即下一个转折点必现处于上一个转折点右侧或者正上方或者正下方，不能处于左侧。每个线段都需要标注上相应属性，如此，可以得到边界线。

在深度学习模型训练时，将对图像标注的信息作为真值，根据深度学习模型预测出图像宽个数的边界点和边界属性，设计损失函数(损失函数可以为但不限于对数损失函数(logLoss，LR)、平方误差损失函数(quadratic loss,QL)或mse等)，对边界点和边界属性进行训练，最后得到行驶空间检测模型。

请参阅图10，在某些实施方式中，步骤04包括子步骤：

041，确定多足机器人行驶空间边界信息的图像坐标信息；

042，根据标定参数将图像坐标信息映射至物理空间，以得到在物理坐标系的目标行驶空间。

请进一步结合图2，在某些实施方式中，子步骤041和042可以由映射模块14实现，或者说，映射模块14可以用于确定多足机器人行驶空间边界信息的图像坐标信息，根据标定参数将图像坐标信息映射至物理空间，以得到在物理坐标系的目标行驶空间。

在某些实施方式中，处理器可以用于确定多足机器人行驶空间边界信息的图像坐标信息，根据标定参数将图像坐标信息映射至物理空间，以得到在物理坐标系的目标行驶空间。

具体地，在根据预设的行驶空间检测模型对预处理图像处理生成多足机器人行驶空间边界信息后，对多足机器人行驶空间边界信息进行后处理，解码出多足机器人行驶空间边界信息在图像数据(摄像头采集的当前行驶空间的图像数据)上的图像坐标信息。其中，后处理包括但不限于平移、缩放、腐蚀、膨胀、分类、聚类、非极大值抑制等方法。

进而，可通过摄像头的内参矩阵和畸变参数矩阵等将图像坐标信息映射至物理空间，以得到在物理坐标系的目标行驶空间。其中。在本实施方式中，物体空间可以为当前行驶空间的地面。如此，多足机器人100可沿着目标行驶空间行进。

请参阅图11，在某些实施方式中，在某些实施方式中，步骤02包括子步骤：

021，计算图像数据的亮度值；

022，判断图像数据的亮度值是否大于预设阈值，若是，则根据预设的行驶空间检测模型的输入格式要求对图像数据进行预处理。

在某些实施方式中，子步骤021和022可以由生成模块12实现。或者说，生成模块12可以用于计算图像数据的亮度值，判断图像数据的亮度值是否大于预设阈值，若是，则根据预设的行驶空间检测模型的输入格式要求对图像数据进行预处理。

在某些实施方式中，处理器可以用于计算图像数据的亮度值，以及判断图像数据的亮度值是否大于预设阈值，若是，则根据预设的行驶空间检测模型的输入格式要求对图像数据进行预处理。

可以理解地，当前行驶空间环境的亮度对于多足机器人100识别障碍物至关重要，当亮度当前行驶空间环境亮度不佳时，行驶空间检测模型根据由图像数据得到预处理图像生成的多足机器人行驶空间边界信息可能不准确，例如，多足机器人100的当前行驶空间处于昏暗时，对于透明障碍物可能无法识别，而导致生成目标行驶空间内存在透明障碍物，而影响多足机器人100的行驶安全。

因此，在获取到摄像头采集的当前行驶空间的图像数据后，先通过对图像数据进行判断，确定当前光照环境是否适合可行驶空间检测，若当前光照环境适合可行驶空间检测，则根据预设的行驶空间检测模型的输入格式要求对图像数据进行预处理，生成目标行驶空间，否则，停止处理。具体而言，对图像数据的亮度值进行统计，若亮度值低于设定阈值，则不执行可行驶空间检测任务，并播报语音提示当前光照过暗无法进行可行驶空间检测，多足机器人100停止运动，若亮度值大于预设阈值的情况下，对图像数据预处理以生成预设需求的预处理图像。

如此，避免了因当前行驶空间的光照环境而影响目标行驶空间的准确性，提升了多足机器人100的行驶安全。

在某些实施方式中，预处理包括但不限于图像归一化处理、下采样处理等，子步骤022包括：

0221，对图像数据进行降采样处理，生成预设大小的预处理图像；或

0222，对图像数据进行图像归一化处理，以生成预定标准的预处理图像。

在某些实施方式中，子步骤0221和0222可以由生成模块12实现。或者说，生成模块12可用于对图像数据降采样处理，生成预设大小的预处理图像，或者用于对图像数据进行图像归一化处理，以生成预定标准的预处理图像。

在某些实施方式中，处理器可以用于对图像数据降采样处理，生成预设大小的预处理图像，或者用于对图像数据进行图像归一化处理，以生成预定标准的预处理图像。

需要说明的是，降采样又作减采集,是一种多速率数字信号处理的技术或是降低信号采样率的过程，通过对图像数据进行降采样处理能够降低图像数据的大小。图像归一化是指对图像数据进行了一系列标准的处理变换，使之变换为一固定标准形式的过程。

如此，通过对图像数据进行图像归一化处理或下采样处理生成预处理图像，从而行驶空间检测模型可以根据预处理图像，生成多足机器人行驶空间边界信息。

请结合图12，在某些实施方式中，在步骤03之后，检测方法还包括：

06，将边界属性信息发送至控制器，以使得控制器根据边界属性信息输出不同的避障措施。

请进一步地结合图7，在某些实施方式中，检测装置10还可包括发送模块16，步骤06可以由发送模块16实现。或者说，发送模块16可以用于将边界属性信息发送至控制器，以使得控制器根据边界属性信息输出不同的避障措施。

在某些实施方式中，处理器可以用于将边界属性信息发送至控制器，以使得控制器根据边界属性信息输出不同的避障措施。

在本实施方式中，控制器根据边界属性信息从而输出不同的避障措施，以控制多足机器人100运动。多足机器人100运动可包括但不限于行进、后退、转向或变形等。例如，当多足机器人100的当前行驶空间存在悬空障碍物，多足机器人100正常通行会发生碰撞，但可以通过爬行通过，因此，控制器在接收到边界属性信息后生成避障措施，从而对多足机器人100的姿态、步态以及结构等进行控制，以通过当前行驶空间。

请进一步地结合图12，在某些实施方式中，检测方法还包括：

07，将边界属性信息发送至建图模块、定位模块和路径规划模块，以提供语义拓扑信息。

请结合图7，在某些实施方式中，步骤07可以由发送模块16实现。或者说，发送模块16用于将边界属性信息发送至建图模块、定位模块和路径规划模块，以提供语义拓扑信息。

在某些实施方式中，处理器可以用于将边界属性信息发送至建图模块、定位模块和路径规划模块，以提供语义拓扑信息。

具体地，多足机器人100还可包括有建图模块、定位模块和路径规划模块等。其中，建图模块用于构建多足机器人100的周围环境地图，定位模块用于确定多足机器人100所在位置，路径规划模块用于规划行进路线。

语义拓扑信息可包括但不限于移动障碍物扩大避障范围、即时定位与地图构建(simultaneous localization and mapping，SLAM)等。

本申请实施方式还提供了一种非易失性计算机可读存储介质，可读存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行上述的检测方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种多足机器人可行驶空间的检测方法，其特征在于，包括：

获取当前时刻摄像头采集的图像数据；

对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像；

根据所述行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，所述多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，所述边界线位置信息为边界线上边界点的坐标信息；所述边界属性信息为边界线上边界点的类别属性信息；

通过所述摄像头的标定参数对所述边界线位置信息进行映射处理生成目标行驶空间。

2.如权利要求1所述的检测方法，其特征在于，在所述根据所述行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息前，还包括：

根据场景检测模型对所述预处理图像进行检测，判断出多足机器人当前所处场景，将所述当前所处场景进行训练的可行驶空间检测模型作为预设的行驶空间检测模型。

3.如权利要求1所述的检测方法，其特征在于，所述行驶空间检测模型包括特征提取网络和任务分支网络，所述根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，包括：

通过所述特征提取网络对所述预处理图像进行处理以生成基本特征图；

通过所述任务分支网络对所述基本特征图处理以得到所述多足机器人行驶空间边界信息。

4.如权利要求1所述的检测方法，其特征在于，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，包括：

所述图像由多列像素组成，将所述图像每列像素根据预设边界点选取原则筛选出目标像素标注为边界点，所述边界点选取原则为从所述图像底边向上搜索到最先触碰的障碍物，以该障碍物的接地点或者该障碍物投影到地面的投影点作为所述边界点；

将所有所述边界点构成边界线。

5.如权利要求1所述的检测方法，其特征在于，所述边界属性信息包括静止障碍物和/或移动障碍物，所述静止障碍物包括悬空障碍物、透明障碍物、镜面障碍物、楼梯、门。

6.如权利要求1所述的检测方法，其特征在于，所述通过所述摄像头的标定参数对所述边界位置信息映射处理生成目标行驶空间，包括：

确定所述多足机器人行驶空间边界信息的图像坐标信息；

根据所述标定参数将所述图像坐标信息映射至物理空间，以得到在物理坐标系的所述目标行驶空间。

7.如权利要求1所述的检测方法，其特征在于，在对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像包括：

计算所述图像数据的亮度值；

判断所述图像数据的亮度值是否大于预设阈值，若是，则根据预设的行驶空间检测模型的输入格式要求对所述图像数据进行预处理。

8.如权利要求1所述的检测方法，其特征在于，所述检测方法还包括：

将所述边界属性信息发送至控制器，以使得所述控制器根据所述边界属性信息输出不同的避障措施；和/或

将所述边界属性信息发送至建图模块、定位模块和路径规划模块，以提供语义拓扑信息。

9.一种多足机器人可行驶空间的检测装置，其特征在于，包括：

获取模块，用于获取当前时刻摄像头采集的图像数据；

生成模块，用于对所述图像数据进行预处理，以生成满足预设的行驶空间检测模型输入格式要求的预处理图像；

处理模块，用于根据预设的行驶空间检测模型对所述预处理图像进行处理，以生成多足机器人行驶空间边界信息，所述行驶空间检测模型由深度学习模型通过标注图像训练得到，所述多足机器人行驶空间边界信息包括边界线位置信息和边界属性信息，所述边界线位置信息为边界线上边界点的坐标信息；所述边界属性信息为边界线上边界点的类别属性信息；和

映射模块，用于通过所述摄像头的标定参数对所述边界线位置信息进行映射处理生成目标行驶空间。

10.一种多足机器人，其特征在于，包括处理器和存储单元，所述存储单元存储有至少一个计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-8任一项所述的多足机器人可行驶空间的检测方法。

11.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-8中任一项所述的多足机器人可行驶空间的检测方法。

Images