CN111872928B

CN111872928B - 一种障碍物属性判别方法、系统及智能机器人

Info

Publication number: CN111872928B
Application number: CN202010514058.3A
Authority: CN
Inventors: 张雪元; 孙贇; 衡进; 秦文强
Original assignee: Terminus Technology Group Co Ltd
Current assignee: Terminus Technology Group Co Ltd
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2022-04-05
Anticipated expiration: 2040-06-08
Also published as: CN111872928A; WO2021248857A1

Abstract

本发明公开了一种障碍物属性判别方法、系统及智能机器人，所述方法包括：获取智能机器人上的摄像头针对监控区域所采集的区域视频；将所述采集的区域视频输入预先训练的障碍物属性判别模型中；当确定所述区域视频中存在障碍物时，生成障碍物属性信息。因此，采用本申请实施例，可以提高智能机器人工作效率。

Description

一种障碍物属性判别方法、系统及智能机器人

技术领域

本发明涉及智能机器人技术领域，特别涉及一种障碍物属性判别方法、系统及智能机器人。

背景技术

随着科技的快速发展，智能机器人的发展也出现了突飞猛进的发展趋势，已经出现在餐厅、银行、大厅等公共场所中，在智能机器人研究中一方面是提高智能机器人的自主性，即希望智能机器人进一步独立于人，具有更为友善的人机界面，能够自动形成任务的步骤，并自动完成它。另一方面是提高智能机器人的适应性，提高智能机器人适应环境变化的能力，从而具有更高的安全保障性及更优秀的完成任务的能力。

目前智能机器人用于大堂、前厅服务引导已经有很多案例，在目前的智能机器人为用户提供服务时，智能机器人在服务的运行轨迹中移动时，当遇到用户时，会把用户当成障碍物绕开后继续向前移动，此时需要用户主动拿取智能机器人手中的物品，从而降低了智能机器人的服务效率。

发明内容

本申请实施例提供了一种障碍物属性判别方法、系统及智能机器人。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种障碍物属性判别方法，用于智能机器人，所述方法包括：

获取智能机器人上的摄像头针对监控区域所采集的区域视频；

将所述采集的区域视频输入预先训练的障碍物属性判别模型中；

当确定所述区域视频中存在障碍物时，生成障碍物属性信息。

可选的，所述生成障碍物属性信息之后，还包括：

基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动。

可选的，所述场景服务模式包括任务模式和服务模式。

可选的，所述基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动，包括：

当所述场景服务模式是任务模式且障碍物属性信息为人体时，控制所述智能机器人绕开所述障碍物后继续移动。

当所述场景服务模式是服务模式且障碍物属性信息为人体时，控制所述智能机器人移动至所述障碍物。

当所述场景服务模式是服务模式/任务模式且障碍物属性信息为无生命障碍物时，控制所述智能机器人绕开所述障碍物后继续移动。

可选的，所述获取智能机器人上的摄像头针对监控区域所采集的区域视频之前，还包括：

采集样本图像集合，所述样本图像集合包含人体图像以及无生命障碍物图像；

创建障碍物属性判别模型，将所述样本图像集合包含人体图像以及无生命障碍物图像输入至所述障碍物属性判别模型中进行训练，生成训练完成的障碍物属性判别模型。

可选的，所述障碍物属性判别模型的算法至少包括3D激光雷达人体识别算法或多传感器融合算法。

第二方面，本申请实施例提供了一种障碍物属性判别系统，所述系统包括：

视频获取模块，用于获取智能机器人上的摄像头针对监控区域所采集的区域视频；

视频输入模块，用于将所述采集的区域视频输入预先训练的障碍物属性判别模型中；

属性信息生成模块，用于当确定所述区域视频中存在障碍物时，生成障碍物属性信息。

第三方面，本申请实施例提供一种智能机器人，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，智能机器人首先获取智能机器人上的摄像头针对监控区域所采集的区域视频，然后将所述采集的区域视频输入预先训练的障碍物属性判别模型中，当确定所述区域视频中存在障碍物时，生成障碍物属性信息，最后基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动。由于智能机器人能够判别前方障碍属性为人或是普通障碍物，从而使得智能机器人在移动过程中能够依据预设场景服务模式和障碍物属性自动实现遇人停止移动和绕开人两种模式以及对于普通障碍物实行绕障模式，从而提升了机器人的服务效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种应用于智能机器人的障碍物属性判别方法的流程示意图；

图2是本申请实施例提供的另一种应用于智能机器人的障碍物属性判别方法的流程示意图；

图3是本申请实施例提供的一种障碍物属性判别系统的系统示意图；

图4是本申请实施例提供的一种智能机器人的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

到目前为止，目前智能机器人用于大堂、前厅服务引导已经有很多案例，在目前的智能机器人为用户提供服务时，智能机器人在服务的运行轨迹中移动时，当遇到用户时，会把用户当成障碍物绕开后继续向前移动，此时需要用户主动拿取智能机器人手中的物品，从而降低了智能机器人的服务效率。为此，本申请提供了一种障碍物属性判别方法、系统及智能机器人，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于智能机器人能够判别前方障碍属性为人或是普通障碍物，从而使得智能机器人在移动过程中能够依据预设场景服务模式和障碍物属性自动实现遇人停止移动和绕开人两种模式以及对于普通障碍物实行绕障模式，从而提升了机器人的服务效率，下面采用示例性的实施例进行详细说明。

下面将结合附图1-附图2，对本申请实施例提供的障碍物属性判别方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的障碍物属性判别系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的障碍物属性判别系统为智能机器人。

请参见图1，为本申请实施例提供了一种障碍物属性判别方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：

S101，获取智能机器人上的摄像头针对监控区域所采集的区域视频；

其中，智能机器人是具备形形色色的内部信息传感器和外部信息传感器(如视觉、听觉、触觉、嗅觉)的机器，其具备思考能力和服务能力。摄像头是安装在智能机器人上的图像采集设备，在本申请中优先选择RGB摄像头和深度摄像头作为图像采集的摄像头。区域是一块地方所占的面积，这里可以理解成是某一块地方，监控区域是智能机器人上的摄像头所能拍摄到的区域空间。视频通常是指各种动态影像的储存格式。

通常，区域视频是由成千上万的区域空间图像帧所组成的动态影像，该动态影像是由智能机器人上的摄像头采集所得，采集到的动态影像中可能包含人，也可能包含无生命特征的其他障碍物。

在一种可能的实现方式中，当智能机器人处于工作状态时，通过其上安装的RGB摄像头和深度摄像头对所能拍摄的空间区域进行图像采集。当智能机器人进行图像采集时，将采集的图像帧进行保存。随着时间增加，当智能机器人保存了一端时间中成千上万的图像帧时，这段时间的图像帧构成了区域视频。

S102，将所述采集的区域视频输入预先训练的障碍物属性判别模型中；

其中，区域视频的相关解释具体可参见步骤S101，此处不再赘述，障碍物属性判别模型是一种用于根据输入的区域视频进行障碍物属性判别的数学模型，这种数学模型使用的算法至少包括3D激光雷达人体识别算法或多传感器融合算法。具体的算法使用可根据实际场景进行自行设定，此处不再赘述。当根据算法模型创建完成后，可使用包含人体和无生命障碍物的图像进行训练，完了结束后使得模型具备障碍物属性检测的能力。

在一种可能的实现方式中，基于步骤S101可得到智能机器人在一段时间中拍摄的区域视频，当区域视频获取后，智能机器人获取预先训练好的障碍物属性判别模型进行处理分析，分析结束后根据视频图像中的障碍物得出障碍物的属性信息。

S103，当确定所述区域视频中存在障碍物时，生成障碍物属性信息。

其中，障碍物属性信息可能包括人体属性，也可能是其他无生命特征的障碍物属性。

在本申请实施例中，智能机器人通过障碍物属性判别模型识别后，根据识别出的障碍物生成障碍物的属性信息，最后基于该属性信息和预先设定的智能机器人场景服务模式控制机器人移动。其中，智能机器人场景服务模式包括服务模式和任务模式，服务模式是智能机器人服务于人的模式，例如智能机器人将手里的杯子分发给每一个人时，只要遇到人就会停下来为人服务。任务模式是智能机器人根据用户下达的具体任务指令进行服务的模式，例如智能机器人接收到给某一个人送杯子的指令，智能机器人只会向目标的某一个人移动，中途遇到其他用户或者障碍物就会绕行。

进一步地，当智能机器人预先设定的场景服务模式是服务模式且障碍物为人体时，智能机器人就会控制自身移动至障碍物前(即人体前)。

进一步地，当智能机器人预先设定的场景服务模式是任务模式且障碍物为人体时，智能机器人就会控制自身绕开人体后继续移动。

进一步地，当智能机器人预先设定的场景服务模式是任务模式/服务模式且障碍物为无生命障碍物时，智能机器人都会控制自身绕开无生命障碍物后继续向前移动。

请参见图2，为本申请实施例提供的一种障碍物属性判别方法的流程示意图。本实施例以障碍物属性判别方法应用于智能机器人来举例说明。该障碍物属性判别方法可以包括以下步骤：

S201，采集样本图像集合，所述样本图像集合包含人体图像以及无生命障碍物图像；

其中，所谓样本，就是利用字符、词语以及句子构成的具有表达其产品性能、功能、结构原理和尺寸参数的数据信息集合，在本申请实施例中，具体指样本图像集合。它是传统的纸质样本的电子化升级版本，可以通过网络进行传播，并以更新颖、更直观的形式展现在用户面前，具有可视化的友好人机交互界面，表现力丰富，表现手法多样化，使得用户的查询速度更快，查找样本数据的效率更高。

通常，采集样本又称样本获取，在互联网行业快速发展的今天，样本的采集已经被广泛的应用于互联网领域，准确的选择将要采集的样本对产品影响深远，假如采集的样本不够准确，可能导致试验结果出现大幅度的偏差，对产品造成不可估量的损失。所以，准确采集样本信息是十分有必要。

在本申请实施例中，首先需要采集大量的包含障碍物的图像，图像中的障碍物可能包括人体障碍物，也可能包括其他无生命特征的障碍物，采集完成后生成样本图像集合。障碍物图像的采集可以通过互联网进行采集，也可以基于图库中获取，还可以是云端服务器中的图像，图像的获取方式包含多种形式，此处不做限定。

S202，创建障碍物属性判别模型，将所述样本图像集合包含人体图像以及无生命障碍物图像输入至所述障碍物属性判别模型中进行训练，生成训练完成的障碍物属性判别模型；

在一种可能的实现方式中，在障碍物模型的训练阶段，首先需要利用3D激光雷达人体识别算法或多传感器融合等算法创建障碍物属性判别模型，创建结束后将S101中采集的障碍物图像输入到障碍物属性判别模型中进行训练，当训练到障碍物属性判别模型的损失值到最小值时，生成训练完成的障碍物属性判别模型。

S203，获取智能机器人上的摄像头针对监控区域所采集的区域视频；

具体可参见步骤S101，此处不再赘述。

S204，将所述采集的区域视频输入预先训练的障碍物属性判别模型中；

S205，当确定所述区域视频中存在障碍物时，生成障碍物属性信息；

具体可参见步骤S102，此处不再赘述。

S206，基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动。

在一种可能的实现方式中，当智能机器人预先设定的场景服务模式为服务模式时，智能机器人在服务模式下进行移动，在移动过程中通过其上安装的深度摄像头实时采集区域图像，在将图像帧构成的视频不断输入障碍物判别模型中进行识别，当检测到是人体时，移动至人体前停止移动。

在另一种可能的实现方式中，当智能机器人预先设定的场景服务模式为服务模式时，智能机器人在服务模式下进行移动，在移动过程中通过其上安装的深度摄像头实时采集区域图像，当检测到前方区域的人体眼睛和自身摄像头在同一条直线上时，智能机器人跟着人体对视的直线向前移动至人体前，最后停止移动。

具体的，智能机器人在判断人体眼睛和摄像机是否在同一条直线上时，首先通过其上的摄像头获取人体的人脸，然后将获取人脸的眼睛区域，再采集瞳孔位于当前位置的坐标点，当瞳孔的X轴坐标和智能机器人深度摄像机的X轴坐标点相同时，判定人体眼睛和智能机器人的深度摄像机位于同一条直线上。

下述为本发明系统实施例，可以用于执行本发明方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明方法实施例。

请参见图3，其示出了本发明一个示例性实施例提供的障碍物属性判别系统的结构示意图。该障碍物属性判别系统可以通过软件、硬件或者两者的结合实现成为智能机器人的全部或一部分。该系统1包括视频获取模块10、视频输入模块20、属性信息生成模块30。

视频获取模块10，用于获取智能机器人上的摄像头针对监控区域所采集的区域视频；

视频输入模块20，用于将所述采集的区域视频输入预先训练的障碍物属性判别模型中；

属性信息生成模块30，用于当确定所述区域视频中存在障碍物时，生成障碍物属性信息。

需要说明的是，上述实施例提供的障碍物属性判别系统在执行障碍物属性判别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的障碍物属性判别系统与障碍物属性判别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的障碍物属性判别方法。

本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的障碍物属性判别方法。

请参见图4，为本申请实施例提供了一种智能机器人的结构示意图。如图4所示，所述智能机器人1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储系统。如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及障碍物属性判别应用程序。

在图4所示的智能机器人1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的障碍物属性判别应用程序，并具体执行以下操作：

在一个实施例中，所述处理器1001在执行所述所述生成障碍物属性信息之后时，还执行以下操作：

在一个实施例中，所述处理器1001在执行所述所述基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动时，具体执行以下操作：

在一个实施例中，所述处理器1001在执行所述获取智能机器人上的摄像头针对监控区域所采集的区域视频之前时，还执行以下操作：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims

1.一种障碍物属性判别方法，应用于智能机器人，其特征在于，所述方法包括：

当确定所述区域视频中存在障碍物时，生成障碍物属性信息；其中，

所述获取智能机器人上的摄像头针对监控区域所采集的区域视频之前，还包括：

创建障碍物属性判别模型，将所述样本图像集合包含人体图像以及无生命障碍物图像输入至所述障碍物属性判别模型中进行训练，生成训练完成的障碍物属性判别模型；

所述生成训练完成的障碍物属性判别模型，包括：

输出所述模型的损失值，当所述损失值到达最小时生成训练完成的障碍物属性判别模型；

其中，所述生成障碍物属性信息之后，还包括：

基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动；其中，所述场景服务模式包括任务模式和服务模式；其中，

所述基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述障碍物属性信息和预设场景服务模式控制所述智能机器人移动，包括：

4.根据权利要求1所述的方法，其特征在于，所述障碍物属性判别模型的算法至少包括3D激光雷达人体识别算法或多传感器融合算法。

5.一种障碍物属性判别系统，应用于智能机器人，其特征在于，所述系统包括：

属性信息生成模块，用于当确定所述区域视频中存在障碍物时，生成障碍物属性信息；

其中，所述生成训练完成的障碍物属性判别模型，包括：

其中，所述生成障碍物属性信息之后，还包括：

6.一种智能机器人，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～4任意一项的方法步骤。