CN111409070A - 检测方法及装置、智能机器人及存储介质 - Google Patents

Abstract

本申请公开了一种检测方法。检测方法包括：获取第一视觉数据和雷达数据；在所述第一视觉数据中识别到禁行区域时，标记所述禁行区域；及将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标。本申请实施方式的检测方法中，通过第一视觉数据识别禁行区域，再通过标记有禁行区域的第一视觉数据融合雷达数据确定禁行区域在地图中的位置坐标，无需事先标定，通过实时获取的第一视觉数据和雷达数据即可确定禁行区域，从而在控制智能机器人运动时，辅助智能机器人避开禁行区域进行运动，智能机器人的运动场景不受限制。本申请还公开了一种检测装置、智能机器人及计算机可读存储介质。

Description

检测方法及装置、智能机器人及存储介质

技术领域

本申请涉及智能机器人的运动控制技术领域，特别涉及一种检测方法、检测装置、智能机器人及计算机可读存储介质。

背景技术

机器人在执行任务过程中会面临各种各样的复杂场景，会遇到各种复杂的禁行区域，如扶梯等区域，为了规避禁行区域，一般都是由厂家提前测定好禁行区域，人为在地图中标记禁行区域。然而，在机器人进入未提前标记好禁行区域的区域时，就无法规避禁行区域，机器人的运动不够智能，限制了机器人的运动场景。

发明内容

有鉴于此，本发明旨在至少在一定程度上解决相关技术中的问题之一。为此，本申请的实施例提供了一种检测方法、检测装置、智能机器人及计算机可读存储介质。

本申请实施方式的检测方法包括：获取第一视觉数据和雷达数据；在所述第一视觉数据中识别到禁行区域时，标记所述禁行区域；及将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

本申请实施方式的检测方法中，通过第一视觉数据识别禁行区域，再通过标记有禁行区域的第一视觉数据融合雷达数据确定禁行区域在地图中的位置坐标，无需事先标定，通过实时获取的第一视觉数据和雷达数据即可确定禁行区域，从而在控制智能机器人运动时，辅助智能机器人避开禁行区域进行运动。

在某些实施方式中，所述检测方法还包括：根据预设的图像检测模型识别所述禁行区域。

本实施方式中，根据预设的图像检测模型能够准确而快速地识别第一视觉数据中的禁行区域。

在某些实施方式中，所述检测方法包括：获取多帧包含禁行区域的第一视觉数据；对所述第一视觉数据进行视觉变换，生成多帧第二视觉数据；及根据所述第一视觉数据、所述第二视觉数据和预设的训练模型生成所述图像检测模型。

本实施方式中，通过对第一视觉数据进行视觉变换生成多帧第二视觉数据，从而使得输入预设的训练模型中的视觉数据样本变多，从而使得最终生成的图像检测模型对禁行区域的检测更为准确。

在某些实施方式中，所述检测方法还包括：在当前帧所述第一视觉数据中未识别到禁行区域时，根据上一帧所述第一视觉数据的禁行区域标记当前帧所述第一视觉数据中的禁行区域。

本实施方式中，由于视频数据是连续的，在当前帧第一视觉数据中未识别到禁行区域时，能够通过上一帧第一视觉数据中的禁行区域预测当前帧第一视觉数据中的禁行区域，从而避免因环境因素变化导致的视觉数据的噪声变大而识别不出禁行区域的问题。

在某些实施方式中，所述地图包括第一地图，所述将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标，包括：对被标记的所述第一视觉数据进行时域滤波以生成第三视觉数据；识别所述第三视觉数据中的禁行区域并重新进行标记，将被标记的所述第三视觉数据和所述雷达数据融合，以确定所述第三视觉数据中的禁行区域在所述第一地图中的第一位置坐标。

本实施方式中，通过对第一视觉数据进行时域滤波以得到去除噪声的第三视觉数据，通过识别第三视觉数据的禁行区域，从而减少因噪声导致的在视觉数据中识别不到禁行区域几率，并提高禁行区域的检测准确性，从而更为准确地确定禁行区域在第一地图中的第一位置坐标。

在某些实施方式中，所述将被标记的所述第三视觉数据和所述雷达数据融合，以确定所述第三视觉数据中的禁行区域在所述第一地图中的第一位置坐标，包括：根据预设的第一映射矩阵，将所述第三视觉数据中的禁行区域映射到所述第一地图中，以确定所述第一位置坐标。

本实施方式中，根据预设的第一映射矩阵，将第三视觉数据中的禁行区域快速而准确地映射到第一地图中，从而确定第一位置坐标。

在某些实施方式中，所述将所述第三视觉数据中的禁行区域映射到所述第一地图中，以确定所述第一位置坐标，还包括：对所述第三视觉数据中的禁行区域进行放大；及将放大后的禁行区域映射到所述第一地图中，以确定所述放大后的禁行区域在所述第一地图中的所述第一位置坐标。

本实施方式中，通过对禁行区域进行放大再进行映射以得到第一位置坐标，能够确保禁行区域能够完全包含全部的禁行区域(如整个扶梯)。

在某些实施方式中，所述地图还包括第二地图，所述检测方法还包括：根据预设的第二映射矩阵将所述第一位置坐标映射到所述第二地图中以得到所述第三视觉数据中的禁行区域在所述第二地图中的第二位置坐标；根据所述第二位置坐标判断当前智能机器人距离实际的禁行区域的距离是否小于预设距离；及在所述距离小于所述预设距离时，在所述第二地图中标记所述第二位置坐标对应的区域为禁行区域。

本实施方式中，根据第二映射矩阵将第一位置坐标映射到第二地图中，从而得到禁行区域在第二地图中的位置，第一地图一般为雷达坐标系，为智能机器人的雷达坐标系，第二地图一般为地理坐标系，用来表示现实场景的位置坐标，通过确定第二位置坐标，在智能机器人距离禁行区域较近时，即可在第二地图中标记该禁行区域，辅助控制智能机器人准确地避开禁行区域。

在某些实施方式中，所述将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标，还包括：确定所述第三视觉数据中的禁行区域的类别；根据所述第一位置坐标确定所述第三视觉数据中的禁行区域的几何属性；根据所述几何属性修正在所述第一地图中的禁行区域并关联所述类别。

本实施方式中，通过第一视觉数据确定禁行区域的类别，通过第一位置坐标可确定禁行区域的几何属性，如禁行区域的实际大小、禁行区域的方向等，然后根据该几何属性对映射到第二地图的禁行区域进行修正，从而更为精确地确定禁行区域的范围。

在某些实施方式中，所述第一视觉数据为可见光图像或深度图像。

本实施方式中，第一视觉数据为可见光图像或深度图像，从而能够通过可见光图像和深度图像进行禁行区域的识别。

本申请实施方式的检测装置包括第一获取模块、第一标记模块和处理模块。所述获取模块用于获取第一视觉数据和雷达数据；所述第一标记模块用于在所述第一视觉数据中识别到禁行区域时，标记所述禁行区域；所述处理模块用于将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

本申请实施方式的检测装置中，通过第一视觉数据识别禁行区域，再通过标记有禁行区域的第一视觉数据融合雷达数据确定禁行区域在地图中的位置坐标，无需事先标定，通过实时获取的第一视觉数据和雷达数据即可确定禁行区域，从而在控制智能机器人运动时，辅助智能机器人避开禁行区域进行运动。

在某些实施方式中，所述检测装置还包括识别模块，所述识别模块用于根据预设的图像检测模型识别所述禁行区域。

在某些实施方式中，所述检测装置还包括第二获取模块、第一生成模块和第二生成模块。所述第二获取模块用于获取多帧包含禁行区域的第一视觉数据；所述第一生成模块用于对所述第一视觉数据进行视觉变换，生成多帧第二视觉数据；所述第二生成模块用于根据所述第一视觉数据、所述第二视觉数据和预设的训练模型生成所述图像检测模型。

在某些实施方式中，所述检测装置还包括第二标记模块。所述第二标记模块用于在当前帧所述第一视觉数据中未识别到禁行区域时，根据上一帧所述第一视觉数据的禁行区域标记当前帧所述第一视觉数据中的禁行区域。

在某些实施方式中，所述地图包括第一地图，所述处理模块还用于对被标记的所述第一视觉数据进行时域滤波以生成第三视觉数据；识别所述第三视觉数据中的禁行区域并重新进行标记，将被标记的所述第三视觉数据和所述雷达数据融合，以确定所述第三视觉数据中的禁行区域的类别和/或几何属性和/或在所述第一地图中的第一位置坐标。

在某些实施方式中，所述处理模块还用于根据预设的第一映射矩阵，将所述第三视觉数据中的禁行区域映射到所述第一地图中，以确定所述第一位置坐标。

在某些实施方式中，所述处理模块还用于对所述第三视觉数据中的禁行区域进行放大；及将放大后的禁行区域映射到所述第一地图中，以确定所述放大后的禁行区域在所述第一地图中的所述第一位置坐标。

在某些实施方式中，所述地图还包括第二地图，所述检测装置还包括映射模块、判断模块和第三标记模块，所述映射模块用于根据预设的第二映射矩阵将所述第一位置坐标映射到所述第二地图中以得到所述第三视觉数据中的禁行区域在所述第二地图中的第二位置坐标；所述判断模块用于根据所述第二位置坐标判断当前智能机器人距离实际的禁行区域的距离是否小于预设距离；所述第三标记模块用于在所述距离小于所述预设距离时，在所述第二地图中标记所述第二位置坐标对应的区域为禁行区域。

在某些实施方式中，所述处理模块还用于确定所述第三视觉数据中的禁行区域的类别；根据所述第一位置坐标确定所述第三视觉数据中的禁行区域的几何属性；及根据所述几何属性修正在所述第一地图中的禁行区域并关联所述类别。

在某些实施方式中，所述第一视觉数据为可见光图像或深度图像。

本申请实施方式的智能机器人包括一个或多个处理器、存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行上述任一实施方式所述的检测方法的指令。

本申请实施方式的智能机器人中，通过第一视觉数据识别禁行区域，再通过标记有禁行区域的第一视觉数据融合雷达数据确定禁行区域在地图中的位置坐标，无需事先标定，通过实时获取的第一视觉数据和雷达数据即可确定禁行区域，从而在控制智能机器人运动时，辅助智能机器人避开禁行区域进行运动。

本申请实施方式的包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器上述任一实施方式所述的检测方法。

本申请实施方式的计算机可读存储介质中，通过第一视觉数据识别禁行区域，再通过标记有禁行区域的第一视觉数据融合雷达数据确定禁行区域在地图中的位置坐标，无需事先对机器人进行运动的场景的禁行区域进行逐一的检测，并在地图上对禁行区域进行标记，而是通过实时获取的第一视觉数据和雷达数据即可准确地确定禁行区域，从而在控制智能机器人运动时，辅助智能机器人避开禁行区域进行运动，智能机器人的运动场景不受限制。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的检测方法的流程示意图；

图2是本申请某些实施方式的智能机器人模块示意图；

图3是本申请某些实施方式的检测装置的模块示意图；

图4是本申请某些实施方式的检测方法的流程示意图；

图5是本申请某些实施方式的检测方法的流程示意图；

图6是本申请某些实施方式的重度密集卷积网络的块示意图；

图7是本申请某些实施方式的传统卷积模块和深度可分离卷积模块的模块示意图；

图8是本申请某些实施方式的检测方法的流程示意图；

图9是本申请某些实施方式的检测方法的流程示意图；

图10是本申请某些实施方式的检测方法的流程示意图；

图11是本申请某些实施方式的检测方法的流程示意图；

图12是本申请某些实施方式的检测方法的流程示意图；

图13是本申请某些实施方式的检测方法的流程示意图；及

图14是本申请某些实施方式的计算机可读存储介质和处理器的连接示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1及图2，本申请实施方式的检测方法可用于智能机器人100，检测方法包括步骤：

011：获取第一视觉数据和雷达数据；

012：在第一视觉数据中识别到禁行区域时，标记禁行区域；及

013：将被标记的第一视觉数据和雷达数据融合，以确定禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

本申请实施方式的智能机器人100包括一个或多个处理器10、存储器20及一个或多个程序，其中一个或多个程序被存储在存储器20中且被一个或多个处理器10执行，程序包括用于执行本申请实施方式的检测方法的指令。处理器10执行程序时，处理器10可用于实施本申请任一实施方式的检测方法。处理器10执行程序时，处理器10可用于实施步骤011、步骤012、及步骤013。即，处理器10可用于获取第一视觉数据和雷达数据；在第一视觉数据中识别到禁行区域时，标记禁行区域；及将被标记的第一视觉数据和雷达数据融合，以确定禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

请结合图3，本申请实施方式的检测装置200包第一获取模块211、第一标记模块212和处理模块213。第一获取模块211、第一标记模块212和处理模块213可分别用于实施步骤011、步骤012、及步骤013。即，第一获取模块211用于获取第一视觉数据和雷达数据；第一标记模块212用于在第一视觉数据中识别到禁行区域时，标记禁行区域；处理模块213用于将被标记的第一视觉数据和雷达数据融合，以确定禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

智能机器人100具体可以是扫地机、洗地机、吸尘器等智能机器人100。智能机器人100还可包括摄像模组30、雷达40、清洁执行装置50等元件。其中，摄像模组30用于获取智能机器人100周边的视觉数据(如可见光图像或深度图像)；雷达40用于扫描周边环境以获取智能机器人100周围环境的三维点云数据，雷达40可以是激光雷达、虚拟雷达等；清洁执行装置50可用于执行清扫任务，如智能机器人100可以用于清洁地板、地砖、路面或者水泥地等表面。

具体的，智能机器人100通过摄像模组30可持续地获取智能机器人100周围环境的视觉数据(即，第一视觉数据)，如可见光图像或深度图像，以第一视觉数据为第一可见光图像为例进行说明，第一视觉数据为深度图像时原理基本类似，在此不再赘述。处理器10可通过预设的图像检测模型识别在第一可见光图像中的禁行区域。

本申请的图像检测模型为了满足智能机器人100在执行任务过程中的高实时性及高精度的要求，在进行禁行区域的检测时采用了深度学习目标检测方法中的一阶段检测网络，如目标实时检测网络(Mobilenet-ssd)进行检测，在保证检测精度的同时，检测速度较快。

在检测过程中，目标实时检测网络使用候选区域作为感兴趣区域(Region OfInterest，ROI)，在第一可见光图像的每个位置上，处理器10利用3x3卷积给出框中心的偏移量，以及相对于图片尺寸的宽度和高度，进而确定禁行区域的位置，并且利用3x3卷积进行禁行区域的分类检测，最终得到禁行区域在图片上的位置和类别，处理器10可通过矩形框或标记四点的方式确定一个封闭的区域作为禁行区域。

雷达40基于即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)定位技术实现自身的定位，能够实时获取当前场景中各个位置的三维坐标(即雷达数据)，然后处理器10处理每一帧得到的三维坐标即可获取每一帧的三维点云数据，根据多帧三维点云数据，处理器10可对当前场景进行地图构建(即，构建第一地图)。

最终，根据已经识别出禁行区域的第一可见光图像和基于雷达数据构建的第一地图，处理器10通过摄像模组30和雷达40的预设的相互标定关系，能够对第一可见光图像和雷达数据进行融合，如根据摄像模组30和雷达40的预设的相互标定关系将包含禁行区域的第一可见光图像映射到第一地图中从而确定禁行区域在第一地图中的位置坐标，或者仅将第一可见光图像中禁行区域的部分映射到第一地图中从而确定禁行区域在第一地图中的位置坐标，以保证禁行区域的准确性的情况下减少融合所需的计算量。处理器10根据禁行区域在第一地图中的位置坐标可以确定禁行区域的几何属性，几何属性包括禁行区域的大小、形状、禁行区域的入口方向等等。如此，处理器10不仅能够通过第一可见光图像确定禁行区域的类别，还能确定禁行区域在第一地图中的位置坐标并根据禁行区域在第一地图中的位置坐标确定禁行区域的几何属性。

另外，随着智能机器人100的运动，其位姿是在不断变化的，对应地，其雷达坐标系是在不断变化的，为了方便数据的处理，可以将雷达坐标系下的三维点云坐标均转换到同一个静态坐标系下(即，第二地图)以减小数据处理量，第二地图可以是世界坐标系，用来表示机器人在现实场景的位置坐标。第一可见光图像和雷达数据进行融合还可以包括：处理器10可将禁行区域在第一地图中的位置坐标映射到第二地图中，从而确定禁行区域在第二地图中的位置坐标。

本申请实施方式的检测方法、检测装置200及智能机器人100中，通过第一视觉数据识别禁行区域，再通过局部融合的方式将禁行区域的第一视觉数据和雷达数据融合以确定禁行区域的类别和/或几何属性和/或在地图中的位置坐标，其中，可根据实际需要获取禁行区域的信息(如获取禁行区域在地图中的位置坐标，或者类别和在地图中的位置坐标，或者几何属性和在地图中的位置坐标等)。无需事先对机器人进行运动的场景(如大型商场、超市等)的禁行区域进行逐一的检测，并在地图上对禁行区域进行标记，而是通过实时获取的第一视觉数据和雷达数据即可准确地确定禁行区域，从而在控制智能机器人100运动时，辅助智能机器人100避开禁行区域进行运动，智能机器人100的运动场景不受限制。且相较于仅仅通过视觉数据进行禁行区域的检测从而控制智能机器人100的运动而言，通过视觉数据融合雷达数据融合不仅可以得到禁行区域的类别(如是否为扶梯)，还能确定禁行区域在地图中的位置坐标(如在第二地图的位置坐标)，能够更为准确地控制智能机器人100规避禁行区域进行运动。

请参阅图4，在某些实施方式中，检测方法还包括以下步骤：

014：根据预设的图像检测模型识别禁行区域。

请结合图2，在某些实施方式中，处理器10还可用于实施步骤014。即，处理器10还可用于根据预设的图像检测模型识别禁行区域。

请结合图3，在某些实施方式中，检测装置200还包括识别模块214。识别模块214用于执行步骤014。即，识别模块214用于根据预设的图像检测模型识别禁行区域。

具体地，在智能机器人100出厂时，可在存储器20中存储好预设的图像检测模型。图像检测模型可通过事先收集标记有禁行区域的样本进行训练得到，例如处理器10可事先获取多帧包含已标记有禁行区域(如扶梯区域)的第一可见光图像作为训练样本，从而训练得到图像检测模型，根据图像检测模型能够快速识别第一可见光图像中的禁行区域。

请参阅图5，在某些实施方式中，检测方法还包括以下步骤：

015：获取多帧包含禁行区域的第一视觉数据；

016：对第一视觉数据进行视觉变换，生成多帧第二视觉数据；及

017：根据第一视觉数据、第二视觉数据和预设的训练模型生成图像检测模型。

请结合图2，在某些实施方式中，处理器10还可用于实施步骤015、步骤016及步骤017。即，处理器10还可用于获取多帧包含禁行区域的第一视觉数据；对第一视觉数据进行视觉变换，生成多帧第二视觉数据；及根据第一视觉数据、第二视觉数据和预设的训练模型生成图像检测模型。

请结合图3，在某些实施方式中，检测装置200还包括第二获取模块215、第一生成模块216和第二生成模块217。第二获取模块215、第一生成模块216和第二生成模块217分别用于执行步骤015、步骤016及步骤017。即，第二获取模块215用于获取多帧包含禁行区域的第一视觉数据；第一生成模块216用于对第一视觉数据进行视觉变换，生成多帧第二视觉数据；第二生成模块217用于根据第一视觉数据、第二视觉数据和预设的训练模型生成图像检测模型。

具体地，图像检测模型可通过事先收集标记有禁行区域的样本进行训练得到，例如处理器10可事先获取多帧包含已标记有禁行区域(如扶梯区域)的第一可见光图像，然后将每帧第一可见光图像进行视觉变换(如图像的变换，如平移、旋转、翻转等)以生成多帧第二可见光图像，从而得到更多的样本，然后将所有第一可见光图像和第二可见光图像输入到预设的训练模型中进行训练，从而得到准确地图像检测模型，以提高对禁行区域的识别准确性。

更具体地，可将准备好的训练数据(如多帧已人工标记出禁行区域的第一见光图像)输入到重度密集卷积网络(Harmonic DenseNet，Hardnet)中训练。如图6所示是hardnet网络中的关键结构，每一块是经过Conv-BN-ReLU的输出，Conv是3x3卷积，也称作HarDNet块；BN表示归一化操作；ReLU表示线性整流操作；其中k表示通道数，m表示下一层扩张的通道倍数，将数个重度密集卷积网络块(HarDNet Block)连接起来构成最终的网络，通过对高分辨率特征图进行增强的特征提取，与通常针对全局特征提取的图像分类设计模型相比，禁行区域的检测性能会更好，而且利用深度可分离卷积将传统卷积代替来提高模型的运行速度。

如图7所示，图7中左侧为传统卷积模块，右侧为深度可分离卷积模块，深度可分离卷积模块相较于传统卷积模块而言，是将整个过程分为了两步来进行。首先，用3x3卷积核对输入的每一个通道进行卷积，输出每一个通道的属性，输出的总的通道数为N，经过BN和ReLU后，然后再进行1x1xN的卷积核再次做卷积得到和正常卷积一样的输出，而BN和ReLU的执行和传统卷积一样。如此，通过深度可分离卷积将标准的卷积核进行分解计算，从而减少计算量，提高运算速度，有利于提高。

请参阅图8，在某些实施方式中，检测方法还包括以下步骤：

018：在当前帧第一视觉数据中未识别到禁行区域时，根据上一帧第一视觉数据的禁行区域标记当前帧第一视觉数据中的禁行区域。

请结合图2，在某些实施方式中，处理器10可用于实施步骤018。即，处理器10可用于在当前帧第一视觉数据中未识别到禁行区域时，根据上一帧第一视觉数据的禁行区域标记当前帧第一视觉数据中的禁行区域。

请结合图3，在某些实施方式中，检测装置200还包括第二标记模块218。第二标记模块218用于执行步骤018。即，第二标记模块218用于在当前帧第一视觉数据中未识别到禁行区域时，根据上一帧第一视觉数据的禁行区域标记当前帧第一视觉数据中的禁行区域。

具体地，当智能机器人200的环境状态(如光照等)发生变化时，可能导致摄像模组30采集的当前帧第一视觉数据(如第一可见光图像)出现较多的噪声数据(如噪点等)，从而使得处理器10无法在当前帧第一视觉数据中识别到禁行区域，由于视频帧是连续的，在当前帧第一视觉数据中未识别到禁行区域时，能够通过上一帧第一视觉数据中的禁行区域预测当前帧第一视觉数据中的禁行区域，例如利用卡尔曼滤波方法，利用上一帧第一视觉数据中的禁行区域预测当前帧第一视觉数据中的禁行区域；或者，直接以上一帧的禁行区域的在上一帧第一可见光图像中的位置作为当前帧的禁行区域在当前帧第一可见光图像中所在的位置，从而避免因环境因素变化导致的视觉数据的噪声变大而识别不出禁行区域的问题。

在其他实施方式中，可根据当前帧第一视觉数据之前的多帧第一视觉数据判断禁行区域的在每两帧第一视觉数据中的变化方向和移动距离，从而根据该变化方向和移动距离预测当前帧第一视觉数据的禁行区域的位置。

请参阅图9，在某些实施方式中，地图包括第一地图，步骤013包括步骤：

0131：对被标记的第一视觉数据进行时域滤波以生成第三视觉数据；

0132：识别第三视觉数据中的禁行区域并重新进行标记，将被标记的第三视觉数据和雷达数据融合，以确定第三视觉数据中的禁行区域在第一地图中的第一位置坐标。

请结合图2，在某些实施方式中，处理器10还用于实施步骤0131和步骤0132。即，处理器10还用于对被标记的第一视觉数据进行时域滤波以生成第三视觉数据、及识别第三视觉数据中的禁行区域并重新进行标记，将被标记的第三视觉数据和雷达数据融合，以确定第三视觉数据中的禁行区域在第一地图中的第一位置坐标。

请结合图3，在某些实施方式中，处理模块213还用于执行步骤0131和步骤0132。即，处理模块213还用于对被标记的第一视觉数据进行时域滤波以生成第三视觉数据；识别第三视觉数据中的禁行区域并重新进行标记，将被标记的第三视觉数据和雷达数据融合，以确定第三视觉数据中的禁行区域在第一地图中的第一位置坐标。

可以理解，摄像模组30获取的多帧第一视觉数据可能因环境因素产生噪声信号，从而使得第一视觉数据的准确性受到影响甚至无法识别出禁行区域。因此，处理器10通过对标记的第一视觉数据进行时域滤波以生成第三视觉数据，从而减少甚至去除噪声的影响。然后重新识别第三视觉数据中的禁行区域并重新进行标记，根据第三视觉数据识别的禁行区域更为准确。最后处理器10将被标记的第三视觉数据和雷达数据融合，即可根据更为准确地确定禁行区域在第一地图中的第一位置坐标，其中，第一位置坐标可以包含多个三维点云坐标，如第一位置坐标包含第一地图中的禁行区域的所有三维点云坐标，三维点云坐标不仅包含当前位置的三维位置坐标，而且还可包含该位置的属性(如该位置为扶梯所在的位置等)。

请参阅图10，在某些实施方式中，步骤0132包括以下步骤：

01321：根据预设的第一映射矩阵，将第三视觉数据中的禁行区域映射到第一地图中，以确定第一位置坐标。

请结合图2，在某些实施方式中，处理器10可用于实施步骤01321。即，处理器10可用于根据预设的第一映射矩阵，将第三视觉数据中的禁行区域映射到第一地图中，以确定第一位置坐标。

请结合图3，在某些实施方式中，处理模块213还用于执行步骤01321。即，处理模块213还用于根据预设的第一映射矩阵，将第三视觉数据中的禁行区域映射到第一地图中，以确定第一位置坐标。

具体地，根据摄像模组30和雷达40的互相标定关系，可将摄像模组30的视觉坐标系和雷达40的雷达坐标系进行标定，智能机器人100会在存储器20内存储一个转换矩阵(即，第一预设矩阵)，通过该预设的第一映射矩阵即可将位于视觉坐标系的禁行区域快速而准确地映射到第一地图(即雷达坐标系)中，从而确定禁行区域的第一位置坐标。例如，第三视觉数据为第三可见光图像，通过该预设的第一映射矩阵即可将标记有禁行区域的第三可见光图像的每个像素均映射到第一地图中，或者仅将第三可见光图像中的禁行区域内的每个像素均映射到第一地图中，从而准确地确定禁行区域的第一位置坐标。

请参阅图11，在某些实施方式中，步骤01321包括以下步骤：

01322：对第三视觉数据中的禁行区域进行放大；及

01323：将放大后的禁行区域映射到第一地图中，以确定放大后的禁行区域在第一地图中的第一位置坐标。

请结合图2，在某些实施方式中，处理器10可用于实施步骤01322及步骤01323。即，处理器10可用于对第三视觉数据中的禁行区域进行放大；及将放大后的禁行区域映射到第一地图中，以确定放大后的禁行区域在第一地图中的第一位置坐标。

请结合图10，在某些实施方式中，处理模块213还用于执行步骤01322及步骤01323。即，处理模块213还用于对第三视觉数据中的禁行区域进行放大；及将放大后的禁行区域映射到第一地图中，以确定放大后的禁行区域在第一地图中的第一位置坐标。

具体地，在摄像模组30和雷达40进行标定是可能存在标定误差，因此处理器10可先对第三视觉数据中的禁行区域进行放大，以解决因标定误差导致的禁行区域并不能完全覆盖实际的禁行区域的问题，从而使得放大后的禁行区域在映射到第一地图中后得到的第一位置坐标，能够完全包含全部的禁行区域(如整个扶梯)，保证智能机器人100的运动安全性。

请参阅图12，在某些实施方式中，检测方法还包括步骤：

019：根据预设的第二映射矩阵将第一位置坐标映射到第二地图中以得到第三视觉数据中的禁行区域在第二地图中的第二位置坐标；

020：根据第二位置坐标判断当前智能机器人100距离实际的禁行区域的距离是否小于预设距离；及

021：在距离小于预设距离时，在第二地图中标记第二位置坐标对应的区域为禁行区域。

请结合图2，在某些实施方式中，处理器10可用于实施步骤019、步骤020及步骤021。即，处理器10可用于根据预设的第二映射矩阵将第一位置坐标映射到第二地图中以得到第三视觉数据中的禁行区域在第二地图中的第二位置坐标；根据第二位置坐标判断当前智能机器人100距离实际的禁行区域的距离是否小于预设距离；及在距离小于预设距离时，在第二地图中标记第二位置坐标对应的区域为禁行区域。

请结合图3，在某些实施方式中，检测装置200还包括映射模块219、判断模块220和第三标记模块221。映射模块219、判断模块220和第三标记模块221分别用于执行步骤019、步骤020及步骤021。即，映射模块219用于根据预设的第二映射矩阵将第一位置坐标映射到第二地图中以得到第三视觉数据中的禁行区域在第二地图中的第二位置坐标；判断模块220用于根据第二位置坐标判断当前智能机器人100距离实际的禁行区域的距离是否小于预设距离；第三标记模块221用于在距离小于预设距离时，在第二地图中标记第二位置坐标对应的区域为禁行区域。

具体地，第一地图为智能机器人100的根据雷达数据建立的，为智能机器人100的雷达坐标系。处理器10可根据预设的第二映射矩阵将雷达坐标系下的第一位置坐标映射到第二地图中以得到禁行区域在第二地图中的第二位置坐标。另外，由于智能机器人100不同位姿对应的雷达坐标系是不同的，在通过第二映射矩阵进行映射时，需要考虑到智能机器人100当前的位姿，处理器10先根据智能机器人100上设置的位姿检测装置(如陀螺仪等)可以获取到智能机器人100的位姿，将雷达坐标系的三维点云坐标转化为世界坐标系下的三维点云坐标时，不同的位姿对应有不同的映射矩阵(即，预设的映射矩阵可包含多个，每个映射矩阵对应一个或多个不同的位姿)，处理器10首先根据位姿确定位姿对应的映射矩阵，基于该映射矩阵将雷达坐标系下的三维点云坐标转化为世界坐标系下的三维点云坐标。如此，即可准确地在世界坐标系中确定禁行区域的第二位置坐标，其中，第二位置坐标包含第二地图中的禁行区域的所有三维点云坐标，三维点云坐标不仅包含当前位置的三维位置坐标，而且还可包含该位置的属性(如该位置为扶梯所在的位置等)。

然后智能机器人100根据当前所处的位置的三维点云坐标和进行区域的第二位置坐标的判断智能机器人100和禁行区域的距离，从而在智能机器人100距离禁行区域较近时(即，智能机器人100和禁行区域的距离小于或等于预设距离时)，在第二地图中标记该禁行区域，辅助控制智能机器人100准确地避开禁行区域。

请参阅图13，在某些实施方式中，步骤013还包括以下步骤：

0133：确定第三视觉数据中的禁行区域的类别；

0134：根据第一位置坐标确定第三视觉数据中的禁行区域的几何属性；

0135：根据几何属性修正在第一地图中的禁行区域并关联类别。

请结合图2，在某些实施方式中，处理器10还用于实施步骤0133、步骤0134和步骤0135。即，处理器10用于确定第三视觉数据中的禁行区域的类别；根据第一位置坐标确定第三视觉数据中的禁行区域的几何属性；根据几何属性修正在第一地图中的禁行区域并关联类别。

请结合图12，在某些实施方式中，处理模块213还用于实现步骤0133、步骤0134和步骤0135。即，处理模块213还用于确定第三视觉数据中的禁行区域的类别；根据第一位置坐标确定第三视觉数据中的禁行区域的几何属性；及根据几何属性修正在第一地图中的禁行区域并关联类别。

具体地，处理器10通过预设的图像检测模型，能够准确地识别第三视觉数据中的禁行区域的类别，如是否为扶梯等。然后处理器10根据第一位置坐标即可在确定位于禁行区域内的点云数据的几何属性，禁行区域为扶梯禁行区域为例，几何属性即为扶梯的大小和形状、扶梯入口的方向等，处理器10根据扶梯的几何属性即可修正禁行区域以得到更为准确的禁行区域并将该禁行区域关联对应的类别信息(如该禁行区域为扶梯禁行区域)，处理器10可根据重新确定的禁行区域获取对应的第二位置坐标。相较于原本包含部分非禁行区域的禁行区域而言，重新确定的禁行区域的准确性显然更高，能够避免过度限制智能机器人100的运动场景。

请再次参阅图2，存储器20用于存放可在处理器10上运行的计算机程序，处理器10执行程序时实现上述任一实施方式中的检测方法。

存储器20可能包含高速RAM存储器20，也可能还包括非易失性存储器20(non-volatile memory)，例如至少一个磁盘存储器20。进一步地，智能机器人100还可包括通信接口60，通信接口60用于存储器20和处理器10之间的通信。

如果存储器20、处理器10和通信接口60独立实现，则通信接口60、存储器20和处理器10可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器20、处理器10及通信接口60，集成在一块芯片上实现，则存储器20、处理器10及通信接口60可以通过内部接口完成相互间的通信。

处理器10可能是一个中央处理器10(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

请参阅图14，本申请实施方式的非易失性计算机可读存储介质300包括计算机可执行指令301，当计算机可执行指令301被一个或多个处理器400执行时，使得处理器400执行本申请任一实施方式的检测方法。

例如，请结合图1和图2，计算可执行指令301被处理器400执行时，处理器400用于实施步骤：

011：获取第一视觉数据和雷达数据；

012：在第一视觉数据中识别到禁行区域时，标记禁行区域；及

013：将被标记的第一视觉数据和雷达数据融合，以确定禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器10的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器20(RAM)，只读存储器20(ROM)，可擦除可编辑只读存储器20(EPROM或闪速存储器20)，光纤装置，以及便携式光盘只读存储器20(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器20中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器20中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块213中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器20，磁盘或光盘等。

在本说明书的描述中，参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (13)

1.一种检测方法，其特征在于，所述检测方法包括：

获取第一视觉数据和雷达数据；

在所述第一视觉数据中识别到禁行区域时，标记所述禁行区域；及

将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

2.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括：

根据预设的图像检测模型识别所述禁行区域。

3.根据权利要求2所述的检测方法，其特征在于，所述检测方法包括：

获取多帧包含禁行区域的第一视觉数据；

对所述第一视觉数据进行视觉变换，生成多帧第二视觉数据；及

根据所述第一视觉数据、所述第二视觉数据和预设的训练模型生成所述图像检测模型。

4.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括：

在当前帧所述第一视觉数据中未识别到禁行区域时，根据上一帧所述第一视觉数据的禁行区域标记当前帧所述第一视觉数据中的禁行区域。

5.根据权利要求1所述的检测方法，其特征在于，所述地图包括第一地图，所述将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标，包括：

对被标记的所述第一视觉数据进行时域滤波以生成第三视觉数据；

识别所述第三视觉数据中的禁行区域并重新进行标记，将被标记的所述第三视觉数据和所述雷达数据融合，以确定所述第三视觉数据中的禁行区域在所述第一地图中的第一位置坐标。

6.根据权利要求5所述的检测方法，其特征在于，所述将被标记的所述第三视觉数据和所述雷达数据融合，以确定所述第三视觉数据中的禁行区域在所述第一地图中的第一位置坐标，包括：

根据预设的第一映射矩阵，将所述第三视觉数据中的禁行区域映射到所述第一地图中，以确定所述第一位置坐标。

7.根据权利要求6所述的检测方法，其特征在于，所述将所述第三视觉数据中的禁行区域映射到所述第一地图中，以确定所述第一位置坐标，还包括：

对所述第三视觉数据中的禁行区域进行放大；及

将放大后的禁行区域映射到所述第一地图中，以确定所述放大后的禁行区域在所述第一地图中的所述第一位置坐标。

8.根据权利要求5所述的检测方法，其特征在于，所述地图还包括第二地图，所述检测方法还包括：

根据预设的第二映射矩阵将所述第一位置坐标映射到所述第二地图中以得到所述第三视觉数据中的禁行区域在所述第二地图中的第二位置坐标；

根据所述第二位置坐标判断当前智能机器人距离实际的禁行区域的距离是否小于预设距离；及

在所述距离小于所述预设距离时，在所述第二地图中标记所述第二位置坐标对应的区域为禁行区域。

9.据权利要求7所述的检测方法，其特征在于，所述将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标，还包括：

确定所述第三视觉数据中的禁行区域的类别；

根据所述第一位置坐标确定所述第三视觉数据中的禁行区域的几何属性；

根据所述几何属性修正在所述第一地图中的禁行区域并关联所述类别。

10.根据权利要求1所述的检测方法，其特征在于，所述第一视觉数据为可见光图像或深度图像。

11.一种检测装置，其特征在于，所述检测装置包括：

第一获取模块，用于获取第一视觉数据和雷达数据；

第一标记模块，用于在所述第一视觉数据中识别到禁行区域时，标记所述禁行区域；及

处理模块，用于将被标记的所述第一视觉数据和所述雷达数据融合，以确定所述禁行区域的类别和/或几何属性和/或在地图中的位置坐标。

12.一种智能机器人，其特征在于，所述智能机器人包括：

一个或多个处理器、存储器；和

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被所述一个或多个处理器执行，所述程序包括用于执行权利要求1至10任意一项所述的检测方法的指令。

13.一种包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至10中任一项所述的检测方法。

Images