CN115709484B - 一种移动机器人安全仿真检测方法及系统 - Google Patents

Abstract

本发明公开了一种移动机器人安全仿真检测方法及系统，方法包括：构建机器人所在环境的虚拟空间模型，包括建立在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型；控制机器人模型在虚拟空间模型内运动进行碰撞仿真测试；分别采集机器人模型在虚拟空间模型X‑Y、X‑Z和Y‑Z三个投影面的二维图像；通过二维识别框从不同的二维图像中标记出机器人模型活动部分的边界；基于二维识别框的坐标计算机器人模型活动部分分别在三个投影面的二维运动轨迹；分析机器人模型活动部分分别在三个投影面的二维运行轨迹与障碍物模型的交汇情况，并判断机器人模型是否存在碰撞风险。本发明能够提高碰撞检测的精度及碰撞仿真检测的效率。

Description

一种移动机器人安全仿真检测方法及系统

技术领域

本发明属于机器人安全检测领域，更具体地，涉及一种移动机器人安全仿真检测方法及系统。

背景技术

移动机器人，如机械壁抓手、焊接机械臂等移动机器人设备往往较为昂贵，若以实物设备进行碰撞干涉初步检测，设备会在安全测试过程中存在被损坏的风险，因此在移动机器人实际运行工作之前，往往采用仿真的方式对机器人的运行环境进行安全碰撞干涉检测，并根据仿真结果对机器人的运行参数和机台工作环境进行调整设置。

现有的移动机器人碰撞干涉初步检测仿真常采用包围盒方法，包围盒是一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体（称为包围盒）来近似地代替复杂的几何对象。常见的包围盒算法有AABB包围盒、包围球、方向包围盒OBB以及固定方向凸包FDH。

碰撞检测技术中所用的包围盒有两个属性：简单性和紧密性。简单性是指包围盒间进行相交测试时需要的计算量，这不但要求几何形状简单容易计算，而且要求相交测试算法简单快速；紧密性要求包围盒尽可能的贴近被包围的对象，这一属性直接关系到需要进行相交测试的包围盒的数目，紧密性越好，参与相交测试的包围盒数目就越少。

可以看出，目前的包围盒算法中对包围盒的计算是一个无限逼近最优解的计算过程，需要不断计算能够包围住物体三维轮廓的最小包围盒，最小包围盒的计算精度对最小包围盒算法的精度要求较高，而且针对不规则物体形成的包围盒并不能完全体现出物体的实际形状，例如曲面结构的包围盒（球形或方盒型）往往无法完全贴合物体表面，存在较大的空间余量，因此在碰撞交汇检测时以包围盒之间的干涉判断物体之间是否真实的存在碰撞并不完全准确，同时最小包围盒计算涉及到三维图形的计算，存在计算数据量大，计算效率较低的问题。

发明内容

本发明的目的是提出一种移动机器人安全仿真检测方法及系统，实现提高碰撞检测的精度，并减少机器人安全检测仿真的数据计算量，提高碰撞仿真检测的效率。

为实现上述目的，第一方面，本发明一种移动机器人安全仿真检测方法，包括：

构建机器人所在环境的虚拟空间模型，所述虚拟空间模型包括建立在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型，所述机器人模型所在平面为X-Z平面；

控制所述机器人模型在所述虚拟空间模型内运动，进行碰撞仿真测试；

在所述机器人模型运动过程中，分别采集机器人模型在所述虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像；

通过二维识别框从不同的所述二维图像中标记出所述机器人模型活动部分的边界；

基于所述二维识别框的坐标计算所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运动轨迹；

分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与所述障碍物模型的交汇情况，并根据交汇情况判断机器人模型是否存在碰撞风险。

可选地，在控制所述机器人模型在所述虚拟空间模型内运动之前，还包括：

在所述机器人模型的周围设置三个摄像机，在机器人模型运行过程中，通过所述三个摄像机分别采集机器人在所述虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像。

可选地，在控制所述机器人模型在所述虚拟空间模型内运动之前，还包括：

建立并训练卷积神经网络模型，完成训练的所述卷积神经网络模型能够基于输入的二维图像，输出所述二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果。

可选地，在所述机器人模型运行过程中，通过所述卷积神经网络模型对三个摄像机采集的不同二维图像进行分析，获取所述机器人模型的活动部分的二维识别框的坐标，并基于所述二维识别框在不同投影面中活动的坐标数据，汇集成所述二维运行轨迹。

可选地，在控制所述机器人模型运动之前还包括：

建立机器人运动测试例库，所述机器人运动测试例库包括机器人在各种工况下运动模式的测试例，以及机器人在非工作情况下的极限运动模式的测试例。

可选地，在控制所述机器人模型运动时，控制所述机器人模型按照所述机器人运动测试例库中的各测试例进行运动。

可选地，所述分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与所述障碍物模型的交汇情况包括：

分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹的坐标数据是否与障碍物模型的边界坐标数据有重叠，若是则判断存在交汇。

可选地，所述根据交汇情况判断机器人模型是否存在碰撞风险包括：

当所述机器人模型活动部分的二维运行轨迹与所述障碍物模型在X-Y投影面或Y-Z投影面存在交汇时，若同时在X-Z投影面存在交汇，则判断机器人模型的运动不安全，存在碰撞风险。

第二方面，本发明提出一种移动机器人安全仿真检测系统，包括：

仿真模块，用于构建机器人所在环境的虚拟空间模型并控制所述机器人模型在所述虚拟空间模型内运动进行碰撞仿真测试，所述虚拟空间模型包括在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型；

图像采集模块，用于在所述机器人模型运动过程中，分别采集机器人模型在所述虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像；

二维轨迹识别模块，用于通过二维识别框从不同的所述二维图像中标记出所述机器人模型活动部分的边界，并基于所述二维识别框的坐标计算所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运动轨迹；

碰撞分析模块，用于分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与所述障碍物模型的交汇情况，并根据交汇情况判断机器人模型是否存在碰撞风险。

可选地，所述二维轨迹识别模块包括卷积神经网络模型，所述卷积神经网络模型能够基于输入的二维图像，输出所述二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果；

通过所述卷积神经网络模型对采集的不同二维图像进行分析，获取所述机器人模型的活动部分的二维识别框的坐标，并基于所述二维识别框在不同投影面中活动的坐标数据，汇集成所述二维运行轨迹。

本发明的有益效果在于：

本发明的移动机器人安全仿真检测方法通过采集机器人模型活动部分在虚拟空间模型内在X-Y、X-Z和Y-Z三给维度的二维图像，并采用二维识别框标识二维图像中的机器人活动部分及障碍物的边界坐标，进而可以根据机器人模型活动部分的二维坐标轨迹与障碍物边界坐标的交汇情况，准确的判断出机器人在不同的维度是否与工作环境中的障碍物存在干涉碰撞，相较于现有的三维包围盒碰撞检测，本方法标记的是单个二维平面内的物体边界，对物体的边界轮廓的包围及贴合性更准确，因此基于二维坐标轨迹的交汇判断是否存在干涉碰撞更加精确，同时本方法仅涉及到对二维图像的物体标识及坐标轨迹处理计算，数据处理量和运算量更少，碰撞检测仿真效率更高。

本发明的系统具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。

附图说明

通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，在本发明示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本发明的一个实施例的一种移动机器人安全仿真检测方法的步骤图。

图2示出了根据本发明的一个实施例的一种移动机器人安全仿真检测系统的示意图。

具体实施方式

下面将参照附图更详细地描述本发明。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

实施例1

如图1所示，本实施例提供一种移动机器人安全仿真检测方法，包括：

S1：构建机器人所在环境的虚拟空间模型，虚拟空间模型包括建立在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型，机器人模型的所在位置为坐标系原点，机器人模型所在平面为X-Z平面；

具体地，可以通过Simulink仿真软件构建机器人模型并在同一世界坐标系下在机器人模型周围建立机台及运行环境中的各种障碍物。

具体实施过程中，以六轴机械手为例，可以采用机器人厂家提供的CAD模型，机器人的CAD模型一般用于机械加工，其包括与实际机器人各个部件尺寸形状等参数完全对应的CAD图形数据。首先通过SimMechanics Link软件加载CAD模型数据，然后对CAD模型进行预处理，建立机器人CAD模型中各个部件之间的连接关系，例如建立六轴机械手的转轴与转臂连接关系及旋转、平移关节的约束条件等，预处理后将CAD模型形成装配体。然后将完成预处理的CAD模型导出为Simulink能够识别的XLM文件（及STL文件），在Simulink中，通过impor命令将之前的XLM文件导入至Simulink中形成机器人的SimMechanics模型，并验证机器人模型的运动方式是否与实际的机器人运动一致，若不一致可以通过SimMechanics中的参数设置模块对机器人模型的运动进行调整，并对旋转、平移部件增加驱动，使机器人模型的运动方式与机器人的实际运动方式一致，之后将调整后的机器人模型导出为VRML文件。然后通过Simulink中的3Danimation模块在世界坐标系内建立三维虚拟环境，模拟机器人的实际工作环境，在虚拟环境中建立机器人所在环境的机台、障碍物等，可以通过采集障碍物的形状、尺寸等信息对虚拟环境进行搭建，之后将机器人模型的VRML文件导入至3Danimation模块中，将机器人模型放入建立的三维虚拟环境中，虚拟环境的坐标系可以以机器人所在位置为原点，机器人模型的底面为X-Z平面。

S2：在虚拟环境中的机器人模型的周围设置三个（虚拟）摄像机，在机器人模型运行过程中，通过三个摄像机分别采集机器人在虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像。

具体实施过程中，在虚拟环境中机器人模型的周围分别沿平行于虚拟空间坐标系的X、Y、Z轴设置三个摄像机，摄像机的光轴朝向坐标轴的负方向，即对准机器人模型。然后可以通过MATLAB代码或Stateflow工具设置机器人模型的运动参数以及三个摄像机采集机器人在X-Y、X-Z和Y-Z三个投影面的二维图像的功能。

S3：建立并训练卷积神经网络（CNN）模型，完成训练的所述卷积神经网络模型能够基于输入的二维图像，输出二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果

本方法要求神经网络模型的功能为可以识别一张图象中的物体，同时输出图中物体的边界框位置，以及框内物体对应的分类结果。

可以制作机器人模型及障碍物模型的二维图片，并用识别框标记出机器人活动部分及障碍物的边界作为训练集，采用制作的训练集对卷积神经网络模型进行训练。使完成训练的卷积神经网络模型能够基于输入的二维图像，输出二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果。

之后，建立卷积神经网络模型与机器人仿真环境的数据传输接口，将仿真环境中三个摄像机采集的不同维度的二维图像作为卷积神经网络模型的输入。

在机器人模型仿真运行过程中，通过卷积神经网络模型对三个摄像机采集的不同二维图像进行分析，获取机器人模型的活动部分的二维识别框的坐标，并基于二维识别框在不同投影面中活动的坐标数据，汇集成二维运行轨迹。

S4：建立机器人运动测试例库，机器人运动测试例库包括机器人在各种工况下运动模式的测试例，以及机器人在非工作情况下的极限运动模式的测试例。

可以针对机器人模型不同工况的运动模式、极限运动模式分别设置不同的运动参数，形成多个测试例文件。

S5：控制机器人模型在虚拟空间模型内运动，进行碰撞仿真测试；

在进行机器人进行碰撞检测仿真时，控制机器人模型在仿真环境内执行各个测试例文件，模拟机器人获得部分在不同工况下的运动仿真，例如控制六轴机器人抓取周围不同距离位置的零件的旋转、平移等动作，进行机器人模型与周围障碍物模型之间的碰撞检测。

S6：在机器人模型运动过程中，分别采集机器人模型在虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像，并通过二维识别框从不同的二维图像中标记出机器人模型活动部分的边界；

具体地，虚拟环境中的三个摄像机分别从X-Y、X-Z和Y-Z三个投影面采集二维图像，每个二维图像中均对应投影面中机器人模型及其周边障碍物的图像，虚拟仿真环境通过数据传输接口将二维图像传输至卷积神经网络模型作为模型的输入，卷积神经网络模型对二维图像中的机器人模型以及障碍物进行识别，并对机器人模型的运动部分和障碍物的边界用二维识别框标记出来，同时记录二维识别框的坐标数据。

S7：基于二维识别框的坐标计算机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运动轨迹；

具体地，通过卷积神经网络模型分析机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹的坐标数据是否与障碍物模型的边界坐标数据有重叠，若是则判断存在交汇。

S8：分析机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与障碍物模型的交汇情况，并判断机器人模型是否存在碰撞风险。

具体地，当机器人模型活动部分的二维运行轨迹与障碍物模型在X-Y投影面或Y-Z投影面存在交汇时，若同时在X-Z投影面存在交汇，即机器人活动部分的轨迹在X-Y和X-Z投影面同时存在交汇，或者在Y-Z和X-Z投影面同时存在交汇，则判断机器人模型的运动不安全，存在碰撞风险。

本实施例的方法仅采集机器人模型活动部分在虚拟空间模型内在X-Y、X-Z和Y-Z三给维度的二维图像，并利用卷积神经网络模型通过二维识别框标识二维图像中的机器人活动部分及障碍物的边界，进而可以根据机器人模型活动部分的二维坐标轨迹与障碍物边界坐标的交汇情况，准确的判断出机器人在不同的维度是否与工作环境中的障碍物存在干涉碰撞，相较于现有的三维包围盒碰撞检测，本方法标记的是单个二维平面内的物体边界，对物体的边界轮廓的包围及贴合性更准确，因此基于二维坐标轨迹的交汇判断是否存在干涉碰撞更加精确，同时本方法仅涉及到对二维图像的物体标识及坐标轨迹处理计算，数据处理量和运算量更少，碰撞检测仿真效率更高。

实施例2

如图2所示，本实施例提供一种移动机器人安全仿真检测系统，包括：

仿真模块1，用于构建机器人所在环境的虚拟空间模型并控制机器人模型在虚拟空间模型内运动，虚拟空间模型包括在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型；

图像采集模块，用于在机器人模型运动过程中，分别采集机器人模型在虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像；

二维轨迹识别模块2，用于通过二维识别框从不同的二维图像中标记出机器人模型活动部分的边界，并基于二维识别框的坐标计算机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运动轨迹；

碰撞分析模块3，用于分析机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与障碍物模型的交汇情况，并根据交汇情况判断机器人模型是否存在碰撞风险。

本实施例中，图像采集模块包括设置在机器人模型的周围的三个摄像机4，在机器人模型运行过程中，通过所述三个摄像机4分别采集机器人模型在虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像。

本实施例中，二维轨迹识别模块2包括卷积神经网络模型，卷积神经网络模型能够基于输入的二维图像，输出二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果；

在机器人模型运行过程中，通过卷积神经网络模型对三个摄像机采集的不同二维图像进行分析，获取机器人模型的活动部分的二维识别框的坐标，并基于二维识别框在不同投影面中活动的坐标数据，汇集成二维运行轨迹。

本实施例中，仿真模块1还包括机器人运动测试例库，机器人运动测试例库包括机器人在各种工况下运动模式的测试例，以及机器人在非工作情况下的极限运动模式的测试例。仿真模块在控制机器人模型运动时，控制机器人模型按照机器人运动测试例库中的各测试例进行运动。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (7)

1.一种移动机器人安全仿真检测方法，其特征在于，包括：

构建机器人所在环境的虚拟空间模型，所述虚拟空间模型包括建立在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型，所述机器人模型所在平面为X-Z平面；

建立并训练卷积神经网络模型，完成训练的所述卷积神经网络模型能够基于输入的二维图像，输出所述二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果；

控制所述机器人模型在所述虚拟空间模型内运动，进行碰撞仿真测试；

在所述机器人模型运动过程中，分别采集机器人模型在所述虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像；

通过二维识别框从不同的所述二维图像中标记出所述机器人模型活动部分的边界；

基于所述二维识别框的坐标计算所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运动轨迹，包括：通过所述卷积神经网络模型对采集的二维图像进行分析，获取所述机器人模型的活动部分的二维识别框的坐标，并基于所述二维识别框在不同投影面中活动的坐标数据，汇集成所述二维运行轨迹；

分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与所述障碍物模型的交汇情况，判断机器人模型是否存在碰撞风险。

2.根据权利要求1所述的方法，其特征在于，在控制所述机器人模型在所述虚拟空间模型内运动之前，还包括：

在所述机器人模型的周围设置三个摄像机，在机器人模型运行过程中，通过所述三个摄像机分别采集机器人在所述虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像。

3.根据权利要求1所述的方法，其特征在于，在控制所述机器人模型运动之前还包括：

建立机器人运动测试例库，所述机器人运动测试例库包括机器人在各种工况下运动模式的测试例，以及机器人在非工作情况下的极限运动模式的测试例。

4.根据权利要求3所述的方法，其特征在于，在控制所述机器人模型运动时，控制所述机器人模型按照所述机器人运动测试例库中的各测试例进行运动。

5.根据权利要求1所述的方法，其特征在于，所述分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与所述障碍物模型的交汇情况包括：

分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹的坐标数据是否与障碍物模型的边界坐标数据有重叠，若是则判断存在交汇。

6.根据权利要求5所述的方法，其特征在于，所述判断机器人模型是否存在碰撞风险包括：

当所述机器人模型活动部分的二维运行轨迹与所述障碍物模型在X-Y投影面或Y-Z投影面存在交汇时，若同时在X-Z投影面存在交汇，则判断机器人模型的运动不安全，存在碰撞风险。

7.一种移动机器人安全仿真检测系统，其特征在于，包括：

仿真模块，用于构建机器人所在环境的虚拟空间模型并控制机器人模型在所述虚拟空间模型内运动，进行碰撞仿真测试，所述虚拟空间模型包括在世界坐标系下的三维的机器人模型和机器人工作空间内的各种障碍物模型；

图像采集模块，用于在所述机器人模型运动过程中，分别采集机器人模型在所述虚拟空间模型X-Y、X-Z和Y-Z三个投影面的二维图像；

二维轨迹识别模块，用于通过二维识别框从不同的所述二维图像中标记出所述机器人模型活动部分的边界，并基于所述二维识别框的坐标计算所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运动轨迹；所述二维轨迹识别模块包括卷积神经网络模型，所述卷积神经网络模型能够基于输入的二维图像，输出所述二维图像中不同物体边界的二维识别框，以及二维识别框内的物体对应的分类结果；通过所述卷积神经网络模型对采集的不同二维图像进行分析，获取所述机器人模型的活动部分的二维识别框的坐标，并基于所述二维识别框在不同投影面中活动的坐标数据，汇集成所述二维运行轨迹；

碰撞分析模块，用于分析所述机器人模型活动部分分别在X-Y、X-Z和Y-Z三个投影面的二维运行轨迹与所述障碍物模型的交汇情况，并根据交汇情况判断机器人模型是否存在碰撞风险。

Images