CN113516322B - 基于人工智能的工厂障碍物风险评估方法及系统 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的工厂障碍物风险评估方法及系统，包括：获取工厂的全景图像，基于所述工厂的全景图像，获取工厂中的障碍物的检测结果，基于所述障碍物的检测结果，获取障碍物特征数据，所述障碍物特征数据包括障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据，基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果。本发明通过工厂的风险评估分析结果，对工厂中的障碍物对行驶路径的影响程度进行评估，更加直观地获取障碍物的风险程度，为工厂内的路径规划调度提供参考依据。

Description

基于人工智能的工厂障碍物风险评估方法及系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的工厂障碍物风险评估方法及系统。

背景技术

随着工业生产的不断发展，人工智能已经走进了工厂，大量的机器开始学习了解工业生产的日常活动，AGV小车替代人类进行搬运货物和传递信息，但对于这些AGV小车来说，工厂中存在的大量机器却成为了工作路径上的障碍物。

AGV小车行驶过程中，通常的AGV小车调度策略没有考虑工厂中的障碍物对AGV小车的影响，假设AGV小车始终在站点之间保持最短的路线直行。但是在工厂中会存在各式各样的障碍物，会对后续AGV小车的路径规划调度产生很大的影响，当工厂中存在障碍物(静态或动态)时，AGV小车在前往站点时或多或少会出现绕行的情况，不能一直保持最理想的路线，因此会使得AGV小车的行驶路线出现动态变化，为了为AGV小车提供更合理更优的路径规划，分析障碍物对AGV小车行驶路径的影响程度，也即障碍物风险分析是至关重要的，障碍物风险分析可以为AGV小车的路径规划提供参考依据，从而有效地为AGV小车分配合理的任务，确保AGV小车的工作效率。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的工厂障碍物风险评估方法及系统，所采用的技术方案具体如下：

本发明提供了一种基于人工智能的工厂障碍物风险评估方法，包括以下步骤：

获取工厂的全景图像；

基于所述工厂的全景图像，获取工厂中的障碍物的检测结果；

基于所述障碍物的检测结果，获取障碍物特征数据，所述障碍物特征数据包括障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据；

基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果；

所述基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果，包括：

对障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据进行归一化；

构建风险评估分析模型，所述工厂的风险评估分析模型的函数表达式为：

其中，

为工厂的风险评估分析结果，α为模型可调因子，ln()是以自然对数e为底数的对数函数，e是自然常数，τ为障碍物面积占比特征数据，F为障碍物空间布局特征数据，I为障碍物类型特征数据；

将归一化之后的障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据输入至所述风险评估分析模型中，获取工厂的风险评估分析结果。

进一步地，所述基于所述工厂的全景图像，获取工厂中的障碍物的检测结果，包括：

获取工厂的全景样本图像，并对所述全景样本图像中的障碍物进行标注，得到标签数据；

将所述全景样本图像以及标签数据输入至障碍物语义分割网络中进行训练；

将所述工厂的全景图像输入至训练完成的障碍物语义分割网络中，得到障碍物的语义分割图。

进一步地，所述障碍物面积占比特征数据的获取过程，包括：

通过障碍物的语义分割图获取每个障碍物的面积，记为S_i，计算工厂中所包含障碍物的总面积，公式如下：

其中，S_z为工厂中的障碍物的总面积，N为障碍物的个数，k为模型转换因子，i属于1，2，...，N；

根据障碍物的总面积以及工厂面积大小计算障碍物面积占比特征数据，公式如下：

其中，τ为障碍物面积占比特征数据，S为工厂面积。

进一步地，所述障碍物空间分布特征数据的获取过程，包括：

将工厂的全景图像均匀分割成M个子区域，M大于等于2；

计算每个子区域中障碍物的面积；

基于各子区域的障碍物面积，获取障碍物空间布局特征数据，计算公式如下：

其中，F为障碍物空间布局特征数据，

为M个子区域中的障碍物面积均值，A_j为第j个子区域中的障碍物面积，j属于1，2，...，M。

进一步地，所述障碍物类型特征数据的获取过程，包括：

获取各个障碍物的沿所述全景图像的长的方向上的第一长度和沿所述全景图像的宽的方向上的第二长度；

若第一长度小于工厂的长度与第一倍数的乘积，并且，第二长度小于工厂的宽度与第一倍数的乘积，则判定该障碍物为非特殊障碍物；

若第一长度大于工厂的长度与第一倍数的乘积，且第一长度小于工厂的长度与第二倍数的乘积，并且，第二长度大于工厂的宽度与第一倍数的乘积，且第二长度小于工厂的宽度与第二倍数的乘积，则判定该障碍物为1个第一特殊障碍物；

若第一长度大于工厂的长度与第二倍数的乘积，并且，第二长度大于工厂的宽度与第二倍数的乘积，则判定该障碍物为1个第二特殊障碍物；第一倍数小于第二倍数，第二倍数小于1；

设定1个第一特殊障碍物为一个特殊障碍物，1个第二特殊障碍物为两个特殊障碍物，第一特殊障碍物的个数记为I₁，第二特殊障碍物的个数记为I₂，计算障碍物类型特征数据，计算公式如下：

I＝I₁+2I₂

其中，I为障碍物类型特征数据。

本发明还提供了一种基于人工智能的工厂障碍物风险评估系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现上述的基于人工智能的工厂障碍物风险评估方法。

本发明实施例至少具有如下有益效果：

本发明通过获取工厂的全景图像，基于所述工厂的全景图像，获取工厂中的障碍物的检测结果，基于所述障碍物的检测结果，获取障碍物特征数据，所述障碍物特征数据包括障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据，基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果。本发明提供的工厂障碍物风险评估方法，基于与AGV小车安全运行具有密切关联的三种障碍物的特征数据，并结合与三种障碍物的特征数据相关联的工厂的风险评估分析模型，就可以得到工厂的风险评估分析结果，风险评估分析结果比较准确可靠，可以为AGV小车的路径规划提供参考依据，从而有效地为AGV小车分配合理的任务，确保AGV小车的工作效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为基于人工智能的工厂障碍物风险评估方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的工厂障碍物风险评估方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的工厂障碍物风险评估方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于人工智能的工厂障碍物风险评估方法的步骤流程图，该方法包括以下步骤：

步骤1：获取工厂的全景图像。

本实施例中，工厂具体可以为工厂车间，工厂车间的平面形状为长方形，应当理解的是，正方形可以理解为一种特殊的长方形。工厂车间内有AGV小车，以及障碍物，AGV小车在工厂车间内用于搬运工厂车间内的物品及传递信息。本实施例中，障碍物为静态障碍物，静态障碍物为处于静止状态下的障碍物，在实际工厂车间等环境中，大多数的静态障碍物是一些比较规则的物体，如货架、机床、箱体等。本实施例中，障碍物的形状是规则形状，比如长方体结构。本发明所适用的具体场景为：在智能工厂环境中，用于分析工厂车间障碍物对AGV小车行驶路线的影响，获取障碍物的风险评估。

根据待检测的工厂区域大小确定工厂上方放置相机的数量，该相机为RGB相机，通过工厂上放置的相机实现对工厂全方位的图像采集，为了确保采集的图像为完整的工厂内部图像，就高度而言，工厂上方放置的相机拍摄的工厂内部图像为俯视图，并需要相邻摄像头的视角范围有一定的重合区域，保证多个摄像头能够完整地采集到工厂内的所有区域。之后通过图像拼接算法对多相机采集的工厂内部图像进行拼接，将拼接之后的工厂内部图像进行融合，获取完整的工厂内部全景图像，用于后续工厂内部检测。相应的，工厂的全景图像为长方形。

步骤2：基于所述工厂的全景图像，获取工厂中的障碍物的检测结果。

得到工厂的全景图像之后，根据全景图像获取工厂中的障碍物的检测结果，比如获取各个障碍物的信息。本实施例中，采用网络训练的方式获取障碍物的检测结果，网络为Encoder-Decoder结构，该网络为现有技术，不再赘述。

获取工厂的全景样本图像，全景样本图像的数量由实际需要进行设置。本实施例中，根据工厂上方放置的相机实现对工厂全景样本图像的采集，采集之后对工厂的全景样本图像中所有的障碍物进行标注，基于全景样本图像的像素进行标注，实现像素分类，其中，对工厂的全景样本图像的障碍物标注记为1，对工厂的全景样本图像的非障碍物进行标注，记为0。

以上对工厂的全景样本图像中所有障碍物的标注过程为人为标注，标注之后得到全景样本图像的标签数据。

将工厂的全景样本图像和对其标注的数据输入至障碍物语义分割网络中，该网络采用交叉熵损失函数对工厂的全景样本图像以及标注的数据进行迭代训练。

在训练完成之后，将获取得到的工厂的全景图像输入至训练完成的障碍物语义分割网络中，得到工厂的障碍物语义分割图。

步骤3：基于所述障碍物的检测结果，获取障碍物特征数据，所述障碍物特征数据包括障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据。

基于障碍物的检测结果，获取障碍物特征数据，障碍物特征数据包括三部分，分别是障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据。以下分别对这三种特征数据的获取过程进行描述。

障碍物面积占比特征数据的获取过程，包括：

通过障碍物语义分割图获取工厂全景图像中的障碍物，并对全景图像中的障碍物采用连通域分析算法计算出每个障碍物的面积，记为S_i，S_i为第i个障碍物的面积，i属于1，2，...，。连通域分析算法为现有技术，不再赘述。根据障碍物语义分割图中的标注数据可知工厂中障碍物的个数，则工厂中所包含障碍物的总面积计算公式如下：

其中，S_z为工厂中的障碍物的实际总面积，N为障碍物的个数，k为模型转换因子，是已知数。

由于采集到的是工厂的全景图像，本实施例中，全景图像为长方形图像，因此，全景图像的长度可以等效为工厂的长度，全景图像的宽度等于工厂的宽度。全景图像的长度实质上为全景图像的长的方向上的像素个数，全景图像的宽度实质上为全景图像的宽的方向上的像素个数。根据工厂的长度和宽度计算出工厂的实际面积S，根据障碍物面积以及工厂面积大小获取障碍物面积占比特征数据，计算公式如下：

其中，τ为障碍物面积占比特征数据，S为工厂的实际面积。

障碍物空间布局特征数据的获取过程，包括：

在实际的工厂环境中，工厂中的障碍物可能不成规律的分布在各个区域，为了使各个区域中的障碍物空间布局特征数据更加准确，将工厂的全景图像均匀分割成M个子区域，需要说明的是，分割后的子区域M大于等于2，M的具体数值由实际需要，比如工厂的规模等决定。由于通常情况下工厂的大小要远大于障碍物的大小，因此，本实施例中，将工厂的全景图像均匀分割成M个子区域时，同一个障碍物不可能出现在至少两个子区域中，即子区域的分割线不能切分障碍物。

根据语义分割图获取每个子区域中所包含的障碍物，通过连通域算法计算出每个子区域中的障碍物面积，得到一个面积序列：{A₁，A₂，...A_M}。基于各个子区域的障碍物面积构建空间特征分析模型，用于计算工厂的障碍物空间布局特征，该障碍物空间布局特征分析模型的计算公式如下：

其中，F为障碍物空间布局特征数据，

为M个子区域中的障碍物面积均值，A_j为第j个子区域中的障碍物面积，j属于1，2，...，M。

该障碍物空间布局特征分析模型能够更加准确得反应出工厂障碍物的空间布局特征，障碍物空间布局特征分析模型值(即障碍物空间布局特征数据)越小，表示各子区域中的障碍物的面积越接近，障碍物分布越平均，表示障碍物对AGV小车的影响越大，即障碍物风险越大；相应地，障碍物空间布局特征数据越大，表示障碍物越集中分布在某一些子区域中，表示障碍物对AGV小车的影响越小，即障碍物风险越小。

障碍物类型特征数据的获取过程，包括：

不同类型的障碍物对AGV小车的影响程度可能不同，所以需要对工厂内的所有障碍物的类型进行判定，得到障碍物类型特征数据。

获取各个障碍物的沿全景图像的长的方向上的第一长度和沿全景图像的宽的方向上的第二长度，其中，第一长度和第二长度均为障碍物在对应方向上的像素个数。本实施例中，基于全景图像构建二维坐标系，以全景图像的左下角为坐标轴原点，全景图像的长的方向为x轴，全景图像的宽的方向为y轴，那么，各个障碍物均处于该二维坐标系中。对于任意一个障碍物，不同的纵坐标下，可以获取到该障碍物的多个横坐标方向上的像素个数，因此，就可以得到该障碍物沿全景图像的长的方向上的多个长度(即像素个数)，从中获取最大的长度，即像素个数最多的长度，为下文判断所需的第一长度；同理，不同的横坐标下，可以获取到该障碍物的多个纵坐标方向上的像素个数，因此，就可以得到该障碍物沿全景图像的宽的方向上的多个长度，从中获取最大的长度，即像素个数最多的长度，为下文判断所需的第二长度。

若第一长度小于工厂的长度与第一倍数的乘积，并且，第二长度小于工厂的宽度与第一倍数的乘积，则判定该障碍物为非特殊障碍物，该判断可以用以下逻辑式表示：

若第一长度大于工厂的长度与第一倍数的乘积，且第一长度小于工厂的长度与第二倍数的乘积，并且，第二长度大于工厂的宽度与第一倍数的乘积，且第二长度小于工厂的宽度与第二倍数的乘积，则判定该障碍物为1个第一特殊障碍物，该判断可以用以下逻辑式表示：

若第一长度大于工厂的长度与第二倍数的乘积，并且，第二长度大于工厂的宽度与第二倍数的乘积，则判定该障碍物为1个第二特殊障碍物，该判断可以用以下逻辑式表示：

其中，L′、W′分别为障碍物的第一长度和第二长度，L、W分别为工厂的长度和宽度，B₁为第一倍数，B₂为第二倍数，I₁为第一特殊障碍物的个数，I₂为第二特殊障碍物的个数。

需要说明的是，第一倍数小于第二倍数，第二倍数小于1，第一倍数和第二倍数的具体数值由实际需要进行设定。

设定1个第一特殊障碍物为一个特殊障碍物，1个第二特殊障碍物为两个特殊障碍物，计算工厂中的特殊障碍物总个数，计算公式如下：

I＝I₁+2I₂

其中，I为工厂中的特殊障碍物总个数，也就是障碍物类型特征数据。

步骤4：基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果。

将上述所提取的障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据作为特征向量并对其进行归一化。

由于工厂中的障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据为工厂的风险评估分析的三个重要指标，对障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据进行以下分析：

障碍物面积占比特征数据与工厂风险评估分析结果的关系为正相关关系，障碍物面积占比特征数据越大，表示障碍物在工厂中的占比越大，越影响AGV小车的正常运行，工厂风险评估分析结果越大。

障碍物空间布局特征数据与工厂风险评估分析结果的关系为负相关关系，障碍物空间布局特征数据越小，表示各子区域中的障碍物的面积越接近，障碍物分布越平均，障碍物对AGV小车的影响越大，工厂风险评估分析结果越大。

障碍物类型特征数据与工厂风险评估分析结果的关系为正相关关系，障碍物类型特征数据越大，表示特殊障碍物的个数越多，越影响AGV小车的正常运行，工厂风险评估分析结果越大。

由于障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据与工厂的风险评估分析结果之间的综合关系比较复杂，因此，利用数学建模的方法，或者曲线拟合的方式建立出障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据与工厂的风险评估分析结果之间的函数关系，得到如下工厂的风险评估分析模型：

其中，

为工厂的风险评估分析模型，α为模型可调因子，α＝5，In()是以自然对数e为底数的对数函数，e是自然常数，τ为障碍物面积占比特征数据，F为障碍物空间布局特征数据，I为障碍物类型特征数据。

将归一化之后的障碍物面积占比特征数据、障碍物空间分布特征数据和特殊障碍物类型特征数据输入至风险评估分析模型中，就可以计算得到工厂的风险评估分析结果。风险评估分析结果数值越大，表示工厂内障碍物对AGV小车的正常运行的影响越大，工厂内障碍物的风险越大。根据获取工厂内障碍物的风险评估结果，可对AGV小车的路径规划提供参考依据，使AGV小车在行驶路径上的安全隐患为最低，便于工作人员有效地对AGV小车合理分配任务，并使得AGV小车的行驶路径达到最优，提高AGV小车的工作效率。

一种基于人工智能的工厂障碍物风险评估系统，包括处理器和存储器，处理器用于处理存储在存储器中的指令以实现上述的基于人工智能的工厂障碍物风险评估方法，由于基于人工智能的工厂障碍物风险评估方法在上文已做出详细说明，不再赘述。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于人工智能的工厂障碍物风险评估方法，其特征在于，包括以下步骤：

获取工厂的全景图像；

基于所述工厂的全景图像，获取工厂中的障碍物的检测结果；

基于所述障碍物的检测结果，获取障碍物特征数据，所述障碍物特征数据包括障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据；

所述障碍物类型特征数据的获取过程，包括：

获取各个障碍物的沿所述全景图像的长的方向上的第一长度和沿所述全景图像的宽的方向上的第二长度；

若第一长度小于工厂的长度与第一倍数的乘积，并且，第二长度小于工厂的宽度与第一倍数的乘积，则判定该障碍物为非特殊障碍物；

若第一长度大于工厂的长度与第一倍数的乘积，且第一长度小于工厂的长度与第二倍数的乘积，并且，第二长度大于工厂的宽度与第一倍数的乘积，且第二长度小于工厂的宽度与第二倍数的乘积，则判定该障碍物为1个第一特殊障碍物；

若第一长度大于工厂的长度与第二倍数的乘积，并且，第二长度大于工厂的宽度与第二倍数的乘积，则判定该障碍物为1个第二特殊障碍物；第一倍数小于第二倍数，第二倍数小于1；

设定1个第一特殊障碍物为一个特殊障碍物，1个第二特殊障碍物为两个特殊障碍物，第一特殊障碍物的个数记为I₁，第二特殊障碍物的个数记为I₂，计算障碍物类型特征数据，计算公式如下：

I＝I₁+2I₂

其中，I为障碍物类型特征数据；

基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果；

所述基于所述障碍物特征数据，以及预设的工厂的风险评估分析模型，获取工厂的风险评估分析结果，包括：

对障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据进行归一化；

构建风险评估分析模型，所述工厂的风险评估分析模型的函数表达式为：

其中，

为工厂的风险评估分析结果，α为模型可调因子，ln()是以自然对数e为底数的对数函数，e是自然常数，τ为障碍物面积占比特征数据，F为障碍物空间布局特征数据；

将归一化之后的障碍物面积占比特征数据、障碍物空间布局特征数据和障碍物类型特征数据输入至所述风险评估分析模型中，获取工厂的风险评估分析结果。

2.根据权利要求1所述的基于人工智能的工厂障碍物风险评估方法，其特征在于，所述基于所述工厂的全景图像，获取工厂中的障碍物的检测结果，包括：

获取工厂的全景样本图像，并对所述全景样本图像中的障碍物进行标注，得到标签数据；

将所述全景样本图像以及标签数据输入至障碍物语义分割网络中进行训练；

将所述工厂的全景图像输入至训练完成的障碍物语义分割网络中，得到障碍物的语义分割图。

3.根据权利要求1所述的基于人工智能的工厂障碍物风险评估方法，其特征在于，所述障碍物面积占比特征数据的获取过程，包括：

通过障碍物的语义分割图获取每个障碍物的面积，记为S_i，计算工厂中所包含障碍物的总面积，公式如下：

其中，S_z为工厂中的障碍物的总面积，N为障碍物的个数，k为模型转换因子，i属于1，2，...，N；

根据障碍物的总面积以及工厂面积大小计算障碍物面积占比特征数据，公式如下：

其中，τ为障碍物面积占比特征数据，S为工厂面积。

4.根据权利要求1所述的基于人工智能的工厂障碍物风险评估方法，其特征在于，所述障碍物空间分布特征数据的获取过程，包括：

将工厂的全景图像均匀分割成M个子区域，M大于等于2；

计算每个子区域中障碍物的面积；

基于各子区域的障碍物面积，获取障碍物空间布局特征数据，计算公式如下：

其中，F为障碍物空间布局特征数据，

为M个子区域中的障碍物面积均值，A_j为第j个子区域中的障碍物面积，j属于1，2，...，M。

5.一种基于人工智能的工厂障碍物风险评估系统，其特征在于，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令以实现如权利要求1-4中任一项所述的基于人工智能的工厂障碍物风险评估方法。

Images