CN115958609A - 基于智能机器人自动控制系统的指令数据安全预警方法 - Google Patents

Abstract

本发明涉及电数字数据处理技术领域，具体涉及一种基于智能机器人自动控制系统的指令数据安全预警方法，包括：获取监控目标在当前标准时段内每个时刻的输入三维动作图像中各个标记关键点的位置信息和各个标记关键点对应的匹配关键点的位置信息，根据位置信息确定位置差异值、方向误差值以及匹配误差比例；根据位置差异值、方向误差值以及匹配误差比例，确定修正匹配程度，进而确定预警临界值，根据修正匹配程度和预警临界值，控制指令数据安全预警。本发明提高了指令数据安全预警的准确性，可以应用于智能机器人自动控制监测领域。

Description

基于智能机器人自动控制系统的指令数据安全预警方法

技术领域

本发明涉及电数字数据处理技术领域，具体涉及一种基于智能机器人自动控制系统的指令数据安全预警方法。

背景技术

智能机器人通过视觉、声觉等多模态信息的综合识别处理，对实时采集的多模态输入信息进行监管环境中是否存在危险情况进行判断，在发生危险情况之前生成危险预警信号，通过机器人自动控制系统转换为指令数据，然后通过指令数据对机器人的行为进行调节。当预测到监控目标可能会发生危险行为时，通过指令数据发送到机器人报警装置，通知监护人监控目标即将发生危险行为。比如：使用智能机器人对家中儿童安全进行监视和危险预警，避免发生危险行为，因此智能机器人需要实时地监控儿童的行为，并对接下来可能发生的危险行为进行判断。

在现有技术中，智能机器人的行为动作预测，主要是将监测目标的行为三维动作图像输入到神经网络中进行动作匹配，直接将匹配程度最大的危险动作作为最终的预测结果输出。但因为监测目标存在个体差异，现有方法容易导致动作匹配程度较低和临界值选择不准确，进而造成预测结果的准确性较差，指令数据的安全预警准确性低下。

发明内容

为了解决上述现有指令数据的安全预警准确性低下的技术问题，本发明的目的在于提供一种基于智能机器人自动控制系统的指令数据安全预警方法，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于智能机器人自动控制系统的指令数据安全预警方法，该方法包括以下步骤：

获取监控目标在当前标准时段内每个时刻的输入三维动作图像，所述输入三维动作图像中包含各个标记关键点的位置信息；获取目标危险动作对应的历史标准时段内每个时刻的样本三维动作图像，所述样本三维动作图像中包含与对应时刻下的每个所述标记关键点匹配的匹配关键点的位置信息；

根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的位置差异值和方向误差值、当前标准时段的监控目标对应的匹配误差比例；

根据位置差异值、方向误差值和匹配误差比例，确定每个时刻的输入三维动作图像的修正匹配程度；

根据位置差异值、方向误差值和修正匹配程度，确定当前标准时段内每个时刻的预警临界值；

根据每个时刻的预警临界值和每个时刻的输入三维动作图像的修正匹配程度，控制指令数据的安全预警。

进一步地，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定当前标准时段的监控目标对应的匹配误差比例，包括：

获取匹配程度最大的输入三维动作图像和样本三维动作图像，将该输入三维动作图像中任意两个标记关键点之间的距离作为比值的分子，将该输入三维动作图像中该两个标记关键点对应的匹配关键点之间的距离作为比值的分母，将该比值作为当前标准时段的监控目标对应的匹配误差比例。

进一步地，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的位置差异值，包括：

计算各个标记关键点与其对应的匹配关键点在x轴时对应的坐标差值绝对值、在y轴时对应的坐标差值绝对值以及在z轴时对应的坐标差值绝对值，将在x轴时、在y轴时以及在z轴时对应的坐标差值绝对值相加，将相加后的数值确定为对应标记关键点的坐标差异指标，将每个时刻的输入三维动作图像中各个标记关键点的坐标差异指标的累加值，确定为对应时刻的输入三维动作图像的位置差异值。

进一步地，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的方向误差值，包括：

预设基准关键点在样本三维动作图像中对应的匹配关键点为匹配预设基准关键点，预设参考标记关键点在样本三维动作图像中对应的匹配关键点为匹配预设参考关键点，比对标记关键点在样本三维动作图像中对应的匹配关键点为匹配比对关键点，比对标记关键点为输入三维动作图像中除预设基准关键点以外的其他各个标记关键点；

将每个时刻的输入三维动作图像的预设基准关键点与预设参考标记关键点之间的向量作为第一参考向量，将每个时刻的输入三维动作图像的预设基准关键点与比对标记关键点之间的向量作为第一比对向量，获得每个时刻的输入三维动作图像的第一参考向量和各个第一比对向量；将每个时刻的样本三维动作图像的匹配预设基准关键点与匹配预设参考关键点之间的向量作为第二基准向量，将每个时刻的样本三维动作图像的匹配预设基准关键点与匹配比对关键点之间的向量作为第二比对向量，获得每个时刻的样本三维动作图像的第二基准向量和各个第二比对向量；

对于每个时刻的输入三维动作图像中的任意一个第一比对向量，计算第一参考向量和该第一比对向量之间的夹角，并计算第二基准向量和该第一比对向量对应的第二比对向量之间的夹角，将两个夹角的差值绝对值确定为角度差异指标；获得每个时刻的输入三维动作图像对应的各个角度差异指标，将各个角度差异指标的累加和确定为对应时刻的输入三维动作图像的方向误差值。

进一步地，根据位置差异值、方向误差值和匹配误差比例，确定每个时刻的输入三维动作图像的修正匹配程度，包括：

对于任意一时刻的输入三维动作图像，对该时刻的输入三维动作图像的方向误差值进行归一化处理，使归一化处理后的方向误差值与该时刻的输入三维动作图像的位置差异值相加，将相加后的数值确定为该时刻的输入三维动作图像的匹配指标；

对匹配指标进行负相关映射，将负相关映射后的匹配指标与匹配误差比例的乘积确定为该时刻的输入三维动作图像的初始修正匹配程度，利用高斯函数对该时刻的输入三维动作图像的初始修正匹配程度进行拟合，将拟合后的初始修正匹配程度确定为该时刻的输入三维动作图像的修正匹配程度；获得每个时刻的输入三维动作图像的修正匹配程度。

进一步地，所述预警临界值的计算公式为：

其中，为第t个时刻的预警临界值，为自然常数，为第t个时刻的输入三维动作图像的修正匹配程度，t为当前标准时段内的时刻序号，为第n个时刻的输入三维动作图像的位置差异值，为第n个时刻的输入三维动作图像的方向误差值，为180度，为对第t个时刻的输入三维动作图像的修正匹配程度进行反比例的归一化处理，为利用双曲正切函数对进行归一化处理。

进一步地，根据每个时刻的预警临界值和每个时刻的输入三维动作图像的修正匹配程度，控制指令数据的安全预警，包括：

按照输入三维动作图像的时刻序号依次分析每个时刻的输入三维动作图像的修正匹配程度，对于某个时刻的输入三维动作图像的修正匹配程度，对该时刻的输入三维动作图像的修正匹配程度进行归一化处理；

若该时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第一预设匹配数值范围，则该时刻的收敛临界值为0，且该时刻不需要进行预警；若该时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第二预设匹配数值范围，则该时刻的收敛临界值为数值1减去该时刻的预警临界值，且该时刻需要进行预警，预警时间为该时刻的收敛临界值对应的预警时刻；若该时刻的输入三维动作图像对应的归一化后的修正匹配程度等于1，则该时刻的收敛临界值为该时刻的预警临界值，且该时刻需要进行预警，预警时间为该时刻。

本发明具有如下有益效果：

本发明提供了一种基于智能机器人自动控制系统的指令数据安全预警方法，该方法利用电数字数据处理技术，确定各个标记关键点以及各个标记关键点对应的匹配关键点的位置信息，根据位置信息确定位置差异值、方向误差值和匹配误差比例，将两组三维动作图像的匹配情况通过这三个指标进行量化处理，有利于提高后续确定的修正匹配程度的参考价值；从三个角度分析修正匹配程度，有助于提高修正匹配程度的准确度，克服现有网络模型进行行为动作预测时的目标个体差异对预测结果的影响，进而增强安全预警的准确度；根据修正匹配程度、位置差异值、方向误差值，确定不同时刻的预警临界值，预警临界值是确定预警时刻的关键指标，通过预警临界值和修正匹配程度，可以实现安全预警，有助于获得更准确的预警时刻，同时提高指令数据安全预警的精准性；对输入三维动作图像中各个标记关键点的位置信息进行数据处理，有助于提高行为动作的匹配程度，实现更准确的指令数据安全预警，减少因安全预警不准确导致监护人看顾监控目标的压力增大，其可以应用于智能机器人自动控制监测领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明基于智能机器人自动控制系统的指令数据安全预警方法的流程图；

图2为本发明实施例中的高斯分布拟合曲线。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本实施例针对的应用场景可以为使用智能机器人对儿童进行安全监测、危险预警，例如儿童趴在窗户旁边，可能会翻越窗户，发生掉落危险，此时需要及时进行安全预警。主要目的是通过智能机器人实时采集儿童行为的三维动作图像，根据三维动作图像对儿童进行行为预测，判断儿童接下来的行为动作是否存在危险，若存在危险则进行安全预警。本实施例提供了一种基于智能机器人自动控制系统的指令数据安全预警方法，如图1所示，包括以下步骤：

S1，获取监控目标在当前标准时段内每个时刻的输入三维动作图像、目标危险动作对应的历史标准时段内每个时刻的样本三维动作图像，其步骤包括：

第一步，获取监控目标在当前标准时段内每个时刻的输入三维动作图像。

本实施例的主要目的是通过机器视觉对监控目标的动作行为进行危险预测，故需要实时获取监控目标的三维动作图像，监控目标可以是家里的小孩、宠物等，监控目标的个数可以为1个。监控目标是处于不断运动的状态，需要实时跟踪监控目标，以实现指令数据安全预警，本实施例使用金字塔光流算法跟踪监控目标，获得监控目标在运动时的连续帧画面，也就是通过智能机器人，利用金字塔光流算法，采集监控目标在当前标准时段内每个时刻的输入三维动作图像。这里的标准时段是指现有历史智能机器人预测危险动作时所需要的时间，取经验值10秒，该标准时段的大小可由实施者根据具体实际情况自行设置。金字塔光流算法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

为了能够清楚观测监控目标的动作姿态，通过NeRF算法（Novel View SynthesisTask，神经辐射场算法）对输入三维动作图像进行图像数据处理，获得监控目标的三维影像结构，使输入三维动作图像中的监控目标能够呈现三维影像结构。NeRF算法是一种全新的视角合成方法，新视角合成任务指的是给定源图像及对应的源姿态、目标姿态，渲染生成目标姿态对应的图片。NeRF算法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第二步，确定每个时刻的输入三维动作图像中各个标记关键点的位置信息。

在本实施例中，属于三维图像的输入三维动作图像可以观测到监控目标的动作姿态，而在识别监控目标的动作姿态时，通过对监控目标的肢体部位进行标记，获得监控目标的每个肢体部位的关键点，通过标记关键点的位置变化信息来确定监控目标的动作姿态，因此，需要对输入三维动作图像中的监控目标进行关键点标记。对于监控目标的关键点标记，利用三维滑动窗口对输入三维动作图像中的监控目标进行均匀采样，将均匀采样得到的点作为关键点并进行标记，获得各个标记关键点的位置信息，位置信息包括x轴、y轴和z轴的坐标位置。确定标记关键点的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第三步，获取目标危险动作对应的历史标准时段内每个时刻的样本三维动作图像。

在本实施例中，将每个时刻的输入三维动作图像中各个标记关键点作为输入数据，输入到预先构建并训练好的LSTM网络模型（Long Short Term Memory，长短期记忆网络）中，必然会获得当前标准时段的监控目标对应的目标危险动作。为了检测危险动作判定的准确性，后续步骤是基于当前标准时段的监控目标在LSTM网络模型中存在危险动作的前提下进行安全预警监测，目标危险动作是某个历史标准时段内多个时刻的样本三维动作图像通过LSTM网络模型预测获得的。

两组三维动作图像的其中一组三维动作图像为输入三维动作图像，另外一组三维动作图像为样本三维动作图像，两组三维动作图像中的三维动作图像为一一对应匹配关系，也就是每个时刻的输入三维动作图像均有其对应的样本三维动作图像。输入三维动作图像中的标记关键点与样本三维动作图像中的匹配关键点同样存在映射关系，例如，某个标记关键点为左肩，该标记关键点对应的匹配关键点为样本三维动作图像中左肩位置处的关键点。因此，通过标记关键点的位置信息可以获得各个标记关键点对应的匹配关键点的位置信息，也就是样本三维动作图像中包含与对应时刻下的每个标记关键点匹配的匹配关键点的位置信息。

需要说明的是，LSTM网络模型包括输入门、遗忘门、输出门和隐藏层，输入门可以为控制输入进出多少或者是否允许进出的门控单元，其不断将新的数据输入到神经网络当中，新的数据与上一个时间点的输出信息经过sigmoid函数激活，可以获得记忆细胞中保留信息的多少。LSTM网络模型对应的预先设置的人体肢体动作数据集，肢体动作数据集可以为大型可视化数据集ImageNet，ImageNet是一个计算机视觉系统识别项目，该大型可视化数据集内包含了14197122张图像。LSTM网络模型的训练和构建过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

至此，本实施例得到了每个时刻的输入三维动作图像中各个标记关键点及其对应的匹配关键点的位置信息。

S2，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的位置差异值和方向误差值、当前标准时段的监控目标对应的匹配误差比例，其步骤包括：

第一步，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的位置差异值。

计算各个标记关键点与其对应的匹配关键点在x轴时对应的坐标差值绝对值、在y轴时对应的坐标差值绝对值以及在z轴时对应的坐标差值绝对值，将在x轴时、在y轴时以及在z轴时对应的坐标差值绝对值相加，将相加后的数值确定为对应标记关键点的坐标差异指标，将每个时刻的输入三维动作图像中各个标记关键点的坐标差异指标的累加值，确定为对应时刻的输入三维动作图像的位置差异值。

在本实施例中，从标记关键点与其对应的匹配关键点的坐标位置角度，衡量输入三维动作图像中监控目标的动作姿态与样本三维动作图像中样本目标的动作姿态的相似程度，监控目标与样本目标属于同一个类型的目标，例如，监控目标与样本目标均为3岁的宝宝。根据标记关键点和匹配关键点的位置信息，可以确定每个时刻的输入三维动作图像的位置差异值，其计算公式可以为：

其中，为每个时刻的输入三维动作图像的位置差异值，为每个时刻的输入三维动作图像的标记关键点个数或每个时刻的样本三维动作图像的匹配关键点的个数，为每个时刻的输入三维动作图像中第i个标记关键点在x轴时的横坐标，为每个时刻的样本三维动作图像中第i个匹配关键点在x轴时的横坐标，为每个时刻的输入三维动作图像中第i个标记关键点在y轴时的纵坐标，为每个时刻的样本三维动作图像中第i个匹配关键点在y轴时的纵坐标，为每个时刻的输入三维动作图像中第i个标记关键点在z轴时的竖坐标，为每个时刻的样本三维动作图像中第i个匹配关键点在z轴时的竖坐标，为每个时刻的输入三维动作图像中第i个标记关键点与其对应的匹配关键点在x轴时对应的坐标差值绝对值，为每个时刻的输入三维动作图像中第i个标记关键点与其对应的匹配关键点在y轴时对应的坐标差值绝对值，为每个时刻的输入三维动作图像中第i个标记关键点与其对应的匹配关键点在z轴时对应的坐标差值绝对值，为每个时刻的输入三维动作图像中第i个标记关键点的坐标差异指标，为每个时刻的输入三维动作图像中第i个标记关键点对应的匹配关键点的坐标位置。

需要说明的是，将输入三维动作图像中各个标记关键点的坐标差异指标进行累加计算来表征该输入三维动作图像在进行匹配计算时的位置差异程度，有利于提高位置差异程度的准确度。位置差异值与坐标差异指标为正相关，位置差异值可以表征标记关键点与其对应的匹配关键点之间的坐标位置差异，坐标位置差异越大，说明输入三维动作图像中的监控目标在进行数据匹配时的匹配程度越小。

第二步，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的方向误差值，其步骤包括：

第一子步骤，获取每个时刻的输入三维动作图像的第一参考向量和各个第一比对向量。

将每个时刻的输入三维动作图像的预设基准关键点与预设参考标记关键点之间的向量作为第一参考向量，将每个时刻的输入三维动作图像的预设基准关键点与比对标记关键点之间的向量作为第一比对向量，获得每个时刻的输入三维动作图像的第一参考向量和各个第一比对向量。

在本实施例中，预设基准关键点和预设参考标记关键点均为固定关键点，这里的预设基准关键点和预设参考标记关键点均为可以明显表征监控目标的行为动作变化的关键点，例如，预设基准关键点可以表征为输入三维动作图像中监控目标的下颚尖，那么预设参考标记关键点可以表征为输入三维动作图像中监控目标的左肩；预设基准关键点可以表征为输入三维动作图像中监控目标的左手，那么参考标记关键点可以表征为输入三维动作图像中监控目标的右脚。根据这两个固定关键的坐标位置信息，确定预设基准关键点与预设参考标记关键点形成的向量，记为第一参考向量，该第一参考向量为输入三维动作图像的基准向量；比对标记关键点可以表征为输入三维动作图像中监控目标的右肩，根据预设基准关键点和比对标记关键点的坐标信息，获得预设基准关键点和比对标记关键点形成的向量，记为第一比对向量，该第一比对向量为输入三维动作图像的比对向量。由于第一比对向量为预设基准关键点与比对标记关键点形成的向量，故比对标记关键点可以为输入三维动作图像中除预设基准关键点以外的其他各个标记关键点，比对标记关键点可以存在多个。

值得说明的是，每个时刻的输入三维动作图像中仅有一个第一参考向量，但会有多个第一比对向量。获取每个时刻的输入三维动作图像中第一参考向量和多个第一比对向量，是为了便于后续计算方向误差值。确定两点之间向量的计算过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第二子步骤，获取每个时刻的样本三维动作图像的第二基准向量和各个第二比对向量。

将每个时刻的样本三维动作图像的匹配预设基准关键点与匹配预设参考关键点之间的向量作为第二基准向量，将每个时刻的样本三维动作图像的匹配预设基准关键点与匹配比对关键点之间的向量作为第二比对向量，获得每个时刻的样本三维动作图像的第二基准向量和各个第二比对向量。

需要说明的是，输入三维动作图像中的各个标记关键点与样本三维动作图像中的各个匹配关键点为一一对应匹配关系，预设基准关键点在样本三维动作图像中对应的匹配关键点为匹配预设基准关键点，匹配预设基准关键点可以表征为样本三维动作图像中样本目标的下颚尖；预设参考标记关键点在样本三维动作图像中对应的匹配关键点为匹配预设参考关键点，匹配预设参考关键点可以表征为样本三维动作图像中样本目标的左肩；比对标记关键点在样本三维动作图像中对应的匹配关键点为匹配比对关键点，匹配比对关键点可以表征为样本三维动作图像中样本目标的右肩。第二基准向量和各个第二比对向量是后续计算方向误差值的关键性指标。

第三子步骤，确定每个时刻的输入三维动作图像的方向误差值。

对于每个时刻的输入三维动作图像中的任意一个第一比对向量，计算第一参考向量和该第一比对向量之间的夹角，并计算第二基准向量和该第一比对向量对应的第二比对向量之间的夹角，将两个夹角的差值绝对值确定为角度差异指标；获得每个时刻的输入三维动作图像对应的各个角度差异指标，将各个角度差异指标的累加和确定为对应时刻的输入三维动作图像的方向误差值。

在本实施例中，每个时刻的输入三维动作图像对应多个角度差异指标，角度差异指标的个数取决于输入三维动作图像中第一比对向量的个数，第一比对向量与第二比对向量存在映射关系。为了便于后续确定修正匹配程度，实现匹配修正，从标记关键点与其对应的匹配关键点之间的方向角度差异，确定时刻的输入三维动作图像的方向误差值，其计算公式可以为：

其中，为每个时刻的输入三维动作图像的方向误差值，为第一比对向量的个数或第二比对向量的个数，为第一比对向量的序号或第二比对向量的序号，为每个时刻的输入三维动作图像的第一参考向量，为每个时刻的输入三维动作图像的第个第一比对向量，为每个时刻的输入三维动作图像的第一参考向量的模，为每个时刻的输入三维动作图像的第个第一比对向量的模，为每个时刻的输入三维动作图像的第一参考向量与第个第一比对向量之间的夹角，为每个时刻的三维动作图像对的第二基准向量，为每个时刻的三维动作图像对的第个第二比对向量，为每个时刻的样本三维动作图像的第二基准向量的模，为每个时刻的样本三维动作图像的第个第二比对向量的模，为每个时刻的样本三维动作图像的第二基准向量与第个第二比对向量之间的夹角，为对求绝对值。

需要说明的是，实际进行动作匹配时，不仅仅关注相同姿态的动作，还需要关注相同幅度的动作，这里的动作姿态变化可以通过位置差异值来表征。监控目标和样本目标在进行相同肢体关键点匹配时，监控目标和样本目标的动作幅度不同导致匹配程度降低，而方向误差值通过关键点的向量变化来反映动作幅度变化，动作幅度相同时向量方向相近。输入三维动作图像中的监控目标与样本三维动作图像中的样本目标之间的动作幅度差异越小，方向误差值越小，相反，则方向误差值越大。

第三步，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定当前标准时段的监控目标对应的匹配误差比例。

获取匹配程度最大的输入三维动作图像和样本三维动作图像，将该输入三维动作图像中任意两个标记关键点之间的距离作为比值的分子，将该输入三维动作图像中该两个标记关键点对应的匹配关键点之间的距离作为比值的分母，将该比值作为当前标准时段的监控目标对应的匹配误差比例。

需要说明的是，在进行关键点匹配时，输入三维动作图像中的监控目标与样本图像中的样本目标存在个体差异，故在进行匹配程度计算时存在一定的匹配误差，通过计算监控目标和样本目标的关键点位置差异来纠正关键点位置匹配时存在的误差。

在本实施例中，输入三维动作图像和样本三维动作图像之间的匹配程度可以通过LSTM网络模型获得，输入三维动作图像和样本三维动作图像组成三维动作图像对，从所有三维动作图像对中选取一个匹配程度最大的三维动作图像对，是为了衡量最优匹配下的监控目标与样本目标之间的匹配误差程度。最优匹配下的任意两个标记关键点可以为下颚尖关键点和左肩关键点，分析输入三维动作图像中该两个标记关键点之间的距离在其对应的两个匹配关键点之间的距离中的占比情况，以确定匹配误差比例。当前标准时段的监控目标对应的匹配误差比例的计算公式可以为：

其中，为当前标准时段的监控目标对应的匹配误差比例，为匹配程度最大的输入三维动作图像中任意两个标记关键点的其中一个标记关键点的坐标位置，为匹配程度最大的输入三维动作图像中任意两个标记关键点的另外一个标记关键点的坐标位置，为匹配程度最大的样本三维动作图像中任意两个匹配关键点的其中一个匹配关键点的坐标位置，为匹配程度最大的样本三维动作图像中任意两个匹配关键点的另外一个匹配关键点的坐标位置，为匹配程度最大的输入三维动作图像中任意两个标记关键点之间的距离，为匹配程度最大的样本三维动作图像中任意两个匹配关键点之间的距离。

在匹配误差比例的计算公式中，可以为匹配程度最大的输入三维动作图像中的下颚尖关键点的坐标位置，可以为匹配程度最大的输入三维动作图像中的左肩关键点的坐标位置，可以为匹配程度最大的样本三维动作图像中的下颚尖关键点的坐标位置，可以为匹配程度最大的样本三维动作图像中的左肩关键点的坐标位置。匹配误差比例越大，说明当前标准时段的监控目标对应的匹配效果越差。

至此，本实施例获得了每个时刻的输入三维动作图像的位置差异值和方向误差值、当前标准时段的监控目标对应的匹配误差比例。

S3，根据位置差异值、方向误差值和匹配误差比例，确定每个时刻的输入三维动作图像的修正匹配程度，其步骤包括：

第一步，对于任意一时刻的输入三维动作图像，对该时刻的输入三维动作图像的方向误差值进行归一化处理，使归一化处理后的方向误差值与该时刻的输入三维动作图像的位置差异值相加，将相加后的数值确定为该时刻的输入三维动作图像的匹配指标。

需要说明的是，对方向误差值进行归一化处理是为了使方向误差值的数值范围在0到1之间，以减少后续的计算量。例如，输入三维动作图像的方向误差值为，通过角度值实现方向误差值的归一化处理，即。匹配指标可以表征输入三维动作图像与其对应的样本三维动作图像的匹配程度，为了提高匹配指标的准确性，从两个角度分析匹配指标，两个角度分别为关键点位置差异和关键点向量方向差异，将归一化处理后的方向误差值和位置差异值相加后的数值作为匹配指标，即。为了便于理解和描述，本实施例以任意一时刻的输入三维动作图像为例进行说明，确定该时刻的输入三维动作图像的匹配指标，每个时刻的输入三维动作图像的匹配指标的确定过程保持一致，此处不再进行详细阐述。

第二步，对匹配指标进行负相关映射，将负相关映射后的匹配指标与匹配误差比例的乘积确定为该时刻的输入三维动作图像的初始修正匹配程度，利用高斯函数对该时刻的输入三维动作图像的初始修正匹配程度进行拟合，将拟合后的初始修正匹配程度确定为该时刻的输入三维动作图像的修正匹配程度；获得每个时刻的输入三维动作图像的修正匹配程度。

首先，对匹配指标进行负相关映射。由于方向误差值和位置差异值均与匹配指标为负相关关系，方向误差值和位置差异值越大，说明匹配效果越差，匹配指标也就会越小，故需要对匹配指标进行负相关映射。例如，输入三维动作图像的方向误差值为s，通过指数函数实现对方向误差值和位置差异值的负相关映射，即。

然后，确定初始修正匹配程度。匹配误差比例为匹配指标的修正系数，通过匹配误差比例可以得到更准确、更能反映真实匹配情况的匹配程度，故将负相关映射后的匹配指标与匹配误差比例的乘积作为初始修正匹配程度。初始修正匹配程度能够克服由不同的监控目标存在的个体差异而导致的数据匹配程度准确性较低的缺陷，进而提高后续基于初始修正匹配程度计算得到的预警临界值的参考价值。

在本实施例中，初始修正匹配程度的计算公式可以为：

其中，为每个时刻的输入三维动作图像的初始修正匹配程度，为当前标准时段的监控目标对应的匹配误差比例，为自然常数，为每个时刻的输入三维动作图像的方向误差值，为每个时刻的输入三维动作图像的方向误差值，为180度，为每个时刻的输入三维动作图像的匹配指标，为自然常数e的次方，也为对每个时刻的输入三维动作图像的匹配指标进行反比例的归一化处理。

最后，确定修正匹配程度。为了便于分析当前标准时段内各个时刻的输入三维动作图像的初始修正匹配程度相互之间的作用关系，利用高斯函数对当前标准时段内每个时刻的输入三维动作图像的初始修正匹配程度进行拟合。

在本实施例中，修正匹配程度的计算公式可以为：

其中，为每个时刻的输入三维动作图像的修正匹配程度，为标准差，为方差，为圆周率，其约为3.14，为所有时刻的输入三维动作图像的初始修正匹配程度的均值，为每个时刻的输入三维动作图像的初始修正匹配程度，为自然常数e的次方，也为对进行反比例的归一化处理。

需要说明的是，输入三维动作图像中的监控目标的标记关键点与样本三维动作图像中的样本目标的匹配关键点的匹配程度是后续预测危险动作进行准确安全预警的关键，因此，在进行高斯函数拟合时，将初始修正匹配程度作为高斯函数的输入数据。高斯函数拟合为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

至此，本实施例得到了每个时刻的输入三维动作图像的修正匹配程度。

S4，根据位置差异值、方向误差值和修正匹配程度，确定当前标准时段内每个时刻的预警临界值。

需要说明的是，监控目标在进行动作匹配时，通过比对一定时间内各个输入三维动作图像中的监控目标的各标记关键点与各个样本三维动作图像中样本目标的各匹配关键点可知，两组三维动作图像在时间序列上存在一定的相关性关系。在预测危险动作时，当两组三维动作图像在时间序列上的变化相似程度越大时，预警临界值在时间序列上越提前，越符合高斯分布特征。高斯分布拟合曲线如图2所示，图2中的K可以表征预警临界值，预警临界值可以表征监控目标发生目标危险动作的可能性，峰值点表示目标危险动作发生的临界时间点。对于危险动作的预测，K值越小，预警时间越提前，那么就能够有效避免监控目标发生危险动作，故确定K值是非常关键的。

为了提高指令数据安全预警的准确度，在进行动作匹配时，既要保证动作预测的相似程度较大，还要能够将临界值K降低。在本实施例中，基于上述对预警临界值的分析可知，预警临界值与位置差异值、方向误差值和修正匹配程度均为负相关，位置差异值、方向误差值和修正匹配程度越大，预警临界值越小，越早触发预警警报。每个时刻的预警临界值的计算公式可以为：

其中，为第t个时刻的预警临界值，为自然常数，为第t个时刻的输入三维动作图像的修正匹配程度，t为当前标准时段内的时刻序号，为第n个时刻的输入三维动作图像的位置差异值，为第n个时刻的输入三维动作图像的方向误差值，为180度，为对第t个时刻的输入三维动作图像的修正匹配程度进行反比例的归一化处理，为利用双曲正切函数对进行归一化处理。

在预警临界值的计算公式中，可以表征当前标准时段内第t时刻之前包括第t时刻的两组三维动作图像的匹配程度，、与为负相关，将的倒数作为预警临界值的关键性指标，同时，将的反比例的归一化处理后的数值也作为预警临界值的关键性指标；计算公式中的时刻序号t与预警临界值为正相关，时刻序号t可以表征两组三维动作图像的匹配时间，匹配时间越长，预警临界值越大，触发预警警报的时间就会越晚；为了便于后续确定预警时间，利用双曲正切函数对进行归一化处理。

至此，本实施例获得了每个时刻的输入三维动作图像的修正匹配程度和当前标准时段内每个时刻的预警临界值。

S5，根据每个时刻的预警临界值和每个时刻的输入三维动作图像的修正匹配程度，控制指令数据的安全预警，其步骤包括：

在本实施例中，按照输入三维动作图像的时刻序号依次分析每个时刻的输入三维动作图像的修正匹配程度，对于第t个时刻的输入三维动作图像的修正匹配程度，为了便于分析修正匹配程度，利用Norm函数对第t个时刻的输入三维动作图像的修正匹配程度进行归一化处理，获得第t个时刻的输入三维动作图像对应的归一化后的修正匹配程度，此时的安全预警可以分为三种情况分别为：

首先，若第t个时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第一预设匹配数值范围，则第t个时刻的收敛临界值为0，且第t个时刻不需要进行预警，第一预设匹配数值范围可以设置为[0，0.2)。

值得说明的是，存在特殊情况，每个时刻的输入三维动作图像对应的归一化后的修正匹配程度均处于第一预设匹配数值范围，说明当前标准时段的监控目标的未来行为动作并非LSTM网络模型输出的目标危险动作，也就是当前标准时段的监控目标不会发生目标危险动作，在当前标准时段不需要进行预警。

然后，若第t个时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第二预设匹配数值范围，则第t个时刻的收敛临界值为数值1减该时刻的预警临界值，第t个时刻需要进行预警，预警时间为该时刻的收敛临界值对应的预警时刻，第二预设匹配数值范围设置为[0.2，1)。

需要说明的是，当第t个时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第二预设匹配数值范围时，说明第t个时刻之前的包括第t个时刻的各个输入三维动作图像与对应的各个样本三维动作图像不完全相同，但其相似程度逐渐增大。利用数值1减去第t个时刻的预警临界值可以表征第t个时刻需要进行预警，但预警时间应往后推迟，具体预警时刻可以根据收敛临界值与预警时刻存在的高斯拟合关系获得。

最后，若第t个时刻的输入三维动作图像对应的归一化后的修正匹配程度等于1，则第t个时刻的收敛临界值为该时刻的预警临界值且该时刻需要进行预警，预警时间为第t个时刻。

需要说明的是，当第t个时刻的输入三维动作图像对应的归一化后的修正匹配程度等于1时，说明第t个时刻之前的包括第t个时刻的各个输入三维动作图像与对应的各个样本三维动作图像完全相同，直接进行预警，预警时刻为第t个时刻。

至此，本实施例获得了当前标准时段内第t个时刻的安全预警判断，t可以为当前标准时段内的任意一时刻。根据每个时刻的预警临界值和每个时刻的输入三维动作图像的修正匹配程度，实现安全预警，将安全预警条件划分的更加精准，有助于提高安全预警的准确度，尽量避免匹配程度较低的目标危险动作触发预警警报，提高智能机器人自动控制系统的智能化。

其中，根据上述三种不同情况的安全预警，确定每个时刻的收敛临界值的计算公式，其计算公式可以为：

其中，为每个时刻的收敛临界值，为每个时刻的预警临界值，为每个时刻的输入三维动作图像的修正匹配程度，为对进行归一化处理，[0，0.2)为第一预设匹配数值范围，[0.2，1)为第二预设匹配数值范围。

需要说明的是，在根据预警临界值进行判断时，两组三维动作图像的匹配程度越大，说明LSTM网络模型预测的越准确，当前标准时段的监控目标发生目标危险动作的可能性越大。第一预设匹配数值范围和第二预设匹配数值范围可由实施者根据具体实际情况自行设置，不做具体限定。

本发明提供了一种基于智能机器人自动控制系统的指令数据安全预警方法，现有通过LSTM网络模型实现行为动作预测时，受目标个体的差异的影响，匹配程度的准确性较低。为了克服匹配程度的准确性较低的缺陷，实现精准安全预警，本发明通过分析动作之间的差异获得不同动作幅度下的修正参数，通过修正参数对匹配程度进行修正，对于修正后的匹配程度通过高斯拟合获得对应的高斯曲线，然后将根据高斯曲线得到的预警临界值作为危险动作识别的最佳分割值，实现安全预警，其有效提高了安全预警的准确性。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，包括以下步骤：

获取监控目标在当前标准时段内每个时刻的输入三维动作图像，所述输入三维动作图像中包含各个标记关键点的位置信息；获取目标危险动作对应的历史标准时段内每个时刻的样本三维动作图像，所述样本三维动作图像中包含与对应时刻下的每个所述标记关键点匹配的匹配关键点的位置信息；

根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的位置差异值和方向误差值、当前标准时段的监控目标对应的匹配误差比例；

根据位置差异值、方向误差值和匹配误差比例，确定每个时刻的输入三维动作图像的修正匹配程度；

根据位置差异值、方向误差值和修正匹配程度，确定当前标准时段内每个时刻的预警临界值；

根据每个时刻的预警临界值和每个时刻的输入三维动作图像的修正匹配程度，控制指令数据的安全预警。

2.根据权利要求1所述的一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定当前标准时段的监控目标对应的匹配误差比例，包括：

获取匹配程度最大的输入三维动作图像和样本三维动作图像，将该输入三维动作图像中任意两个标记关键点之间的距离作为比值的分子，将该输入三维动作图像中该两个标记关键点对应的匹配关键点之间的距离作为比值的分母，将该比值作为当前标准时段的监控目标对应的匹配误差比例。

3.根据权利要求1所述的一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的位置差异值，包括：

计算各个标记关键点与其对应的匹配关键点在x轴时对应的坐标差值绝对值、在y轴时对应的坐标差值绝对值以及在z轴时对应的坐标差值绝对值，将在x轴时、在y轴时以及在z轴时对应的坐标差值绝对值相加，将相加后的数值确定为对应标记关键点的坐标差异指标，将每个时刻的输入三维动作图像中各个标记关键点的坐标差异指标的累加值，确定为对应时刻的输入三维动作图像的位置差异值。

4.根据权利要求1所述的一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，根据各个标记关键点的位置信息以及各个标记关键点对应的匹配关键点的位置信息，确定每个时刻的输入三维动作图像的方向误差值，包括：

预设基准关键点在样本三维动作图像中对应的匹配关键点为匹配预设基准关键点，预设参考标记关键点在样本三维动作图像中对应的匹配关键点为匹配预设参考关键点，比对标记关键点在样本三维动作图像中对应的匹配关键点为匹配比对关键点，比对标记关键点为输入三维动作图像中除预设基准关键点以外的其他各个标记关键点；

将每个时刻的输入三维动作图像的预设基准关键点与预设参考标记关键点之间的向量作为第一参考向量，将每个时刻的输入三维动作图像的预设基准关键点与比对标记关键点之间的向量作为第一比对向量，获得每个时刻的输入三维动作图像的第一参考向量和各个第一比对向量；将每个时刻的样本三维动作图像的匹配预设基准关键点与匹配预设参考关键点之间的向量作为第二基准向量，将每个时刻的样本三维动作图像的匹配预设基准关键点与匹配比对关键点之间的向量作为第二比对向量，获得每个时刻的样本三维动作图像的第二基准向量和各个第二比对向量；

对于每个时刻的输入三维动作图像中的任意一个第一比对向量，计算第一参考向量和该第一比对向量之间的夹角，并计算第二基准向量和该第一比对向量对应的第二比对向量之间的夹角，将两个夹角的差值绝对值确定为角度差异指标；获得每个时刻的输入三维动作图像对应的各个角度差异指标，将各个角度差异指标的累加和确定为对应时刻的输入三维动作图像的方向误差值。

5.根据权利要求1所述的一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，根据位置差异值、方向误差值和匹配误差比例，确定每个时刻的输入三维动作图像的修正匹配程度，包括：

对于任意一时刻的输入三维动作图像，对该时刻的输入三维动作图像的方向误差值进行归一化处理，使归一化处理后的方向误差值与该时刻的输入三维动作图像的位置差异值相加，将相加后的数值确定为该时刻的输入三维动作图像的匹配指标；

对匹配指标进行负相关映射，将负相关映射后的匹配指标与匹配误差比例的乘积确定为该时刻的输入三维动作图像的初始修正匹配程度，利用高斯函数对该时刻的输入三维动作图像的初始修正匹配程度进行拟合，将拟合后的初始修正匹配程度确定为该时刻的输入三维动作图像的修正匹配程度；获得每个时刻的输入三维动作图像的修正匹配程度。

6.根据权利要求1所述的一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，所述预警临界值的计算公式为：

其中，为第t个时刻的预警临界值，为自然常数，为第t个时刻的输入三维动作图像的修正匹配程度，t为当前标准时段内的时刻序号，为第n个时刻的输入三维动作图像的位置差异值，为第n个时刻的输入三维动作图像的方向误差值，为180度，为对第t个时刻的输入三维动作图像的修正匹配程度进行反比例的归一化处理，为利用双曲正切函数对进行归一化处理。

7.根据权利要求1所述的一种基于智能机器人自动控制系统的指令数据安全预警方法，其特征在于，根据每个时刻的预警临界值和每个时刻的输入三维动作图像的修正匹配程度，控制指令数据的安全预警，包括：

按照输入三维动作图像的时刻序号依次分析每个时刻的输入三维动作图像的修正匹配程度，对于某个时刻的输入三维动作图像的修正匹配程度，对该时刻的输入三维动作图像的修正匹配程度进行归一化处理；

若该时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第一预设匹配数值范围，则该时刻的收敛临界值为0，且该时刻不需要进行预警；若该时刻的输入三维动作图像对应的归一化后的修正匹配程度处于第二预设匹配数值范围，则该时刻的收敛临界值为数值1减去该时刻的预警临界值，且该时刻需要进行预警，预警时间为该时刻的收敛临界值对应的预警时刻；若该时刻的输入三维动作图像对应的归一化后的修正匹配程度等于1，则该时刻的收敛临界值为该时刻的预警临界值，且该时刻需要进行预警，预警时间为该时刻。

Images