CN114800506B - 一种基于视觉的实训机器人操作逻辑评价系统 - Google Patents

Abstract

本发明公开了一种基于视觉的实训机器人操作逻辑评价系统，包括实训机器人平台、采集单元和处理单元。所述实训机器人平台用于考核学员的操作环境与对象；采集单元包括头戴式摄像机在内的视频采集装置，部署在考核学员身上和周围操作环境中，处理单元包括计算机、服务器在内的可以实现深度学习图像处理的计算设备；采集单元实时将视频流发送到处理单元，处理单元对接收到的视频信息进行计算与识别，同时对考核学员相关操作的逻辑顺序进行评价打分。本发明适用性广，鲁棒性强，可以代替人工完成对实训机器人操作逻辑评价的考核，提高评价打分的效率与客观性，同时节省人力资源消耗。

Description

一种基于视觉的实训机器人操作逻辑评价系统

技术领域

本发明涉及机器人培训智能评价领域，具体涉及一种基于视觉的实训机器人操作逻辑评价系统。

背景技术

随着我国工业自动化与智能化水平的不断提高，对于行业从事人员的专业素养有越来越高的要求，其中包括对各种工业机器人的理论知识与实践操纵能力。然而国产工业机器人的培训过程要求复杂，考核内容繁多，难以对学员的实训效果与操作行为进行细致客观的评价反馈。同时由于教师资源的稀缺与考核学员人数骤增，一名教师往往要同时兼顾多位学员的实训操作考核，这不仅增加了教师打分过程的工作强度，也增加了学员在实训过程中的安全隐患。

视觉信息处理是机器实现智能感知的关键与基础，随着人工智能的飞速发展，计算机视觉技术在智能制造、智慧医疗、自动驾驶等行业已经有众多应用。计算机视觉是指用摄像机和计算机代替人眼对目标进行识别、跟踪、测量，并进一步做图像处理，成为更适合人眼观察或仪器检测的图像。计算机视觉技术在实训机器人领域还未有应用，然而，仅仅是简单地对目标进行识别与跟踪难以满足实训机器人的复杂考核要求，尤其是针对学员的操作行为逻辑评价，现有技术还难以代替教师实现考核。

发明内容

本发明的目的在于针对现有技术的不足，提出一种准确性高、适用范围广、鲁棒性强的实训机器人操作逻辑评价系统，并给出基于该系统的操作逻辑评价方法。

本发明的目的是通过以下技术方案来实现的：一种基于视觉的实训机器人操作逻辑评价系统，该系统包括一套实训机器人平台、采集单元和处理单元。

实训机器人平台是考核学员的操作环境与对象，包括各种型号功能在内的工业机器人培训系统。

采集单元用于采集考核学员的多视角操作视频，并实时发送视频流到处理单元。

处理单元用于整合采集单元传输的视频数据，对视频进行计算与识别，并对考核学员相关操作的逻辑顺序进行评价打分。

进一步地，所述采集单元包括头戴式摄像机在内的各种视频采集装置，部署在考核学员身上和周围操作环境中，可以从多视角拍摄考核学员的操作画面，确保可以清晰无遮挡获取视频数据。

进一步地，所述处理单元包括计算机、服务器在内的可以实现深度学习图像处理的计算设备，用于分析和处理从采集单元接收到的视频数据，在对视频中各种操作目标进行识别与跟踪的基础上，实现对考核学员操作逻辑的评价。

基于该系统的操作逻辑评价方法包括两部分：一个是对操作的空间顺序进行评价，一个是对操作的时间顺序进行评价。操作空间顺序是指在考核过程中，学员针对多个操作目标情况，是否按照要求的空间位置顺序进行操作；操作时间顺序是指在考核过程中，学员针对多项操作内容情况，是否按照要求的时间先后顺序进行操作。

一种基于该系统的操作空间顺序评价方法，该方法的步骤具体如下：

(1)存在多个操作目标，每个操作目标赋予唯一ID；根据操作考核要求，为操作目标定义所有可能状态集合，包括初始状态、操作状态、完成状态、失败状态；

(2)检查每个操作目标是否处于初始状态，若有操作目标初始状态错误，则反馈错误信息，结束评价，等待重新开始；

(3)获取视频图像，检查每个操作目标当前状态；若所有操作目标都处于完成状态，则进行步骤5；若存在操作目标未在完成状态，且有目标状态处于操作状态，则进行步骤4；否则继续步骤3；

(4)获取视频图像，跟踪处于操作状态的操作目标后续状态变化，若该目标最终为完成状态，则获取该目标的ID并记录，并返回步骤3；若该目标最终为失败状态，则反馈信息，结束评价；

(5)依次获取操作目标到达完成状态的ID，得到完成序列；判断该序列顺序是否符合操作逻辑的空间顺序要求，根据结果反馈信息，结束评价；

进一步地，所述的每个操作目标在评价过程中有且仅有一个唯一ID，与其所处的空间位置、状态无关；所述的状态集合包括但不限于初始状态、操作状态、完成状态、失败状态，其中操作状态是唯一且可识别的，初始状态、完成状态与失败状态为互斥关系。

一种基于该系统的操作时间顺序评价方法，该方法的步骤具体如下：

(1)存在多项操作内容，每项操作内容赋予唯一ID；根据操作考核要求，为每一项操作内容定义状态集合：初始状态、完成状态、失败状态；

(2)根据考核要求，将操作内容进行排序，获得操作逻辑的时间顺序ID序列A；

(3)获取视频图像，检查每项操作内容当前状态；若存在操作内容状态发生变化，则进行步骤4；若收到评价结束信号，则进行步骤5；否则继续步骤3；

(4)获取视频图像，跟踪状态变化的操作内容，若该操作内容为从初始状态变化为完成状态，则获取该操作内容的ID并记录，并返回步骤3；若该操作内容为从初始状态变化为失败状态，则反馈信息，结束评价；若该操作内容为其他状态变化情况，则直接返回步骤3；

(5)依次获取记录的操作内容ID，得到当前操作逻辑的时间顺序序列B；判断序列A与B是否相同，根据结果反馈信息，结束评价；

进一步地，所述的每项操作内容在评价过程中有且仅有一个唯一ID，操作内容可重复进行；所述的状态集合包括但不限于初始状态、完成状态、失败状态，其中每项操作内容的初始状态、完成状态与失败状态为互斥关系；评价结束信号可以是考核时间限制或学员选择结束考核的外部指令。

本发明的有益效果：

(1)本发明适用性广，鲁棒性强，可以解决目前实训机器人考核中操作逻辑评价的技术问题与人员短缺。

(2)本发明从教学评价角度，可以替代人工完成对学员的操作逻辑评价，节省人力资源，同时提高打分评价效率与客观性。

(3)本发明可以作为国产工业机器人技能认证考试的自动阅卷系统一部分，具有较大的潜在市场空间，能够创造良好的经济效益。

附图说明

图1为本发明的一种应用场景示意图；

图2为本发明实施例1的示意图；

图3为本发明实施例2的示意图；

图4为一种基于该系统的操作空间顺序评价方法流程图；

图5为一种基于该系统的操作时间顺序评价方法流程图；

图6为本发明的系统组成示意图；

具体实施方式

以下结合附图对本发明具体实施方式作进一步详细说明。

如图1和图6所示，一种基于视觉的实训机器人操作逻辑评价系统，该系统包括一套实训机器人平台、采集单元和处理单元。实训机器人平台是考核学员的操作环境与对象，包括各种型号功能在内的工业机器人培训系统。采集单元用于采集考核学员的多视角操作视频，并实时发送视频流到处理单元。处理单元用于整合采集单元传输的视频数据，对视频进行计算与识别，然后从空间顺序与时间顺序两部分来对操作逻辑进行评价，并最终给出评分与反馈。

进一步地，所述采集单元包括头戴式摄像机在内的各种视频采集装置，部署在考核学员身上和周围操作环境中，可以从多视角拍摄考核学员的操作画面，确保可以清晰无遮挡获取视频数据。

进一步地，所述处理单元包括计算机、服务器在内的可以实现深度学习图像处理的计算设备，用于分析和处理从采集单元接收到的视频数据，在对视频中各种操作目标进行识别与跟踪的基础上，实现对考核学员操作逻辑的评价。

基于该系统的操作逻辑评价方法包括两部分：一个是对操作的空间顺序进行评价，一个是对操作的时间顺序进行评价。操作空间顺序是指在考核过程中，学员针对多个操作目标情况，是否按照要求的空间位置顺序进行操作；操作时间顺序是指在考核过程中，学员针对多项操作内容情况，是否按照要求的时间先后顺序进行操作。

如图4所示，一种基于该系统的操作空间顺序评价方法，该方法的步骤具体如下：

(1)存在多个操作目标，每个操作目标赋予唯一ID；根据操作考核要求，为操作目标定义所有可能状态集合，包括初始状态、操作状态、完成状态、失败状态；

(2)检查每个操作目标是否处于初始状态，若有操作目标初始状态错误，则反馈错误信息，结束评价，等待重新开始；

(3)获取视频图像，检查每个操作目标当前状态；若所有操作目标都处于完成状态，则进行步骤(5)；若存在操作目标未在完成状态，且有目标状态处于操作状态，则进行步骤(4)；否则继续步骤(3)；

(4)获取视频图像，跟踪处于操作状态的操作目标后续状态变化，若该目标最终为完成状态，则获取该目标的ID并记录，并返回步骤3；若该目标最终为失败状态，则反馈信息，结束评价；

(5)依次获取操作目标到达完成状态的ID，得到完成序列；判断该序列顺序是否符合操作逻辑的空间顺序要求，根据结果反馈信息，结束评价；

进一步地，所述的每个操作目标在评价过程中有且仅有一个唯一ID，与其所处的空间位置、状态无关；所述的状态集合包括但不限于初始状态、操作状态、完成状态、失败状态，其中操作状态是唯一且可识别的，初始状态、完成状态与失败状态为互斥关系。

如图5所示，一种基于该系统的操作时间顺序评价方法，该方法的步骤具体如下：

(1)存在多项操作内容，每项操作内容赋予唯一ID；根据操作考核要求，为每一项操作内容定义状态集合：初始状态、完成状态、失败状态；

(2)根据考核要求，将操作内容进行排序，获得操作逻辑的时间顺序ID序列A；

(3)获取视频图像，检查每项操作内容当前状态；若存在操作内容状态发生变化，则进行步骤(4)；若收到评价结束信号，则进行步骤(5)；否则继续步骤(3)；

(4)获取视频图像，跟踪状态变化的操作内容，若该操作内容为从初始状态变化为完成状态，则获取该操作内容的ID并记录，并返回步骤3；若该操作内容为从初始状态变化为失败状态，则反馈信息，结束评价；若该操作内容为其他状态变化情况，则直接返回步骤3；

(5)依次获取记录的操作内容ID，得到当前操作逻辑的时间顺序序列B；判断序列A与B是否相同，根据结果反馈信息，结束评价；

进一步地，所述的每项操作内容在评价过程中有且仅有一个唯一ID，操作内容可重复进行；所述的状态集合包括但不限于初始状态、完成状态、失败状态，其中每项操作内容的初始状态、完成状态与失败状态为互斥关系；评价结束信号可以是考核时间限制或学员选择结束考核的外部指令。

实施例1：

如图2所示，下面以实训机器人操作中，拆卸电机时拧螺丝为例，具体说明基于视觉的实训机器人操作逻辑评价系统使用方法及其操作空间顺序评价方法。

(1)拆卸电机时，需要拧6颗固定螺丝，学员的头戴式摄像机可以拍摄到相应的操作画面，大致如图2所示；视频数据发送到处理单元(可以进行深度学习的计算机或服务器)，对学员拆卸电机时的操作空间顺序进行评价。根据考核要求，拆卸时操作螺丝的先后顺序必须以处于对角线位置的两颗螺丝为一对，依次进行拆卸，不可以连续拆卸相邻或相隔一个位置的两颗螺丝。

(2)从左上角起，顺时针对六颗螺丝进行编号a，b，c，d，e，f，定义初始状态为螺丝在螺孔中，操作状态为扳手接触螺丝操作，完成状态为只有螺孔无螺丝，各状态示意图如图2所示。

(3)检查每颗螺丝是否处于初始状态，若有螺丝未处于初始状态，则反馈错误信息，结束评价；

(4)获取视频图像，判断每颗螺丝当前状态；当存在某颗螺丝变为操作状态，则进行步骤5；否则继续步骤4；

(5)获取视频图像，跟踪处于操作状态的螺丝后续状态变化，若螺丝最终为完成状态，则记录该螺丝编号，并返回步骤4；若该螺丝未完成状态，则反馈错误信息，结束评价；

(6)依次记录到达完成状态的螺丝编号，获得完成序列；将该序列2个字母一组，依顺序分为3段，判断3段序列是否在以下集合中{ad，da，be，eb，cf，fc}；若在集合中，返回结果操作正确，否则返回操作错误；例如，若得到依次完成状态的螺丝编号为adebfc，则得到3段序列ad，eb，fc，均在{ad，da，be，eb，cf，fc}集合中，最后返回结果操作正确；若得到依次完成状态的螺丝编号为abedfc，则得到3段序列ab，ed，fc，其中ab，ed不在{ad，da，be，eb，cf，fc}集合中，最后返回结果操作错误。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

实施例2：

如图3所示，下面以实训机器人操作中，码垛搬运任务为例，具体说明基于视觉的实训机器人操作逻辑评价系统使用方法及其操作时间顺序评价方法。

(1)学员操作机器人搬运码垛时，需要搬运三种不同类型的码垛，周围环境的视频采集装置可以拍摄到相应的操作画面，大致如图3所示；视频数据发送到处理单元(可以进行深度学习的计算机或服务器)，对机器人搬运码垛时的操作时间顺序进行评价。根据考核要求，需将码垛从起始位置搬运至目标位置，摆放成相应的任务垛型，且必须先完成A类码垛，再完成B类码垛，最后完成C类码垛搬运，码垛任务垛型如图3中所示；搬运完成后，机器人须回到安全工作原点。

(2)将码垛搬运任务完成分为4步操作：完成A类码垛搬运且完成任务垛型；完成B类码垛搬运且完成任务垛型；完成C类码垛搬运且完成任务垛型；机器人回到安全工作原点。4个步骤依次编号a、b、c、d。定义初始状态为码垛在起始位置，完成状态为码垛在目标位置且垛型符合要求；机器人无初始状态，完成状态为回到工作原点后静止。

(3)检查码垛是否处于初始状态，若有码垛未处于初始状态，则反馈错误信息，结束评价；

(4)获取视频图像，判断每种码垛当前状态；当存在某种码垛离开初始状态，则进行步骤5；否则继续步骤4；若所有步骤都处于完成状态，结束评价。

(5)获取视频图像，跟踪码垛后续状态变化，若某种码垛最终为完成状态，则记录该码垛搬运步骤对应编号，并返回步骤4；若该码垛搬运最终未达到完成状态，则反馈错误信息，结束评价；

(6)依次记录到达完成状态的步骤编号，获得完成序列；判断序列是否为abcd；若是，返回结果操作正确，否则返回操作错误。例如，若得到依次完成状态的步骤编号为abcd，则最后返回结果操作正确；若得到依次完成状态的步骤编号为bcda，则最后返回结果操作错误

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (7)

1.一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，该系统包括实训机器人平台、采集单元和处理单元、空间顺序评价模块和时间顺序评价模块；

所述实训机器人平台用于考核学员的操作环境与对象；

所述采集单元用于采集考核学员的多视角操作视频，并实时发送视频流到处理单元；

所述处理单元用于整合采集单元传输的视频数据，对视频进行跟踪与识别；

所述空间顺序评价模块用于基于处理单元跟踪与识别的视频数据，判断每个操作目标的操作状态，将最终的每个操作目标完成的操作状态序列与实训机器人平台操作逻辑的空间顺序要求对比，进行反馈评价；所述空间顺序评价模块进行反馈评价的具体过程如下：

（1）实训机器人平台存在多个操作目标，每个操作目标赋予唯一ID；根据操作考核要求，为操作目标定义所有可能状态集合，包括初始状态、操作状态、完成状态、失败状态；

（2）检查实训机器人平台的每个操作目标是否处于初始状态，若有操作目标初始状态错误，则反馈错误信息，结束评价，等待重新开始；

（3）获取处理单元处理的视频图像，检查每个操作目标当前状态；若所有操作目标都处于完成状态，则进行步骤（5）；若存在操作目标未在完成状态，且有目标状态处于操作状态，则进行步骤（4）；否则继续步骤（3）；

（4）获取处理单元处理的视频图像，跟踪处于操作状态的操作目标后续状态变化，若该操作目标最终为完成状态，则获取该操作目标的ID并记录，并返回步骤（3）；若该操作目标最终为失败状态，则反馈信息，结束评价；

（5）依次获取操作目标到达完成状态的ID，得到完成序列；判断该序列顺序是否符合操作逻辑的空间顺序要求，根据结果反馈信息，结束评价；

所述时间顺序评价模块用于基于处理单元跟踪与识别的视频数据，判断每项操作内容的状态变化，将最终每项操作内容完成的操作逻辑的时间顺序序列与实训机器人平台操作逻辑的时间顺序要求对比，进行反馈评价；所述时间顺序评价模块进行反馈评价的具体过程如下：

（1）实训机器人平台存在多项操作内容，每项操作内容赋予唯一ID；根据操作考核要求，为每一项操作内容定义状态集合：初始状态、完成状态、失败状态；

（2）根据考核要求，将操作内容进行排序，获得操作逻辑的时间顺序ID序列A；

（3）获取处理单元处理的视频图像，检查每项操作内容当前状态；若存在操作内容状态发生变化，则进行步骤（4）；若收到评价结束信号，则进行步骤（5）；否则继续步骤（3）；

（4）获取处理单元处理的视频图像，跟踪状态变化的操作内容，若该操作内容为从初始状态变化为完成状态，则获取该操作内容的ID并记录，并返回步骤（3）；若该操作内容为从初始状态变化为失败状态，则反馈信息，结束评价；

（5）依次获取记录的操作内容ID，得到当前操作逻辑的时间顺序序列B；判断序列A与B是否相同，根据结果反馈信息，结束评价。

2.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，所述实训机器人平台包括各种型号功能的工业机器人培训系统。

3.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，所述采集单元为视频采集装置，采用头戴式摄像机，部署在考核学员身上和周围操作环境中，从多视角拍摄考核学员的操作画面，确保清晰无遮挡获取视频数据。

4.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，所述处理单元为能够实现深度学习图像处理的计算设备，包括计算机、服务器，用于分析和处理从采集单元接收到的视频数据，对视频中各种操作目标进行识别与跟踪。

5.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，所述的每个操作目标在评价过程中有且仅有一个唯一ID，与其所处的空间位置、状态无关；所述操作状态是唯一且可识别的，初始状态、完成状态与失败状态为互斥关系。

6.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，所述的每项操作内容在评价过程中有且仅有一个唯一ID，操作内容可重复进行；所述每项操作内容的初始状态、完成状态与失败状态为互斥关系。

7.根据权利要求1所述的一种基于视觉的实训机器人操作逻辑评价系统，其特征在于，所述评价结束信号是考核时间限制或学员选择结束考核的外部指令。