CN115797119A - 智能训练系统及其操作方法 - Google Patents

Abstract

本发明公开一种智能训练系统及其操作方法，该操作方法包括利用采集识别单元进行预设行为数据样本采集，利用计算处理单元基于图像识别神经网络生成深度学习网络模型，采集识别单元与计算处理单元通信连接；利用采集识别单元获取受训人员行为数据样本并形成图像数据，计算处理单元读取采集识别单元所采集的图像数据，并通过深度学习网络模型对图像数据进行处理，以确认受训人员的受训情况；根据受训人员的受训情况生成受训结果。本发明中，通过计算机视觉搭配深度学习网络模型进行数据采集和模型训练，取代现有的现场人员训练及人员检测，提升受训人员的训练质量和效率，且训练结果客观公正。

Description

智能训练系统及其操作方法

技术领域

本发明涉及一种智能培训领域，尤其涉及一种智能训练系统以及操作方法。

背景技术

目前，培训工作一般由人员面对面或通过网络来实施教学，普遍花费时间较多。就消防培训来说，其是现代生产生活中极为重要的项目之一，为生活、工作场所中的消防事故进行演练以提升人们的消防事故处理能力。以一家制造型工厂的消防装备穿戴训练为例，若每年需要进行消防装备穿戴培训的对象为200人，以每批次同时训练5人、每次1小时为例，需要分40批次，耗时40h，耗费较多人力与时间来进行培训的动作指导与记录。此外，目前是由训练组成员判定受训人员的操作是否合格，人工判定存在一定误差，影响训练结果。

因此，急需一种智能训练系统及其操作方法，以减轻训练负担并提升训练效果。

发明内容

本发明的目的在于提供一种智能训练系统及其操作方法，以解决上述问题。

为了达到上述目的，本发明提供一种智能训练系统的操作方法，其包括，

步骤A，利用采集识别单元进行预设行为数据样本采集，利用计算处理单元基于图像识别神经网络生成深度学习网络模型，所述采集识别单元与所述计算处理单元通信连接；

步骤B，利用所述采集识别单元获取受训人员行为数据样本并形成图像数据，所述计算处理单元读取所述采集识别单元所采集的所述图像数据，并通过所述深度学习网络模型对所述图像数据进行处理，以确认所述受训人员的受训情况，所述受训情况包括操作步骤、每一步骤花时以及总体花时；以及

步骤C，根据所述受训人员的所述受训情况生成受训结果，所述受训结果包括总体花时是否达标、操作步骤是否有误以及需强化的步骤。

作为可选的技术方案，所述步骤C还包括根据所述受训人员的所述受训情况建立受训人员数据库，所述受训人员数据库中包含每位受训人员的总受训次数、总受训时数、最新成绩、最好成绩以及当前建议。

作为可选的技术方案，于所述步骤A中，所述预设行为由操作动作标准的人员进行标准行为演示。

作为可选的技术方案，所述深度学习网络模型为Yolo v5算法模型。

作为可选的技术方案，所述采集识别单元包含镜头和图像采集卡，所述镜头用于将所述受训人员成像到视觉传感器的靶面上，将其转变为电信号，所述图像采集卡用于将所述电信号转变为数字图像信息并存储为所述图像数据。

此外，本发明还提出一种智能训练系统，其包括采集识别单元和计算处理单元。采集识别单元用于进行预设行为数据样本采集，所述采集识别单元还用于采集受训人员行为数据样本并形成图像数据；计算处理单元通信连接所述采集识别单元；所述计算处理单元利用所述预设行为数据样本基于图像识别神经网络生成深度学习网络模型，且，所述计算处理单元还用于读取所述采集识别单元所采集的所述图像数据，并通过所述深度学习网络模型对所述图像数据进行处理，以确认所述受训人员的受训情况，所述受训情况包括操作步骤、每一步骤花时以及总体花时；进一步的，所述计算处理单元还根据所述受训人员的所述受训情况生成受训结果，所述受训结果包括总体花时是否达标、操作步骤是否有误以及需强化的步骤。

作为可选的技术方案，所述计算处理单元还根据所述受训人员的所述受训情况建立受训人员数据库，所述受训人员数据库中包含每位受训人员的总受训次数、总受训时数、最新成绩、最好成绩以及当前建议。

作为可选的技术方案，所述预设行为由操作动作标准的人员进行标准行为演示。

作为可选的技术方案，所述深度学习网络模型为Yolo v5算法模型。

作为可选的技术方案，所述采集识别单元包含镜头和图像采集卡，所述镜头用于将所述受训人员成像到视觉传感器的靶面上，将其转变为电信号，所述图像采集卡用于将所述电信号转变为数字图像信息并存储为所述图像数据。

本发明中，通过计算机视觉(CV)搭配深度学习网络模型(如Yolo V5算法模型)进行数据采集和模型训练，取代现有的现场人员训练及人员检测，通过视觉影像辨识和肢体辨识来获取受训人员的动作行为，并计算处理出每位受训人员的操作步骤、花费时间等，形成个人训练成长档案。此外，将每一次的训练结果以例如报表的方式传送至相关人员，以提升受训人员的训练质量和效率，且训练结果客观公正。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明的智能训练系统的操作方法的流程图；

图2为本发明的智能训练系统的方框图。

具体实施方式

为使对本发明的目的、构造、特征及其功能有进一步的了解，兹配合实施例详细说明如下。

本发明提出了一种智能训练系统，以在减轻训练人员训练负担的同时提高训练效果。请参考图1及图2，图1为本发明中智能训练系统的操作方法的流程图，图2为本发明的智能训练系统的方框图。

本发明中，智能训练系统10包括采集识别单元110以及计算处理单元120。采集识别单元110用于进行预设行为数据样本采集，采集识别单元110还用于采集受训人员行为数据样本并形成图像数据。计算处理单元120通信连接采集识别单元110。计算处理单元120利用所述预设行为数据样本基于图像识别神经网络生成深度学习网络模型，且，计算处理单元120还读取采集识别单元110所采集的受训人员行为数据样本所形成的所述图像数据，并通过前述深度学习网络模型对所述图像数据进行处理，以确认受训人员的受训情况，受训情况包括操作步骤、每一步骤花时以及总体花时；进一步的，根据受训人员的受训情况生成受训结果，受训结果包括总体花时是否达标、操作步骤是否有误以及需强化的步骤。

本发明中，智能训练系统的操作方法包含如下步骤：

步骤A，利用采集识别单元110进行预设行为数据样本采集，利用计算处理单元120基于图像识别神经网络生成深度学习网络模型，采集识别单元110与计算处理单元120通信连接。

实际操作中，预设行为可为操作动作较为标准的人员所进行的操作行为。预设行为数据样本的采集方法为：通过例如无线网络对接受训现场的信息采集设备，由操作动作较为标准的人员进行标准行为演示，信息采集设备获取所述行为演示的数据并存储至大数据平台形成预设行为数据样本。

前述用于对预设行为数据样本进行采集的信息采集设备可采用计算机视觉(CV)技术。例如，信息采集设备包含光源、镜头、图像采集卡以及处理单元。具体的，光源为视觉系统提供足够的照度，镜头将训练场地中的操作人员成像到视觉传感器(CCD)的靶面上，将其转变为电信号，图像采集卡将电信号转变为数字图像信息，即把每一点的亮度转变为灰度级数据，并存储为一幅或多幅图像；处理单元实现图像存储、处理，并给出测量结果和输出控制信号。本实施例中，采集识别单元110可为镜头和图像采集卡的组合。

本发明中，通过采集识别单元110对操作动作较为标准人员的整个操作过程中的行为进行图像采集，计算处理单元120对采集到的图像进行标注，然后基于图像识别神经网络对标注数据进行训练，生成可识别人员肢体及各种训练行为的深度学习网络模型。实际操作中，采集识别单元110与计算处理单元120可通过无线网络进行通信连接，但不以此为限。

对预设行为数据样本深度学习训练的过程可包括：

对操作动作较为标准人员所进行的操作行为数据样本进行预处理，并对操作人员的行为数据样本以标签进行标注；预处理包括清洗、压缩和裁剪；通过对比不同的模型算法结果，选取合适的算法模型，将样本模型输入算法框架进行特征，参数共享，并对模型进行迭代训练，调整学习率，批次等，使模型收敛，最终生成匹配的深度学习网络模型。实际操作中，亦可在生成深度学习网络模型后，不断增加新的数据样本进行模型的迭代更新，以实现对模型的不断完善。

步骤B，受训人员进行训练，利用采集识别单元110获取受训人员行为数据样本并形成图像数据，计算处理单元120读取采集识别单元110所采集的受训人员行为数据样本所形成的图像数据，并通过前述深度学习网络模型对所述图像数据进行处理，以确认所述受训人员的受训情况，所述受训情况包括操作步骤、每一步骤花时以及总体花时。

实际操作中，可通过所生成的深度学习网络模型对受训人员行为数据样本进行卷积和池化，提取图像中浅层特征，浅层特征包括边缘轮廓和线条。输出受训人员行为数据样本的特征图，通过特征图与标签进行拟合，从而判断出是否是某一类别数据，以进行后续判断。

步骤C，根据所述受训人员的受训情况生成受训结果，所述受训结果包括总体花时是否达标、操作步骤是否有误以及需强化的步骤。

实际操作中，计算处理单元120还可根据受训人员的受训情况建立受训人员数据库，受训人员数据库中包含每位受训人员的总受训次数、总受训时长、最新成绩、最好成绩以及当前建议等，并针对每一次的训练结果进行排名，针对每一位受训人员的训练情况进行分析，以便后续的针对性练习，便于提升训练效果；并在后续的训练中实时更新受训人员数据库信息，以便及时了解每一位受训人员的最新情况。

以受训人员进行消防装备穿戴进行训练为例：

步骤A，由训练组人员进行预设行为的演示，利用采集识别单元110进行预设行为数据样本采集，并利用与采集识别单元110无线通信连接的计算处理单元120基于图像识别神经网络生成深度学习网络模型。本实施例中，经由训练生成Yolo v5算法模型。

步骤B，每一受训人员在预设区域内完成消防装备的穿戴，在此过程中采集识别单元110获取、识别受训人员的动作行为并形成图像数据，计算处理单元120根据采集识别单元所采集的图像数据，并通过训练生成的Yolo V5算法模型确认出各受训人员的受训情况，受训情况包括消防衣穿戴的操作步骤、每一步骤花时以及总体花时等。

步骤C，根据受训人员的受训情况生成受训结果，受训结果包括总体消防衣穿戴花时是否达标、消防衣穿戴的操作步骤是否有误以及需强化的步骤。实际操作中，受训结果可通过信息发送、邮件寄送等方式传送至相关人员，以便及时了解受训情况。

本实施例中，受训人员A的受训情况及受训结果如下表一，受训人员B的受训情况及受训结果如下表二，受训人员C的受训情况及受训结果如下表三。

表一

表二

表三

由表一可知，受训人员A总计花时175秒，整体成绩排名靠前，操作步骤正确，但总体花时仍未达标。其中，穿戴弱项为裤子，占整体花时的26％，后续可针对此步骤进行专门练习，利于成绩提升。

由表二可知，受训人员B总计花时203秒，整体成绩不甚理想，操作步骤有误，且总体花时不达标。其中，穿戴弱项为头盔和手套，两个步骤占整体花时的48％，后续可针对此两步骤进行专门练习，利于成绩提升。

由表三可知，受训人员C总计花时160秒，整体成绩排名靠前，操作步骤正确、总体花时达标，且无明显穿戴弱项，则可考虑结束此项训练。

本实施例中，可采集识别每位受训人员的完整训练过程，以穿戴消防装备训练来说，可以完整记录每位受训人员的穿戴时间，并且针对训练过程中的穿戴顺序加以识别，并记录每一穿戴步骤所花费的时间，以分析出受训人员的穿戴弱项并给出本次受训建议(或需强化的步骤)，例如有些学员无需强化的步骤，可结束训练，从而训练结果客观、公正，且灵活、合理设计训练时间，优化训练效果。

此外，本实施例还可以根据总计花时或单项花时进行排名(例如形成下表四)，以便受训人员及时了解自身目前情况；进一步的，还可以根据所有受训人员的全部受训情况生成受训人员数据库(如下表五)，以便相关人员(如训练组人员)及时了解总体受训情况。相关人员根据每位受训人员的总体受训次数、总体受训时数、最新一次训练成绩、历史最好成绩等确认下一步训练计划，有效提升训练效果。

表四

本次消防装备穿戴排名	姓名	总体花时
			1	xx(受训人员C)	160秒
2	xx(受训人员A)	175秒
			3	xx(受训人员B)	203秒
…	…	…

表五

本实施例中，使用Yolo V5算法模型来学习预设行为、受训人员穿戴行为辨识，记录分析每位受训人员的穿戴时间、分析个人穿戴弱项，并针对各位受训人员进行训练分数排名。实际操作中，针对每一次的训练结果，可通过报表统计、邮件发送等方式送达至相关人员，以便及时了解受训人员的训练情况，以利下一次训练中的针对性练习。此外，还可针对每位受训人员的每次训练结果进行报表统计等，以建立每位受训人员的训练成长档案，以便相关人员及时了解每位受训人员的成长情况。

本实施例中，以穿戴消防装备为例进行说明，实际操作中，可进行的训练还可扩大至其他防护用具或应急工具使用等训练中，例如灭火器的使用等，不以此为限。

本发明中，通过计算机视觉(CV)搭配深度学习网络模型(如Yolo V5算法模型)进行数据采集和模型训练，取代现有的现场人员训练及人员检测，通过视觉影像辨识和肢体辨识来获取受训人员的动作行为，并计算处理出每位受训人员的操作步骤、花费时间等，形成个人训练成长档案。此外，将每一次的训练结果以例如报表的方式传送至相关人员，以提升受训人员的训练质量和效率，且训练结果客观公正。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种智能训练系统的操作方法，其特征在于包括，

步骤A，利用采集识别单元进行预设行为数据样本采集，利用计算处理单元基于图像识别神经网络生成深度学习网络模型，所述采集识别单元与所述计算处理单元通信连接；

步骤B，利用所述采集识别单元获取受训人员行为数据样本并形成图像数据，所述计算处理单元读取所述采集识别单元所采集的所述图像数据，并通过所述深度学习网络模型对所述图像数据进行处理，以确认所述受训人员的受训情况，所述受训情况包括操作步骤、每一步骤花时以及总体花时；以及

步骤C，根据所述受训人员的所述受训情况生成受训结果，所述受训结果包括总体花时是否达标、操作步骤是否有误以及需强化的步骤。

2.根据权利要求1所述的智能训练系统的操作方法，其特征在于，所述步骤C还包括根据所述受训人员的所述受训情况建立受训人员数据库，所述受训人员数据库中包含每位受训人员的总受训次数、总受训时数、最新成绩、最好成绩以及当前建议。

3.根据权利要求1所述的智能训练系统的操作方法，其特征在于，于所述步骤A中，所述预设行为由操作动作标准的人员进行标准行为演示。

4.根据权利要求1所述的智能训练系统的操作方法，其特征在于，所述深度学习网络模型为Yolo v5算法模型。

5.根据权利要求1所述的智能训练系统的操作方法，其特征在于，所述采集识别单元包含镜头和图像采集卡，所述镜头用于将所述受训人员成像到视觉传感器的靶面上，将其转变为电信号，所述图像采集卡用于将所述电信号转变为数字图像信息并存储为所述图像数据。

6.一种智能训练系统，其特征在于包括，

采集识别单元，用于进行预设行为数据样本采集，所述采集识别单元还用于采集受训人员行为数据样本并形成图像数据；以及

计算处理单元，通信连接所述采集识别单元；所述计算处理单元利用所述预设行为数据样本基于图像识别神经网络生成深度学习网络模型，且，所述计算处理单元还用于读取所述采集识别单元所采集的所述图像数据，并通过所述深度学习网络模型对所述图像数据进行处理，以确认所述受训人员的受训情况，所述受训情况包括操作步骤、每一步骤花时以及总体花时；进一步的，所述计算处理单元还根据所述受训人员的所述受训情况生成受训结果，所述受训结果包括总体花时是否达标、操作步骤是否有误以及需强化的步骤。

7.根据权利要求6所述的智能训练系统，其特征在于，所述计算处理单元还根据所述受训人员的所述受训情况建立受训人员数据库，所述受训人员数据库中包含每位受训人员的总受训次数、总受训时数、最新成绩、最好成绩以及当前建议。

8.根据权利要求6所述的智能训练系统，其特征在于，所述预设行为由操作动作标准的人员进行标准行为演示。

9.根据权利要求6所述的智能训练系统，其特征在于，所述深度学习网络模型为Yolov5算法模型。

10.根据权利要求6所述的智能训练系统，其特征在于，所述采集识别单元包含镜头和图像采集卡，所述镜头用于将所述受训人员成像到视觉传感器的靶面上，将其转变为电信号，所述图像采集卡用于将所述电信号转变为数字图像信息并存储为所述图像数据。

Images