CN111753599A - 人员操作流程检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了人员操作流程检测方法、装置、电子设备及存储介质，该方法包括：获取人员操作流程检测场景的图像数据，其中，图像数据中目标物体上有标签；基于标签，对图像数据进行分析，得到图像数据中目标物体的位置；按照目标物体的位置，对图像数据中目标物体的操作过程进行分析，得到行为分析结果；将行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。本申请实施例的人员操作流程检测方法，实现了人员操作流程的自动检测，并且通过关联标签及目标物体，增加了目标物体检测及跟踪的准确度，人员操作流程检测精确度高，适用范围广。

Description

人员操作流程检测方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及人员操作流程检测方法、装置、电子设备及存储介质。

背景技术

操作规范是一种标准的作业程序，在生产及生活中具有重要意义。例如，在生产线上，人员的不规范规范操作会严重影响产品质量；在科学实验中，人员的不规范操作会影响实验结果，严重时甚至会造成人员伤亡。

相关技术中，通过安检人员对各人员的人员操作流程进行监督，但是人工监督的方式增加了人工工作量，因此希望能够实现人员操作流程的自动检测。

发明内容

本申请实施例的目的在于提供一种人员操作流程检测方法、装置、电子设备及存储介质，以实现对人员操作流程的自动检测。具体技术方案如下：

第一方面，本申请实施例提供了一种人员操作流程检测方法，所述方法包括：

获取人员操作流程检测场景的图像数据，其中，所述图像数据中目标物体上有标签；

基于所述标签，对所述图像数据进行分析，得到所述图像数据中目标物体的位置；

按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果；

将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

可选的，所述按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果，包括：

按照各所述目标物体的位置，在所述图像数据中分别对所述目标物体进行跟踪，得到各所述目标物体的相关参数；

对各所述目标物体的相关参数进行综合分析，得到所述图像数据的行为分析结果。

可选的，所述目标物体包括光源器件、透镜及光屏，所述相关参数为刻度尺位置读数；

所述对各所述目标物体的相关参数进行综合分析，得到所述图像数据的行为分析结果，包括：

按照所述光源器件的刻度尺位置读数、所述透镜的刻度尺位置读数及所述光屏的刻度尺位置读数，确定时序上物距及像距的分析结果，其中，所述物距为所述光源器件与所述透镜间的距离，所述像距为所述透镜与所述光屏间的距离。

可选的，所述目标物体还包括至少三个可移动底座，所述光源器件、所述透镜及所述光屏分别固定在不同的可移动底座上，其中，令固定所述光源器件的可移动底座为第一可移动底座，固定所述透镜的可移动底座为第二可移动底座，固定所述光屏的可移动底座为第三可移动底座；所述按照各所述目标物体的位置，在所述图像数据中分别对所述目标物体进行跟踪，得到各所述目标物体的相关参数，包括：

按照所述第一可移动底座的位置，在所述图像数据中对所述光源器件进行跟踪，得到所述光源器件的刻度尺位置读数；

按照所述第二可移动底座的位置，在所述图像数据中对所述透镜进行跟踪，得到所述透镜的刻度尺位置读数；

按照所述第三可移动底座的位置，在所述图像数据中对所述光屏进行跟踪，得到所述光屏的刻度尺位置读数。

可选的，所述行为分析结果包括多个行为项，所述预设目标规则包括多个规范项；

所述将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果，包括：

将各所述行为项分别与对应的规范项进行匹配，得到各行为项的匹配结果；

按照预设的各行为项分数及各行为项的匹配结果，对所述行为分析结果进行打分，得到人员操作流程检测结果。

第二方面，本申请实施例提供了一种人员操作流程检测装置，所述装置包括：

图像数据获取模块，用于获取人员操作流程检测场景的图像数据，其中，所述图像数据中目标物体上有标签；

目标物体检测模块，用于基于所述标签，对所述图像数据进行分析，得到所述图像数据中目标物体的位置；

操作行为分析模块，用于按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果；

规范操作匹配模块，用于将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

可选的，所述操作行为分析模块，包括：

相关参数确定子模块，用于按照各所述目标物体的位置，在所述图像数据中分别对所述目标物体进行跟踪，得到各所述目标物体的相关参数；

参数综合分析子模块，用于对各所述目标物体的相关参数进行综合分析，得到所述图像数据的行为分析结果。

可选的，所述目标物体包括光源器件、透镜及光屏，所述相关参数为刻度尺位置读数；

所述参数综合分析子模块，具体用于：

按照所述光源器件的刻度尺位置读数、所述透镜的刻度尺位置读数及所述光屏的刻度尺位置读数，确定时序上物距及像距的分析结果，其中，所述物距为所述光源器件与所述透镜间的距离，所述像距为所述透镜与所述光屏间的距离。

可选的，所述目标物体还包括至少三个可移动底座，所述光源器件、所述透镜及所述光屏分别固定在不同的可移动底座上，其中，令固定所述光源器件的可移动底座为第一可移动底座，固定所述透镜的可移动底座为第二可移动底座，固定所述光屏的可移动底座为第三可移动底座，所述相关参数确定子模块，具体用于：

按照所述第一可移动底座的位置，在所述图像数据中对所述光源器件进行跟踪，得到所述光源器件的刻度尺位置读数；按照所述第二可移动底座的位置，在所述图像数据中对所述透镜进行跟踪，得到所述透镜的刻度尺位置读数；按照所述第三可移动底座的位置，在所述图像数据中对所述光屏进行跟踪，得到所述光屏的刻度尺位置读数。

可选的，所述行为分析结果包括多个行为项，所述预设目标规则包括多个规范项；

所述规范操作匹配模块，包括：

分项匹配子模块，用于将各所述行为项分别与对应的规范项进行匹配，得到各行为项的匹配结果；

分析打分子模块，用于按照预设的各行为项分数及各行为项的匹配结果，对所述行为分析结果进行打分，得到人员操作流程检测结果。

第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的人员操作流程检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实上述第一方面任一所述的人员操作流程检测方法。

本申请实施例提供的人员操作流程检测方法、装置、电子设备及存储介质，获取人员操作流程检测场景的图像数据，其中，图像数据中目标物体上有标签；基于标签，对图像数据进行分析，得到图像数据中目标物体的位置；按照目标物体的位置，对图像数据中目标物体的操作过程进行分析，得到行为分析结果；将行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。实现了人员操作流程的自动检测，并且通过关联标签及目标物体，增加了目标物体检测及跟踪的准确度，人员操作流程检测精确度高，适用范围广。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的人员操作流程检测方法的一种示意图；

图2为本申请实施例的人员操作流程检测装置的第一种示意图；

图3为本申请实施例的人员操作流程检测装置的第二种示意图；

图4为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先，对本申请实施例中的专业术语进行解释：

CNN(Convolutional Neural Network，卷积神经网络)：一种能够自动学习数据特征与表达的算法。

YoloV3(You Only Look Once Version 3，你只看一次版本3)：一种目标检测算法，能够检测一张图像或一帧视频中目标的位置。

实验智能评分：基于人工智能算法，通过对学生进行实验操作的过程以及仪器进行检测识别，并对检测结果进行分析，对比实验考点的评分标准对考点进行智能评分。

人员操作流程的监管对于生产及实验场景具有重要意义，为了实现人员操作流程的自动检测，本申请实施例提供了一种人员操作流程检测方法，参见图1，该方法包括：

S101，获取人员操作流程检测场景的图像数据，其中，上述图像数据中目标物体上有标签。

本申请实施例的人员操作流程检测方法可以由电子设备实现，该电子设备包括存储器及处理器，存储器上存储有计算机程序，处理器执行存储器上存放的计算机程序时，实现本申请实施例的人员操作流程检测方法。

电子设备获取人员操作流程检测场景的图像数据，该图像数据可以为电子设备通过外接或内置的摄像机实时采集的，图像数据也可以为电子设备从数据库中获取的录播数据。目标物体为与人员操作流程检测相关的器材，例如，在光学实验中，目标物体可以为光学用具或底座等；在包装产线上，目标物体可以为待封口包装等。

真实的目标物体上设置有标签，该标签可以为图像或字符等。因此图像数据中目标物体上也有标签。一般情况下不同类型目标物体的标签不同，具体可以按照实际的检测需求进行设定。为了有效区分各指定物体，可选的，各目标物体的标签不同。不同物体的标签不同，能够有效区分出每个目标物体。

S102，基于上述标签，对上述图像数据进行分析，得到上述图像数据中目标物体的位置。

电子设备可以通过预先训练的卷积神经网络对图像数据进行分析，确定图像数据中各标签的位置，并进一步根据标签的位置，确定各目标物体的位置。例如，预先训练的卷积神经网络可以包括两部分，第一部分识别图像数据中标签的位置框，第二部分识别图像数据中目标物体的位置框，然后在按照标签位置框与目标物体位置框的位置关系，将标签与目标物体进行关联。在一种可能的实施方式中，为了减少处理压力，预先训练的卷积神经网络可以包括两部分，第一部分识别图像数据中标签的位置框，第二部分按照标签的位置框，对标签位置框周围区域进行识别，从而得到目标物体的位置框。图像数据中标签及目标物体的数量可以为一个或多个此处不做限定。

具体的，电子设备可以针对图像数据中的每帧视频帧，均进行目标物体位置的获取。在一种可能的实施方式中，为了节省电子设备的处理资源，还可以采用抽样获取位置的方式。获取预设间隔数量；在图像数据中每间隔预设间隔数量的视频帧，便提取一帧视频帧，得到目标视频帧集合；基于标签，对目标视频帧集合进行分析，得到目标视频帧集合中目标物体的位置。将目标视频帧集合中目标物体的位置，等效为图像数据中目标物体的位置。

在实际识别过程中，目标物体的类型可能不易识别，例如凹透镜和凸透镜，计算机视觉技术识别成功率受环境影响大，在标签对应的目标物体的类型已知的情况下，可以按照标签准确得到目标物体的类型，并且还可以按照标签精准选取目标物体的检测算法。可选的，按照预先设定的标签与目标检测算法的对应关系，选取上述标签对应的目标检测算法，对图像数据进行分析，得到图像数据中目标物体的位置。标签对应的目标物体的类型是已知的，在此种情形下，可以直接根据标签选取相应类型的目标检测算法，对图像数据中标签周围的像素区域进行检测，从而快速确定目标物体的位置。

在针对计算机视觉技术识别成功率低的目标物体时，可以直接将标签周围的预设像素区域作为目标物体区域，从而得到目标物体的位置，增加人员操作流程检测方法的适用范围。例如，计算机视觉技术对羊毛及涤纶的识别成功率低，在生产场景中，预先在羊毛面料上设置标签A，在涤纶面料上设置标签B，利用卷积神经网络对图像数据进行分析，分别确定标签A位置框及标签B位置框，然后确定离标签A位置框最近的面料为羊毛面料，确定离标签B位置框最近的面料为涤纶面料，从而克服计算机视觉技术对羊毛及涤纶的识别成功率低的缺点，增加了适用范围。

在实际情况中，目标物体外观往往相对复杂，位置跟踪计算量大难度高。相比之下，标签的特征更容易检测，位置获取更加精确，因此可以通过跟踪标签实现跟踪目标物体，从而增加目标物体跟踪的准确度，可以适用于计算机视觉技术无法有效跟踪目标物体的场景，增加人员操作流程检测方法的适用范围。

S103，按照上述目标物体的位置，对上述图像数据中上述目标物体的操作过程进行分析，得到行为分析结果。

在只有一个目标物体或各目标物体的均独立分析时，针对每个目标物体，按照图像数据中目标物体的位置，对目标物体的操作过程进行分析，得到行为分析结果。例如，在包装产线上，每个产品的包装操作是独立的，根据每个待包装商品的位置，对图像数据中待包装商品的操作过程进行分析，得到行为分析结果。

在很多情况下，多个目标物体的操作是相互关联的，可选的，按照上述目标物体的位置，对上述图像数据中上述目标物体的操作过程进行分析，得到行为分析结果，包括：

步骤一，按照各上述目标物体的位置，在上述图像数据中分别对上述目标物体进行跟踪，得到各上述目标物体的相关参数。

电子设备在图像数据中分别针对每个目标物体进行跟踪，得到各目标物体的相关参数，该相关参数可以为目标物体的区域坐标。

步骤二，对各上述目标物体的相关参数进行综合分析，得到上述图像数据的行为分析结果。

电子设备按照预先设定的各目标物体间的关联计算方法，对目标物体的相关参数进行综合分析，得到图像数据的行为分析结果。例如，在一种产线人员操作流程检测场景中，目标物体包括涤纶材料及羊毛材料，分别将涤纶材料及羊毛材料加入到面料制作设备中，对涤纶材料的加入速率及羊毛材料的加入速度进行综合分析，得到图像数据的行为分析结果，即生产的面料中羊毛与涤纶的占比。

在一种实验人员操作流程检测场景中，可选的，上述目标物体包括光源器件、透镜及光屏，上述相关参数为刻度尺位置读数；上述对各上述目标物体的相关参数进行综合分析，得到上述图像数据的行为分析结果，包括：

按照上述光源器件的刻度尺位置读数、上述透镜的刻度尺位置读数及上述光屏的刻度尺位置读数，确定时序上物距及像距的分析结果，其中，上述物距为上述光源器件与上述透镜间的距离，上述像距为上述透镜与上述光屏间的距离。

透镜成像原理实验中，需要的物理参数为光源器件与透镜间的距离及透镜与光屏间的距离，因此需要对各目标物体的相关参数进行综合分析。可选的，相关参数还可以包括光具(包括光源器件、透镜及光屏)的高度，上述方法还包括：按照光源器件的高度、透镜的高度及光屏的高度，确定时序上成像轴的分析结果。

在上述实验人员操作流程检测场景中，可选的，上述目标物体还包括至少三个可移动底座，上述光源器件、上述透镜及上述光屏分别固定在不同的可移动底座上，其中，令固定上述光源器件的可移动底座为第一可移动底座，固定上述透镜的可移动底座为第二可移动底座，固定上述光屏的可移动底座为第三可移动底座；上述按照各上述目标物体的位置，在上述图像数据中分别对上述目标物体进行跟踪，得到各上述目标物体的相关参数，包括：

按照上述第一可移动底座的位置，在上述图像数据中对上述光源器件进行跟踪，得到上述光源器件的刻度尺位置读数；按照上述第二可移动底座的位置，在上述图像数据中对上述透镜进行跟踪，得到上述透镜的刻度尺位置读数；按照上述第三可移动底座的位置，在上述图像数据中对上述光屏进行跟踪，得到上述光屏的刻度尺位置读数。

可移动底座的数量可以按照实际情况进行设定，例如为三个、四个或更多。在透镜成像原理实验中，操作人员可以随机选取三个可移动底座进行操作。本申请实施例中的第一可移动底座、第二可移动底座及第三可移动底座并不是为了限定需要将光源器件、透镜及光屏等光具固定到指定的可移动底座上，而是为了区分固定各光具的可移动底座。例如，目标物体包括可移动底座A、可移动底座B、可移动底座C及可移动底座D共四个可移动底座，当光源器件固定在可移动底座A上时，可移动底座A为第一可移动底座；当光源器件固定在可移动底座C上时，可移动底座C为第一可移动底座。

电子设备获取各可移动底座的刻度尺位置读数，针对任一可移动底座，将该可移动底座的刻度尺位置读数作为该可移动底座上固定的光具的刻度尺位置读数。例如，光屏固定在可移动底座A上，可移动底座A的刻度尺位置读数为X，则光屏的刻度尺位置读数也为X，并且在移动可移动底座A时，光屏与标签A是同步移动的。由于光具位置定位准确度没有可移动底座定位准确度高，且可移动底座距离刻度尺更近(一般情况下可移动底座是在刻度尺上滑动的)，在本申请实施例中，通过可移动底座的刻度尺位置读数得到光具的刻度尺位置读数，检测到的读数更加准确，同时光屏移动跟踪也更加准确。

S104，将上述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

电子设备将行为分析结果与预设目标规则进行匹配，确定行为分析结果是否符合预设目标规则，从而得到人员操作流程检测结果。通常情况下，人员操作流程包括多个检测要点，可选的，上述行为分析结果包括多个行为项，上述预设目标规则包括多个规范项；上述将上述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果，包括：

步骤一，将各上述行为项分别与对应的规范项进行匹配，得到各行为项的匹配结果。

行为项与规范项的对应关系，可以按照重要动作等进行确定。例如规范项1的起始操作动作为动作A，结束操作动作为动作B，则电子设备按照动作A及动作B确定行为项，并将该行为项作为规范项1对应的行为项。电子设备针对每个行为项，将该行为项与该行为项对应的规范项进行匹配，得到该行为项的匹配结果。

步骤二，按照预设的各行为项分数及各行为项的匹配结果，对上述行为分析结果进行打分，得到人员操作流程检测结果。

预先为各行为项设置相应的分数(即行为项分数)，根据各行为项分数及各行为项的匹配结果，确定行为分析结果的得分，即人员操作流程检测结果。在一种可能的实施方式中，也可以不进行打分，直接将各行为项的匹配结果作为人员操作流程检测结果。

在本申请实施例中，实现了人员操作流程的自动检测，并且通过关联标签及目标物体，增加了目标物体检测及跟踪的准确度，人员操作流程检测精确度高，适用范围广。

本申请实施例的人员操作流程检测方法可以应用与产线人员操作流程检测或实验人员操作流程检测等场景中。下面以凸透镜成像实验为例，对本申请实施例的人员操作流程检测方法进行举例说明。

步骤一，获取人员操作流程检测场景的图像数据，其中，所述图像数据中目标物体上有标签。

电子设备通过相机实时采集人员操作实验过程中的图像数据，并保持对图像数据进行分析。

步骤二，基于所述标签，对所述图像数据进行分析，得到所述图像数据中目标物体的位置。

在进行位置检测前，电子设备可以先对图像数据进行裁剪及降采样等准备操作。通过计算机视觉技术，例如CNN等，分别检测图像数据中各视频帧中带标签的光源器件，带标签的凸透镜，带标签的可移动底座以及光屏，获取各光具在图像中的位置信息，在标签的辅助下，极大提升了对光源器件、凸透镜以及带标签的可移动底座检测的准确度。同时对带标签可移动底座附近的数字进行检测，并对各检测的结果进行跟踪。

步骤三，按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果。

首先对跟踪的结果根据每一个类别的索引进行拆分，并分配到与其类别相对应的变量中，例如凸透镜的索引为1，将跟踪结果中索引为1的相关参数保存到凸透镜的变量中；之后根据可移动底座标签的位置以及光具的位置的相互关系(从实验器材中可以得出每个可移动底座的上方都会有一个对应的光具，在图像中即光具与可移动底座位于同一位置，可以通过两者的位置关系进行筛选)筛选出正确的目标结果。

根据筛选出的正确的可移动底座的标签的位置信息，首先将可移动底座的位置信息校准到基准值(基准值为所有可移动底座标签的在图像中的平均高度)，然后再调整各个可移动底座上方相对应的光具的位置坐标(例如可移动底座1、2，可移动底座1对应的是光源器件，可移动底座2对应的是凸透镜，可移动底座1相较于基准值需要减少20个像素的高度，那么可移动底座对应的光源器件的坐标也需要相对应的减少20个像素的高度；可移动底座2相较于基准值需要增加10个像素的高度，那么可移动底座2对应的凸透镜的坐标也需要相对应的增加10个像素的高度)。

然后对数字进行识别，并将数字识别的结果进行拆分，将结果分配到对应的可移动底座下(检测的数字是在可移动底座附近的，则相对应识别出来的数字也是在可移动底座附近，检测结果与识别结果是一一对应的，数字检测位置与哪个可移动底座的位置最近，则对应识别出来的数字就分配到该可移动底座下。例如针对可移动底座1及可移动底座2，可移动底座1检测出来的数字坐标为数字30，31，32的坐标，可移动底座2检测出来的数字坐标为数字40，41，42的坐标，识别结果为30，31，32，40，41，42；6个数字坐标对应6个数字，前三个数字坐标与可移动底座1的位置最近，被分配到可移动底座1下，后三个数字与可移动底座2的位置最近，则被分配到可移动底座2下)，然后根据可移动底座标签中心的位置信息来算出精确到毫米的读数。如果遇到可移动底座在移动的过程中被遮挡的情况，需要视为异常情况进行处理，识别的示数需要根据与其最近的历史读数进行更新。

步骤四，将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

对凸透镜成像实验的各个考点当前状态的得分判断以及对某一时间段的所有考点状态量的总得分进行统计；当某一考点在规定时间段内的总得分满足得分的条件，即判定该考点得分；反之，则不得分。

对于位置考点当前状态的得分判断依据是判断凸透镜是否位于光屏以及光源器件的中间位置；对于高度考点的判断是基于标签的光源器件、基于标签的凸透镜以及光屏三者的中心是否位于同一高度；对于成像的考点则需要依赖于可移动底座标签中心所对应的读数来算出物距以及像距，从而计算出物距，像距以及焦距是否满足成像的条件，从而对该考点进行判断。

在本申请实施例中，结合标签，能够准确检测出光源器件，凸透镜，光屏以及移动底座的位置；然后基于对光具的检测，能够对刻度尺上的读数进行识别，从而可以对各个考点实现自动化评分。

本申请实施例还提供了一种人员操作流程检测装置，参见图2，该装置包括：

图像数据获取模块201，用于获取人员操作流程检测场景的图像数据，其中，上述图像数据中目标物体上有标签；

目标物体检测模块202，用于基于上述标签，对上述图像数据进行分析，得到上述图像数据中目标物体的位置；

操作行为分析模块203，用于按照上述目标物体的位置，对上述图像数据中上述目标物体的操作过程进行分析，得到行为分析结果；

规范操作匹配模块204，用于将上述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

可选的，上述操作行为分析模块203，包括：

相关参数确定子模块，用于按照各上述目标物体的位置，在上述图像数据中分别对上述目标物体进行跟踪，得到各上述目标物体的相关参数；

参数综合分析子模块，用于对各上述目标物体的相关参数进行综合分析，得到上述图像数据的行为分析结果。

可选的，上述目标物体包括光源器件、透镜及光屏，上述相关参数为刻度尺位置读数；

上述参数综合分析子模块，具体用于：

按照上述光源器件的刻度尺位置读数、上述透镜的刻度尺位置读数及上述光屏的刻度尺位置读数，确定时序上物距及像距的分析结果，其中，上述物距为上述光源器件与上述透镜间的距离，上述像距为上述透镜与上述光屏间的距离。

可选的，述目标物体还包括至少三个可移动底座，上述光源器件、上述透镜及上述光屏分别固定在不同的可移动底座上，其中，令固定上述光源器件的可移动底座为第一可移动底座，固定上述透镜的可移动底座为第二可移动底座，固定上述光屏的可移动底座为第三可移动底座，上述相关参数确定子模块，具体用于：

按照上述第一可移动底座的位置，在上述图像数据中对上述光源器件进行跟踪，得到上述光源器件的刻度尺位置读数；按照上述第二可移动底座的位置，在上述图像数据中对上述透镜进行跟踪，得到上述透镜的刻度尺位置读数；按照上述第三可移动底座的位置，在上述图像数据中对上述光屏进行跟踪，得到上述光屏的刻度尺位置读数。

可选的，上述行为分析结果包括多个行为项，上述预设目标规则包括多个规范项；

上述规范操作匹配模块204，包括：

分项匹配子模块，用于将各上述行为项分别与对应的规范项进行匹配，得到各行为项的匹配结果；

分析打分子模块，用于按照预设的各行为项分数及各行为项的匹配结果，对上述行为分析结果进行打分，得到人员操作流程检测结果。

在一种可能的实施方式中，本申请实施例的人员操作流程检测装置具体应用于凸透镜成像实验的人员操作流程检测。

图像数据获取模块201，具体用于通过相机实时采集人员操作实验过程中的图像数据，并保持将图像数据输入到目标物体检测模块202。

目标物体检测模块202，包括光具检测子模块302、数字检测子模块303、跟踪子模块304。

光具检测子模块302用于通过计算机视觉技术，例如CNN等，分别检测图像数据中各视频帧中带标签的光源器件，带标签的凸透镜，带标签的可移动底座以及光屏，获取各光具在图像中的位置信息，在标签的辅助下，极大提升了对光源器件、凸透镜以及带标签的可移动底座检测的准确度。数字检测子模块303，用于对带标签可移动底座附近的数字进行检测。跟踪子模块304，用于对所有检测的结果进行跟踪，并将跟踪信息传入操作行为分析模块203。

可选的，参见图3，目标物体检测模块202，还包括图像预处理子模块301，用于对图像数据进行裁剪及降采样等预处理。

操作行为分析模块203，包括输入解析与筛选子模块、位置校准子模块、数字识别与后处理子模块。

解析与筛选子模块，用于对跟踪的结果根据每一个类别的索引进行拆分，并分配到与其类别相对应的变量中，例如凸透镜的索引为1，将跟踪结果中索引为1的相关参数保存到凸透镜的变量中；之后根据可移动底座标签的位置以及光具的位置的相互关系(从实验器材中可以得出每个可移动底座的上方都会有一个对应的光具，在图像中即光具与可移动底座位于同一位置，可以通过两者的位置关系进行筛选)筛选出正确的目标结果。

位置校准子模块，用于根据筛选出的正确的可移动底座的标签的位置信息，首先将可移动底座的位置信息校准到基准值(基准值为所有可移动底座标签的在图像中的平均高度)，然后再调整各个可移动底座上方相对应的光具的位置坐标(例如可移动底座1、2，可移动底座1对应的是光源器件，可移动底座2对应的是凸透镜，可移动底座1相较于基准值需要减少20个像素的高度，那么可移动底座对应的光源器件的坐标也需要相对应的减少20个像素的高度；可移动底座2相较于基准值需要增加10个像素的高度，那么可移动底座2对应的凸透镜的坐标也需要相对应的增加10个像素的高度)。

数字识别与后处理子模块，用于对数字进行识别，并将数字识别的结果进行拆分，将结果分配到对应的可移动底座下(检测的数字是在可移动底座附近的，则相对应识别出来的数字也是在可移动底座附近，检测结果与识别结果是一一对应的，数字检测位置与哪个可移动底座的位置最近，则对应识别出来的数字就分配到该可移动底座下。例如针对可移动底座1及可移动底座2，可移动底座1检测出来的数字坐标为数字30，31，32的坐标，可移动底座2检测出来的数字坐标为数字40，41，42的坐标，识别结果为30，31，32，40，41，42；6个数字坐标对应6个数字，前三个数字坐标与可移动底座1的位置最近，被分配到可移动底座1下，后三个数字与可移动底座2的位置最近，则被分配到可移动底座2下)，然后根据可移动底座标签中心的位置信息来算出精确到毫米的读数。如果遇到可移动底座在移动的过程中被遮挡的情况，需要视为异常情况进行处理，识别的示数需要根据与其最近的历史读数进行更新。

规范操作匹配模块204，具体用于对凸透镜成像实验的各个考点当前状态的得分判断以及对某一时间段的所有考点状态量的总得分进行统计；当某一考点在规定时间段内的总得分满足得分的条件，即判定该考点得分；反之，则不得分。

对于位置考点当前状态的得分判断依据是判断凸透镜是否位于光屏以及光源器件的中间位置；对于高度考点的判断是基于标签的光源器件，基于标签的凸透镜以及光屏三者的中心是否位于同一高度；对于成像的考点则需要依赖于可移动底座标签中心所对应的读数来算出物距以及像距，从而计算出物距，像距以及焦距是否满足成像的条件，从而对该考点进行判断。。

本申请实施例还提供了一种电子设备，包括：处理器及存储器；

上述存储器，用于存放计算机程序

上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：

获取人员操作流程检测场景的图像数据，其中，上述图像数据中目标物体上有标签；

基于上述标签，对上述图像数据进行分析，得到上述图像数据中目标物体的位置；

按照上述目标物体的位置，对上述图像数据中上述目标物体的操作过程进行分析，得到行为分析结果；

将上述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

可选的，参见图4，本申请实施例的电子设备还包括通信接口402和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。

可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一人员操作流程检测方法。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：

获取人员操作流程检测场景的图像数据，其中，上述图像数据中目标物体上有标签；

基于上述标签，对上述图像数据进行分析，得到上述图像数据中目标物体的位置；

按照上述目标物体的位置，对上述图像数据中上述目标物体的操作过程进行分析，得到行为分析结果；

将上述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

可选的，上述计算机程序被处理器执行时，还能够实现上述任一人员操作流程检测方法。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种人员操作流程检测方法，其特征在于，所述方法包括：

获取人员操作流程检测场景的图像数据，其中，所述图像数据中目标物体上有标签；

基于所述标签，对所述图像数据进行分析，得到所述图像数据中目标物体的位置；

按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果；

将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

2.根据权利要求1所述的方法，其特征在于，所述按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果，包括：

按照各所述目标物体的位置，在所述图像数据中分别对所述目标物体进行跟踪，得到各所述目标物体的相关参数；

对各所述目标物体的相关参数进行综合分析，得到所述图像数据的行为分析结果。

3.根据权利要求2所述的方法，其特征在于，所述目标物体包括光源器件、透镜及光屏，所述相关参数为刻度尺位置读数；

所述对各所述目标物体的相关参数进行综合分析，得到所述图像数据的行为分析结果，包括：

按照所述光源器件的刻度尺位置读数、所述透镜的刻度尺位置读数及所述光屏的刻度尺位置读数，确定时序上物距及像距的分析结果，其中，所述物距为所述光源器件与所述透镜间的距离，所述像距为所述透镜与所述光屏间的距离。

4.根据权利要求3所述的方法，其特征在于，所述目标物体还包括至少三个可移动底座，所述光源器件、所述透镜及所述光屏分别固定在不同的可移动底座上，其中，令固定所述光源器件的可移动底座为第一可移动底座，固定所述透镜的可移动底座为第二可移动底座，固定所述光屏的可移动底座为第三可移动底座；所述按照各所述目标物体的位置，在所述图像数据中分别对所述目标物体进行跟踪，得到各所述目标物体的相关参数，包括：

按照所述第一可移动底座的位置，在所述图像数据中对所述光源器件进行跟踪，得到所述光源器件的刻度尺位置读数；

按照所述第二可移动底座的位置，在所述图像数据中对所述透镜进行跟踪，得到所述透镜的刻度尺位置读数；

按照所述第三可移动底座的位置，在所述图像数据中对所述光屏进行跟踪，得到所述光屏的刻度尺位置读数。

5.根据权利要求1所述的方法，其特征在于，所述行为分析结果包括多个行为项，所述预设目标规则包括多个规范项；

所述将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果，包括：

将各所述行为项分别与对应的规范项进行匹配，得到各行为项的匹配结果；

按照预设的各行为项分数及各行为项的匹配结果，对所述行为分析结果进行打分，得到人员操作流程检测结果。

6.一种人员操作流程检测装置，其特征在于，所述装置包括：

图像数据获取模块，用于获取人员操作流程检测场景的图像数据，其中，所述图像数据中目标物体上有标签；

目标物体检测模块，用于基于所述标签，对所述图像数据进行分析，得到所述图像数据中目标物体的位置；

操作行为分析模块，用于按照所述目标物体的位置，对所述图像数据中所述目标物体的操作过程进行分析，得到行为分析结果；

规范操作匹配模块，用于将所述行为分析结果与预设目标规则进行匹配，得到人员操作流程检测结果。

7.根据权利要求6所述的装置，其特征在于，所述操作行为分析模块，包括：

相关参数确定子模块，用于按照各所述目标物体的位置，在所述图像数据中分别对所述目标物体进行跟踪，得到各所述目标物体的相关参数；

参数综合分析子模块，用于对各所述目标物体的相关参数进行综合分析，得到所述图像数据的行为分析结果。

8.根据权利要求7所述的装置，其特征在于，所述目标物体包括光源器件、透镜及光屏，所述相关参数为刻度尺位置读数；

所述参数综合分析子模块，具体用于：

按照所述光源器件的刻度尺位置读数、所述透镜的刻度尺位置读数及所述光屏的刻度尺位置读数，确定时序上物距及像距的分析结果，其中，所述物距为所述光源器件与所述透镜间的距离，所述像距为所述透镜与所述光屏间的距离。

9.根据权利要求8所述的装置，其特征在于，所述目标物体还包括至少三个可移动底座，所述光源器件、所述透镜及所述光屏分别固定在不同的可移动底座上，其中，令固定所述光源器件的可移动底座为第一可移动底座，固定所述透镜的可移动底座为第二可移动底座，固定所述光屏的可移动底座为第三可移动底座，所述相关参数确定子模块，具体用于：

按照所述第一可移动底座的位置，在所述图像数据中对所述光源器件进行跟踪，得到所述光源器件的刻度尺位置读数；按照所述第二可移动底座的位置，在所述图像数据中对所述透镜进行跟踪，得到所述透镜的刻度尺位置读数；按照所述第三可移动底座的位置，在所述图像数据中对所述光屏进行跟踪，得到所述光屏的刻度尺位置读数。

10.根据权利要求6所述的装置，其特征在于，所述行为分析结果包括多个行为项，所述预设目标规则包括多个规范项；

所述规范操作匹配模块，包括：

分项匹配子模块，用于将各所述行为项分别与对应的规范项进行匹配，得到各行为项的匹配结果；

分析打分子模块，用于按照预设的各行为项分数及各行为项的匹配结果，对所述行为分析结果进行打分，得到人员操作流程检测结果。

11.一种电子设备，其特征在于，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的人员操作流程检测方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的人员操作流程检测方法。

Images