CN113395480A - 一种作业监测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种作业监测方法、装置、电子设备及存储介质，该方法包括：获取第一作业视频流；识别所述第一作业视频流的各帧图像中的监测对象；提取各帧图像的关节点特征，各帧图像的关节点特征构成第一关节点特征流；当所述第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定所述监测对象的作业动作为所述第一工序的起始工步。实现了生产全流程、作业全过程的实时动作分析，实现生产作业各工序的实时监测，提升了岗位工艺动作分析的实时性、覆盖广度。提升监督分析效率和质量监控实时性的同时，显著节约人力成本，显著提升质量管理的效率。

Description

一种作业监测方法、装置、电子设备及存储介质

技术领域

本发明涉及视频监控技术领域，具体涉及一种作业监测方法、装置、电子设备及存储介质。

背景技术

为保证产品生产的质量，需要对岗位生产作业动作进行标准化制定与监控。岗位作业动作执行规范情况，会直接影响到产品的质量，比如操作动作不规范导致质量问题。传统的监控方法是通过生产质量专家进行人工巡线或人工离线分析录像等方式，进行生产过程的动作分析监控。然而，这种做法依赖人工抽查，需要投入大量人力成本，人工巡查覆盖范围存在局限性，同时人工分析存在滞后性。

发明内容

本发明提供一种作业监测方法、装置、电子设备及存储介质，通过对生产过程的作业视频流中的监测对象的关节点特征进行自动化提取，识别出监测对象的作业动作，实现对监测对象各工序作业动作的实时监测，避免了相关技术中人工巡线或人工离线分析录像等方式需要投入大量人力成本及人工分析存在滞后性的问题。

本发明的技术方案是这样实现的：

第一方面，本发明提供一种作业监测方法，包括：

获取第一作业视频流；

识别所述第一作业视频流的各帧图像中的监测对象；

提取所述各帧图像中监测对象的关节点特征，所述各帧图像中监测对象的关节点特征构成第一关节点特征流；

当所述第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定所述监测对象的作业动作为所述第一工序的起始工步。

更进一步地，所述提取所述各帧图像中监测对象的关节点特征，包括：

对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息；

确定所述各帧图像中监测对象的关节点特征，所述关节点特征包括关节点空间位置关系。

更进一步地，所述关节点空间位置关系包括比例距离和方位信息，相邻的关节点构成肢体关节段，所述确定所述各帧图像中监测对象的关节点特征，包括：

以监测对象的第一肢体关节段为参考肢体关节段，利用所述参考肢体关节段的长度对监测对象的其余各肢体关节段的长度进行归一化处理，得到每一帧图像中监测对象的其余各肢体关节段与所述参考肢体关节段之间的比例距离；

确定每一帧图像中监测对象的相邻肢体关节段之间的方位信息，包括相邻肢体关节段之间的夹角关系及方位关系。

更进一步地，所述方法还包括：

获取所述第一作业视频流后续的第二作业视频流；

识别所述第二作业视频流的各帧图像中的监测对象；

提取所述第二作业视频流各帧图像中监测对象的关节点特征，所述第二作业视频流各帧图像中监测对象的关节点特征构成第二关节点特征流；

当所述第二关节点特征流与预设第一工序的第二工步对应的关节点特征流匹配时，确定所述监测对象的作业动作为所述第一工序的第二工步。

更进一步地，所述对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息是利用预设神经网络框架进行的。

第二方面，本发明提供一种作业监测装置，包括：

视频采集装置，用于采集作业现场的作业视频流并实时传输到GPU计算服务器集群；

GPU计算服务器集群，用于实现第一方面所述的作业监测方法。

更进一步地，所述GPU计算服务器集群，采用公有云服务器、私有云服务器、边缘服务器中的一种或多种。

更进一步地，所述视频采集装置，具体用于：

采集作业现场的作业视频流，并通过5G网络将采集到的作业视频流实时传输到GPU计算服务器集群。

第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的作业监测方法。

第四方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如第一方面所述的作业监测方法。

本发明通过获取第一作业视频流，识别所述第一作业视频流的各帧图像中的监测对象，提取其中各帧图像中监测对象的关节点特征构成第一关节点特征流；当第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，确定监测对象的作业动作为第一工序的起始工步。本发明相较于巡线监督或者录像回放分析的传统方式，实现了生产全流程、作业全过程的实时动作分析，实现生产作业各工序的实时监测，提升了岗位工艺动作分析的实时性、覆盖广度。提升监督分析效率和质量监控实时性的同时，显著节约人力成本，显著提升质量管理的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一提供的一种作业监测方法流程图；

图2是本发明实施例一提供的步骤S3的具体流程图；

图3是本发明实施例一提供的关节点示意图；

图4是本发明实施例二提供的作业监测方法流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一

图1示出了一种作业监测方法流程图，本实施例提供一种作业监测方法，如图1所示，包括如下步骤：

步骤S1、获取第一作业视频流。

具体地，可以利用在作业岗位附近安装的无线相机，实时采集岗位作业现场的作业视频流，再由GPU计算服务器获取。第一作业视频流可以是一定时间段内的作业视频流，例如24小时。

步骤S2、识别第一作业视频流的各帧图像中的监测对象。

具体地，对第一作业视频流进行抽帧，能够得到多帧图像，对各帧图像中的监测对象进行识别，进而通过后续步骤提取监测对象的关节点特征。监测对象可以但不限于作业人员，例如，还可以是机械臂。

步骤S3、提取第一作业视频流各帧图像中监测对象的关节点特征，第一作业视频流各帧图像中监测对象的关节点特征构成第一关节点特征流。

具体地，关节点特征是作业人员的肢体动作的特征抽象，以生产每件产品的作业过程为例，生产每件产品的作业过程是由多个工步(即动作片段)组成的工序(即动作序列)，而每个工步，又由不同的动作要素(比如转身、抬手、伸臂)构成。本实施例中通过各帧图像的关节点特征反映每个动作要素的动作特征，通过关节点特征流反映每个工步的动作特征，一个工序的各工步所对应的关节点特征流反映该工序的动作特征。

步骤S4、判断第一关节点特征流是否与预设第一工序的起始工步对应的关节点特征流匹配。

对同一岗位，通过多类人员的标准作业过程所对应的关节点特征流，进行相似度分析、周期分析，可以实现工步自动分析和工序周期分解，实现基于AI骨架分析技术的标准数据库自动构建，标准数据库中存在第一工序的各工步对应的多个标准动作及其关节点特征。

具体来说，本实施例可以预先设定第一工序的各工步与关节点特征流的对应关系作为标准数据，构建标准数据库，存至GPU计算服务器，标准数据库可以存在一个或多个工序，第一工序可以是其中任一工序，也可以是指定的某个工序，此处并不限定。第一工序的各工步与关节点特征流的对应关系可以采用如下方式确定：采集第一工序的作业人员对各工步的标准作业视频流；提取各工步的标准作业视频流中各帧图像的关节点特征，各工步的标准作业视频流中各帧图像的关节点特征所构成的关节点特征流，即得到第一工序的各工步与关节点特征流的对应关系。

步骤S5、当第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定监测对象的作业动作为第一工序的起始工步；否则，返回步骤S1获取下一第一作业视频流。

具体地，由于每个工序的起始工步可以作为工序监测的关键起始点，因此本实施例对第一工序的起始工步，一旦检测到起始工步，则可以从起始工步开始，对后续工步依照预设的第一工序的各工步的执行顺序进行后续作业监测。

进一步地，图2示出了另一种作业监测方法流程图，如图2所示，步骤S3中提取第一作业视频流中各帧图像的关节点特征，具体包括如下步骤：

步骤S3l、对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息。

具体地，可以利用预设神经网络框架对每一帧图像中的监测对象进行关节点检测。例如，利用LSTM(Long Short-Term Memory，长短期记忆网络)设计AI骨架分析模型，检测岗位作业人员的关键关节点信息。也可以通过在被监测作业人员肢体上贴附无线传感器穿戴设备，实现对作业人员作业动作的肢体骨架信号采集(关节点检测)。AI骨架分析模型也可以采用皮尔逊相关系数或者诸如欧氏距离的相似性度量方法判定标准动作是否出现。

本实施例中，对每一帧图像进行关节点检测得到的关节点，包括：头、颈、双肩、双肘、双腕、脊柱底部、双臀、双膝、双踝，并且获取这15个关节点的位置坐标信息。

如图3所示，每次进行关节点检测可以检测到18个肢体骨架的关节点，即图3中的a’、b’、c’、A、B、C、D、E、F、d、e、f、H、I、G、h、i、g，但对于本实施例的业务场景而言，只需用到A、B、D、d、E、e、F、f、C、H、h、I、i、G、g这15个关节点，这些关节点对应的是头、颈、双肩、双肘、双腕、脊柱底部、双臀、双膝、双踝。通过关节点的终点位置关系，可以看出F、f、a’、b’、G、g属于关节端点。其中，a’、b’位于身体上部，顺次找到的c’点，这3个点是不参与骨架分析的，也就是不需要获取这三个关节点及其位置坐标信息，可以将这三个关节点的相关数据全部设置为0，代表不参与关节点特征分析，值得说明的是，也可以将被遮挡的关节点的相关数据全部设置为0。通过G和g的位置关系，以及F和f的位置关系，可以确定G和g对应双踝，F和f对应双腕，根据各个关节点相邻关系，依次检测确定各个关节点及其位置坐标信息。

步骤S32、确定第一作业视频流各帧图像中监测对象的关节点特征，关节点特征包括关节点空间位置关系。

作为一种优选，关节点空间位置关系包括比例距离和方位信息，相邻的关节点构成肢体关节段，因此，步骤S32包括如下步骤：

步骤S321、以第一肢体关节段为参考肢体关节段，利用参考肢体关节段的长度对监测对象的其余各肢体关节段的长度进行归一化处理，得到每一帧图像中监测对象的其余各肢体关节段与参考肢体关节段之间的比例距离。

在实际作业现场，关节点间的绝对距离会受各种因素影响，例如，不同岗位作业人员的身高、体长和臂展不同，或者作业过程中，在作业区间内跟随机器走动作业而导致目标人员距离摄像机的远近距离不断变化，这些都容易导致作业人员的关节点间的绝对距离发生变化，使得绝对距离的变化无法用于准确反映作业人员的动作变化情况。为避免上述因素导致的近大远小的影响，本实施例对相邻关节点间距离进行归一化处理。

由于岗位作业人员在作业过程中部分肢体关节段(肢体关节段由相邻关节点构成)长度是不变的，如上臂DE、上臂de、臀膝距HI、臀膝距hi是定长的，并且当采集视频流所用的无线相机是从作业人员的左侧拍摄时，上臂DE、臀膝距HI是不容易遮挡的，本实施例中以左臀关节点H与左膝关节点I所成的第一肢体关节段(即臀膝距HI)为参考依据，依次计算各肢体关节段与臀膝距HI之间的比例关系，包括EF/HI、DE/HI、DB/HI、dB/HI、de/HI、ef/HI、AB/HI、BC/HI、HC/HI、HI/HI、GI/HI、hC/HI、hi/HI、gi/HI的比例关系，得到比例距离。以HI距离计算为例，计算公式为：HI长度＝((x_D-x_E)²+(y_D-y_E)²)^0.5，x_D、y_D为关节点D的横纵坐标，x_E、y_E为关节点E的横纵坐标，其余肢体关节段的长度计算同理。通过比例距离能很好地体现肢体扭转或者弯屈的动作特征。

步骤S322、确定每一帧图像中监测对象的相邻肢体关节段之间的方位信息，包括相邻肢体关节段之间的夹角关系及方位关系。

优选地，方位关系主要包括4个相对方位，即前、后、上、下，其中，靠近工位工作台或者工作线侧为前，背离工位工作台或者工作线侧为后，头部为上，踝部为下。以相邻的肢体关节段BC和AB为例，作业人员直立时，肢体关节段BC位于肢体关节段AB的下方，作业人员面向工位工作台或者工作线弯腰时，肢体关节段BC位于肢体关节段AB的前方。

优选地，相邻肢体关节段之间的夹角关系可以通过计算相邻肢体关节段之间的夹角得到，既可以将计算得到的相邻肢体关节段之间的夹角作为相邻肢体关节段之间的夹角关系，也可以将计算得到的相邻肢体关节段之间的夹角与夹角等级进行对应，以夹角等级来表征相邻肢体关节段之间的夹角关系，下面以夹角等级为例来说明夹角关系的确定：

预设5个夹角等级，其中：

1级对应的夹角范围是0°～30°；

2级对应的夹角范围是30°～60°；

3级对应的夹角范围是60°～90°；

4级对应的夹角范围是90°～120°；

5级对应的夹角范围是＞120°。

计算相邻肢体关节段之间的夹角，若计算得到的夹角是70°，则夹角关系为3级。可以理解的是，针对不同业务场景的动作细腻程度不同，可以增加或减少夹角等级的划分细腻程度，此处不做唯一限定。

值得说明的是，也可以将计算得到的相邻肢体关节段之间的夹角作为相邻肢体关节段之间的夹角关系，若计算得到的夹角是70°，则夹角关系为70°。

相邻肢体关节段之间的夹角可以通过各关节点坐标和余弦公式计算，夹角包括∠ABD、∠FED、∠EDB、∠ABd、∠Bde、∠def、∠DBC、∠dBC、∠BCH、∠CHI、∠HIG、∠BCh、∠Chi、∠hig。

通过上述步骤得到了关节点空间位置关系，基于关节点空间位置关系可以进一步得到关节点特征流，关节点特征流是对应视频流的关节点特征的数据序列，该序列中不仅可以包含视频流中每一帧图像的关节点空间位置关系，还可以包含视频流中每一帧图像的各个关节点的位置坐标信息。

实施例二

图4示出了一种作业监测方法流程图，本实施例提供一种作业监测方法，如图4所示，在图1所示的流程的基础上，该方法还可以包括如下步骤：

步骤S6、获取第一作业视频流后续的第二作业视频流；

步骤S7、识别第二作业视频流的各帧图像中的监测对象；

步骤S8、提取第二作业视频流各帧图像中监测对象的关节点特征，第二作业视频流各帧图像中监测对象的关节点特征构成第二关节点特征流；

步骤S9、判断第二关节点特征流是否与预设第一工序的第二工步对应的关节点特征流匹配；

步骤S10、当第二关节点特征流与预设第一工序的第二工步对应的关节点特征流匹配时，确定监测对象的作业动作为第一工序的第二工步，否则，返回步骤S6继续获取下一个第二作业视频流。

更进一步地，当确定监测对象的作业动作为第一工序的第二工步之后，还可以继续监测第二作业视频流后续的第三作业视频流，直至作业完成。

值得说明的是，第二工步既可以是起始工步的相邻后续工步，也可以是第一工序中的任一工步。当第二工步是起始工步的相邻后续工步时，说明被监测的作业人员顺序执行了起始工步及其相邻后续工步；当第二工步为非起始工步的相邻后续工步时，说明被监测的作业人员遗漏或者跳过了起始工步相邻后续工步，以此能够监测出作业执行顺序上的规范与否。

可以理解的是，还可以当第二关节点特征流与预设第一工序的第二工步对应的关节点特征流不匹配时，根据关节点特征流所包含的信息，分析当前作业视频流所记录的作业动作对应的关节点特征流与标准作业视频流对应的关节点特征流在方位信息、比例距离上的到位程度，还可以监测到工步顺序异常、工步缺失、工步持续时间等情况，，综合实现作业动作规范性和完成度的检测。还可以根据对于工步或工序的监测，实现在线工位角色的自动认定(例如当前视频流对应的是物流作业上的分拣工序，则可以认定被监控的作业人员为分拣人员)，或者工种的确认。

实施例三

本实施例提供一种作业监测装置，包括：

视频采集装置，用于采集作业现场的作业视频流并实时传输到GPU计算服务器集群。具体地，视频采集装置可以是作业岗位附近安装的无线相机，实时采集岗位作业现场的作业视频流。

GPU计算服务器集群，用于实现实施例一或二提供的作业监测方法。作为优选，GPU计算服务器集群，可以采用公有云服务器、私有云服务器、边缘服务器中的一种或多种。

上述视频采集装置，具体用于：

采集作业现场的作业视频流，并通过5G网络将采集到的作业视频流实时传输到GPU计算服务器集群。实现高带宽、低延时实时岗位作业视频的采集、传输，以及动作特征提取。

可以理解的是，GPU计算服务器集群也可以通过5G网络将作业监测情况反馈至作业现场的终端设备。

实施例四

本实施例提供一种电子设备，包括存储器和处理器，存储器上存储有计算机程序，计算机程序被处理器执行时实现实施例一或二中的作业监测方法。

本实施例中，处理器可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例一或二中的作业监测方法。

存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

实施例五

本实施例提供一种存储介质，存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一或二中的作业监测方法。

本实施例中，存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器等等。

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或者步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种作业监测方法，其特征在于，包括：

获取第一作业视频流；

识别所述第一作业视频流的各帧图像中的监测对象；

提取所述各帧图像中监测对象的关节点特征，所述各帧图像中监测对象的关节点特征构成第一关节点特征流；

当所述第一关节点特征流与预设第一工序的起始工步对应的关节点特征流匹配时，则确定所述监测对象的作业动作为所述第一工序的起始工步。

2.根据权利要求1所述的作业监测方法，其特征在于，所述提取所述各帧图像中监测对象的关节点特征，包括：

对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息；

确定所述各帧图像中监测对象的关节点特征，所述关节点特征包括关节点空间位置关系。

3.根据权利要求2所述的作业监测方法，其特征在于，所述关节点空间位置关系包括比例距离和方位信息，相邻的关节点构成肢体关节段，所述确定所述各帧图像中监测对象的关节点特征，包括：

以监测对象的第一肢体关节段为参考肢体关节段，利用所述参考肢体关节段的长度对监测对象的其余各肢体关节段的长度进行归一化处理，得到每一帧图像中监测对象的其余各肢体关节段与所述参考肢体关节段之间的比例距离；

确定每一帧图像中监测对象的相邻肢体关节段之间的方位信息，包括相邻肢体关节段之间的夹角关系及方位关系。

4.根据权利要求1所述的作业监测方法，其特征在于，还包括：

获取所述第一作业视频流后续的第二作业视频流；

识别所述第二作业视频流的各帧图像中的监测对象；

提取所述第二作业视频流各帧图像中监测对象的关节点特征，所述第二作业视频流各帧图像中监测对象的关节点特征构成第二关节点特征流；

当所述第二关节点特征流与预设第一工序的第二工步对应的关节点特征流匹配时，确定所述监测对象的作业动作为所述第一工序的第二工步。

5.根据权利要求2所述的作业监测方法，其特征在于，所述对每一帧图像中的监测对象进行关节点检测并获取各个关节点的位置坐标信息是利用预设神经网络框架进行的。

6.一种作业监测装置，其特征在于，包括：

视频采集装置，用于采集作业现场的作业视频流并实时传输到GPU计算服务器集群；

GPU计算服务器集群，用于实现权利要求1至5中任一项所述的作业监测方法。

7.根据权利要求6所述的作业监测装置，其特征在于，所述GPU计算服务器集群，采用公有云服务器、私有云服务器、边缘服务器中的一种或多种。

8.根据权利要求6所述的作业监测装置，其特征在于，所述视频采集装置，具体用于：

采集作业现场的作业视频流，并通过5G网络将采集到的作业视频流实时传输到GPU计算服务器集群。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的作业监测方法。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至5中任一项所述的作业监测方法。

Images