CN117037289A - 一种基于机器视觉的人员作业行为识别方法和系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉的人员作业行为识别方法和系统，属于行为识别技术领域，该方法在各工位安装摄像头拍摄工位的作业视频，获取各车型的历史视频，标注目标检测样本和行为识别样本，训练目标模型和行为模型，通过机器视觉和RFID标签结合识别车型，使用对应车型的模型对工位的实时视频流进行目标和行为识别，将识别结果进行融合，并实时的将目标标注后的实时视频流和识别文本发送到应用平台，应用平台展示视频作业情况，对识别结果进行统计和存储，并提供作业异常报警、线平衡分析、历史视频追溯功能。该方案识别准确率高，延时低，面对柔性生产线调整成本低，节省人力，可以做到品质全检，能够及时发现问题及追溯历史作业情况。

Description

一种基于机器视觉的人员作业行为识别方法和系统

技术领域

本发明涉及行为识别技术领域，尤其涉及一种基于机器视觉的人员作业行为识别方法和系统。

背景技术

自2017年开始，国内乘用车市场进入负增长时代。车企必须不断增强产品品质，应对市场激烈竞争。制程的品质的提升需要通过标准作业的严格遵守，以及建立全数品质检查保证体系来实现。

传统的制程品质保证是通过设立人工作业观察岗和成品抽检的方式进行的。观察岗一般采用班长、系长、品保人员兼职的形式。这种做法存在三个弊端：一是消耗人力大，白班晚班都需分别安排观察岗人力资源；二是无法做到品质全检，作业观察岗因有本职工作内容或观察中被外界因素打断，无法做到全数检查；三是品质问题发现不及时，成品抽检发现的问题矫正起来需较大成本；四是发生品质问题时，难以追溯当时作业真实情况。

当前也有一些基于机器视觉的行为识别方案可用于制程品质保证，这些方案普遍存在以下问题：一、识别输出延时高；二、识别准确度低；三、面对柔性化生产线的调整成本高。

发明内容

本发明要解决的技术问题是：针对传统制程品质保证和现有基于机器视觉的行为识别方案的上述弊端，提供一种基于机器视觉的人员作业行为识别方法和系统。

为实现上述目的，本发明提供了一种基于机器视觉的人员作业行为识别方法，包括以下步骤：

S1，针对要进行人员作业品质检查的工位安装摄像头，对摄像头进行配置，搭建视频平台；

S2，AI平台从视频平台获取历史视频数据，针对不同车型训练目标模型和行为模型，具体包括：

S21，针对每个工位的每个作业车型，获取足够的标准作业视频；

S22，对于每个工位的每个车型，将获取到的标准作业视频按帧分割成图片，进行样本标注，包括目标标注和行为标注；

S23，将标注好的目标样本输入到目标检测算法框架进行训练得到目标模型；

S24，将标注好的行为样本输入到行为识别算法框架进行训练得到行为模型；

S3，AI平台使用训练好的目标模型和行为模型，对视频平台采集到的实时视频流进行目标检测和行为识别，将识别结果发送到应用平台，具体包括：

S31，AI平台获取进入视频范围的车辆的车型，通过机器视觉和RFID标签识别结合的方式进行车型识别；

S32，AI平台根据识别出的车型，调用相应车型的目标模型，进行目标检测；

S33，AI平台根据识别出的车型，调用相应车型的行为模型，进行行为识别；

S34，当前工位当前车辆所有作业步骤都完成之后，AI平台按照置信度将目标模型和行为模型的识别结果融合，再将融合结果发送到应用平台。

本发明还提供了一种基于机器视觉的人员作业行为识别系统，包括：

设备层：包括部署在各工位上的监控摄像头，用于实时拍摄对应工位的作业视频；

视频平台：用于管理设备层的监控摄像头，通过硬盘存储监控摄像头拍摄的视频数据，并向AI平台和应用平台提供实时视频服务和历史视频服务；

AI平台：用于识别人员作业行为，AI平台从视频平台获取各车型的历史视频，用于标注目标检测样本和行为识别样本，训练目标模型和行为模型，并使用训练好的对应车型的模型对视频平台提供的实时视频流进行目标和行为识别，将进行目标标注后的实时视频流和识别文本发送到应用平台；

应用平台：用于存储并展示AI平台的识别结果，并基于AI平台的识别结果和视频平台提供的视频服务为用户提供应用服务。

本发明的技术方案在各工位安装摄像头，实时拍摄对应工位的作业视频，AI平台获取各车型的历史视频，用于标注目标检测样本和行为识别样本，训练目标模型和行为模型，通过机器视觉和RFID标签识别结合的方式进行车型识别，使用训练好的对应车型的模型对拍摄到的实时视频流进行目标和行为识别，将目标模型和行为模型的识别结果按照置信度进行融合，并实时的将进行目标标注后的实时视频流和识别文本发送到应用平台，应用平台在前端页面实时展示视频作业情况，对AI平台的识别结果进行统计和存储，并向用户提供作业异常报警、线平衡分析、历史视频追溯功能。因此，采用本发明的技术方案可以达到以下有益效果：

（1）减少人力消耗，除了初期模型训练阶段需要较多人力进行模型标注之外，后期系统稳定下来之后，不需要额外派驻作业观察和抽检岗。

（2）基本可以做到品质全检，及时发现品质问题并通过应用平台追溯历史作业过程。

（3）通过线平衡分析可以及时发现作业瓶颈，通过针对性的调整达到生产线平衡，提高生产效率。

（4）目标模型检测的结果实时输出到应用平台进行展示，识别输出延时低。

（5）通过精准标注的样本进行模型训练，得到的目标模型和行为模型识别准确度高，将二者的识别结果按照置信度融合，进一步提高了识别准确度。

（6）采用机器视觉和RFID标签识别结合的方式进行车型识别，按照车型训练模型，面对柔性化生产线可以灵活调整，调整成本低。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的的系统框图。

图2为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的方法流程图。

图3为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的作业现场布局图。

图4为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的系统架构图。

图5为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的实时作业监控视频页面图。

图6-A为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的作业异常报警数量汇总页面图。

图6-B为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的各工位作业异常报警占比页面图。

图7为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的手机报警提示页面图。

图8为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的线平衡分析结果页面图。

图9为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的历史作业追溯页面图。

图10为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的网络拓扑示意图。

图11为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的系统数据流图。

图12为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的目标标注示例图。

图13为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的另一例目标标注示例图。

图14为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的行为标注示例图。

图15为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的系统时序图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明总的思路是：在各工位安装摄像头，实时拍摄对应工位的作业视频，AI平台获取各车型的历史视频，用于标注目标检测样本和行为识别样本，训练目标模型和行为模型，通过机器视觉和RFID标签识别结合的方式进行车型识别，使用训练好的对应车型的模型对拍摄到的实时视频流进行目标和行为识别，将目标模型和行为模型的识别结果按照置信度进行融合，并实时的将进行目标标注后的实时视频流和识别文本发送到应用平台，应用平台在前端页面实时展示视频作业情况，对AI平台的识别结果进行统计和存储，并向用户提供作业异常报警、线平衡分析、历史视频追溯功能。

下面结合说明书附图对本发明实施例作进一步详细描述。应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明适用于整车制造生产过程中，人员作业需要严格遵守标准作业的情况。

如图1所示为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的的系统框图。

本发明实施例提供了一种基于机器视觉的人员作业行为识别系统，包括：设备层、视频平台、AI平台、应用平台。设备层包括部署在各工位上的监控摄像头，用于实时拍摄对应工位的作业视频；视频平台用于管理设备层的监控摄像头，通过硬盘存储监控摄像头拍摄的视频数据，并向AI平台和应用平台提供实时视频服务和历史视频服务；AI平台用于识别人员作业行为，AI平台从视频平台获取各车型的历史视频，用于标注目标检测样本和行为识别样本，训练目标模型和行为模型，并使用训练好的对应车型的模型对视频平台提供的实时视频流进行目标和行为识别，将进行目标标注后的实时视频流和识别文本发送到应用平台；应用平台用于存储并展示AI平台的识别结果，并基于AI平台的识别结果和视频平台提供的视频服务为用户提供应用服务。

应用平台分为后台和前端部分，后台包括流媒体服务、AI识别结果保存服务、AI识别结果统计服务、车型识别服务、数据库，流媒体服务用于接收AI平台推送的实时视频流，将视频流推送到前端浏览器，AI识别结果保存服务和AI识别结果统计服务分别用于保存和统计AI平台发送的文本识别结果，车型识别服务用于为AI平台提供工位新进入车辆的车型识别服务，数据库用于存储AI平台的文本识别结果。

前端包括实时作业监控模块、作业异常报警模块、线平衡分析模块、历史作业追溯模块；实时作业监控模块从流媒体服务获取实时视频，在前端页面播放；作业异常报警模块通过对比预存的标准作业信息与AI平台发送的识别结果，判断作业是否遗漏，作业顺序是否错误，作业时长是否异常，在有异常情况发生时，发出报警；线平衡分析模块按工位车型统计作业时长，定位瓶颈工位；历史作业追溯模块用于查看历史作业记录，包括历史作业视频及AI文本识别结果。

如图2所示为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的方法流程图。如图2所示，本发明实施例提供了一种基于机器视觉的人员作业行为识别方法，该方法包括以下步骤：

S1，针对要进行人员作业品质检查的工位安装摄像头，对摄像头进行配置，搭建视频平台。

针对要进行人员作业品质检查的工位安装摄像头，对摄像头的拍摄角度，拍摄分辨率进行设置，一个摄像头近距离拍摄一个工位的详细作业情况，与AI工程师确认拍摄出来的效果满足识别要求。

搭建视频平台服务器，负责管理不同工位的摄像头，并向AI平台和应用平台提供实时视频服务和历史视频服务，视频平台服务器的搭建属于现有技术，在此不再赘述。

如果摄像头较少，视频存储时间不长，分辨率要求不高，可以采用直连摄像头的方式访问摄像头中的数据，不用搭建视频平台。

S2，AI平台从视频平台获取历史视频数据，针对不同车型训练目标模型和行为模型。具体步骤如下：

S21，针对每个工位的每个作业车型，获取足够的标准作业视频。

每个工位执行的作业不同，同一个工位不同车型的作业也不一样，因此对于每个工位，每一种车型，都需要分别获取足够数量的视频；同一个车型因配置不同也可能会存在不同的作业，所以同一个车型不同配置作业的差异部分都需要获取到指定数量的视频。同一个车型不同配置的作业有差异时，可以当作不同车型来处理。

S22，对于每个工位的每个车型，将获取到的标准作业视频按帧分割成图片，进行样本标注，包括目标标注和行为标注。

S221，目标标注具体的方法为：对车体和工人的手部分别用不同颜色的矩形选择框进行标注。

S222，行为标注具体的方法为：将每个作业步骤视频中分割出来的图片按照作业步骤分类到指定的文件夹内。

算法工程师培训标注人员分别进行目标标注和行为标注，算法工程师对标注好的样本进行抽检，确保标注质量达标。

S23，将标注好的目标样本输入到目标检测算法框架进行训练得到目标模型，用训练出的目标模型对样本进行训练得到模型的准确度，如果模型准确度不符合预期，定位原因，解决问题后，重新进行模型训练，直到模型准确度达到预期。

在本发明的一个实施例中，目标检测算法框架采用YOLOV5。

在本发明的另一个实施例中，目标检测算法框架采用Fast R-CNN。

S24，将标注好的行为样本输入到行为识别算法框架进行训练得到行为模型，用训练出的行为模型对样本进行训练得到模型的准确度，如果模型准确度不符合预期，定位原因，解决问题后，重新进行模型训练，直到模型准确度达到预期。

在本发明的一个实施例中，行为识别算法框架采用C3D。

在本发明的一个实施例中，行为识别算法框架采用Two Stream。

S3，AI平台使用训练好的目标模型和行为模型，对视频平台采集到的实时视频流进行目标检测和行为识别，将识别结果发送到应用平台。具体步骤如下：

S31，AI平台获取进入视频范围的车辆的车型，通过机器视觉和RFID标签识别结合的方式进行车型识别。

柔性化生产线一般要应对多种车型，随着市场变化，生产车型也会存在变化。现在很多方案是只能应对单一车型的生产线，即使能应对柔性生产线，也是花了很多成本去通过机器视觉做车型识别，且无法保证准确度，特别在应对同种车型不同配置的时候，因车体外观差异不大，导致识别准确度非常低，车型变更时，又需要重新训练车型识别的模型。

本发明实施例中，通过机器视觉和RFID标签识别结合的方式进行车型识别。在待作业车辆车体上贴上预先人工校准过的RFID标签，RFID标签中包含车型、车号等信息，待作业车辆进入车间时，按顺序经过RFID读卡装置，RFID读卡装置将读取的标签中的信息发送到应用平台或者其它外部系统，AI平台向应用平台发送获取车型的请求，传入当前工位的工位号，应用平台根据RFID读卡装置上传的信息和当前工位信息返回对应车辆的车型及车号信息。

本发明实施例的车型识别不需要进行模型训练，可以灵活应对生产线车型的变化。

S32，AI平台根据识别出的车型，调用相应车型的目标模型，进行目标检测。

具体步骤如下：

S321，目标模型逐帧对检测到的目标进行标注，实时推送视频流到流媒体服务器，流媒体服务器通过前端页面实时展示目标模型标注后的视频流。

目标模型是逐帧检测，其实时性比行为模型更高，所以为了实时展示识别效果，目标模型逐帧对检测到的目标进行标注后立即实时推送视频流到流媒体服务器。

在本发明一个实施例中，流媒体服务器为SRS流媒体服务器。

在本发明另一个实施例中，流媒体服务器为Red5流媒体服务器。

S322，目标模型每识别到一个作业步骤开始或作业步骤结束，发送该作业对应的文本识别结果到应用平台，文本识别结果包括作业工位、作业车型、作业步骤ID、作业时间、作业类型、置信度，作业类型包括作业开始、作业结束。

作业步骤ID是一个序号，比如天籁车型在工位1上有8个作业步骤，这个序号ID就是1到8。

S323，应用平台将目标模型发送的文本识别结果存储起来，并实时发送给客户端浏览器。

客户端浏览器将流媒体服务器的视频流和文本结果结合展示。

应用平台可以采用关系型数据库Postgresql、Mysql、Oracle等来存储目标模型发送的文本识别结果。

S33，AI平台根据识别出的车型，调用相应车型的行为模型，进行行为识别。

行为模型需要分析一个作业步骤时间段内的所有图像，从而达到更高的准确度，但也因此导致输出结果延迟较高，所以跟目标模型配合达到实时性和准确性兼顾的效果。

行为模型自动检测每个作业步骤的开始时间和结束时间，根据识别结果生成文本，文本内容包括作业工位、作业车型、作业步骤ID、作业时间、作业类型、置信度，作业类型包括作业开始、作业结束。

S34，当前工位当前车辆所有作业步骤都完成之后，AI平台按照置信度将目标模型和行为模型的识别结果融合，再将融合结果发送到应用平台。具体步骤如下：

S341，当目标模型检测到当前工位当前车辆的所有作业步骤都完成之后，将识别到的所述车辆在当前工位的所有作业步骤的目标检测文本结果发送给行为模型，具体内容包括工位、车型、车号、每个作业步骤的开始时间、结束时间及对应的置信度。

S342，当行为模型检测到当前工位当前车辆的所有作业步骤都完成之后，将当前工位当前车辆的行为识别结果汇总，通过工位、车号与目标模型的目标检测文本结果进行匹配和对比，将置信度更高的作为融合结果发送给应用平台。融合结果包括工位、车型、车号、每个作业步骤的开始时间、结束时间及对应的置信度。

S343，应用平台将行为模型发送的融合结果保存到数据库，以供后续追溯。

下面以某车企的人员作业行为识别为例，来对本发明的技术方案作进一步的详细描述。

首先对该车企的作业情况进行说明。该车企在进行整车生产制造时，生产车间分为空中部分和地面部分，空中部分的车体通过升降机逐辆下降到达车间地面部分，进行生产作业。空中部分各车辆的车体上均贴有预先人工校准过的RFID标签，车辆下降到地面之后，会按顺序轮流经过RFID读卡装置，RFID读卡装置将读取的RFID标签中的信息发送到生产管理系统，生产管理系统按顺序记录车辆作业队列的RFID标签信息，包含车号、过车顺序、车型、配置等信息，通过顺序列表维护上述信息，并对外提供接口用于获取车辆作业队列的RFID信息。地面部分的作业现场布局图如图3所示。一共6个工位，编号为1~6，从空中下降的待作业车辆按顺序从右往左经过所有工位，在每个工位进行一系列的作业步骤，直到所有作业步骤完成之后，离开工位6。该车企生产的整车型号多样化，同一个型号可能存在不同的配置，不同配置存在外形差异比较大的情况。

如图4所示为该车企人员作业行为识别系统的的系统架构图。

来自设备层监控摄像头的视频数据通过RTSP（Real-Time Streaming Protocol，实时消息传递协议）传送到视频平台；AI平台的目标模型和行为模型通过RTSP从视频平台的实时视频服务获取实时视频；目标模型和行为模型向应用平台的过车队列服务发送HTTP过车请求，获取当前工位新进入车辆的车型信息；目标模型对实时视频逐帧标注，通过RTSP发送标注后的实时视频流到后台的SRS流媒体服务，并通过HTTP实时发送文本识别结果到应用平台；目标模型识别到当前工位当前车型的所有作业完成之后，发送当前车辆在当前车位所有作业的识别结果到行为模型，行为模型跟自身的识别结果进行对比，选取置信度更高的作为融合结果，通过HTTP发送给应用平台；应用平台的AI识别保存服务通过Postgresql数据库存储AI识别结果；SRS流媒体服务通过WebRTC向前端页面发送视频数据；应用平台的后台服务通过HTTP、Websocket方式向前端的实时作业监控模块、手机报警信息模块、线平衡分析模块、历史作业追溯模块传输AI平台的识别结果，历史作业追溯模块还通过RTSP从视频平台获取历史视频。

如图5所示为本实施例应用平台提供的实时作业监控视频页面图。在其中可以查看各工位经过目标模型标注后的实时视频流数据，视频右侧显示的是各作业步骤及对应的标准时长和实际时长，作业步骤和标准时长根据车型预先录入，实际时长为根据目标模型发送给应用平台的文本识别结果计算出来的各作业步骤的操作时长。

如图6-A所示为本实施例应用平台提供的作业异常报警数量汇总页面图，如图6-B所示为本实施例应用平台提供的各工位作业异常报警占比页面图，如图7所示为本实施例应用平台提供的手机报警提示页面图。应用平台的作业异常报警模块保存了标准作业信息，对比AI平台发送的识别结果，判断人员作业是否存在漏装，作业顺序错误，作业时间过长或过段等问题，如果发生了问题，实时在监控页面上显示报警数量及报警占比信息，并发送手机通知给车间相关负责人。

如图8所示为本实施例应用平台提供的线平衡分析结果页面图，应用平台的线平衡分析模块按工位车型统计作业时长，定位瓶颈工位，后续通过线下培训等方式改善瓶颈问题，提升生产线效率。

如图9所示为本实施例应用平台提供的历史作业追溯页面图，应用平台的历史作业追溯模块提供历史作业查看功能，本实施例中，使用Postgresql数据库存储数据，历史数据保存10年，本实施例中数据量为：6个人工工位（摄像头）x平均8个作业步骤x 200000年产量x 10年=96000000个步骤的数据量，为保证性能，数据库表按年分区，按照查询最频繁的车号字段建立索引。

如图10所示为该车企人员作业行为识别系统的网络拓扑示意图。

视频平台包括部署在车间各作业工位的6个摄像头、交换机和视频平台服务器。摄像头部署在车间作业工位上，摄像头记录的数据通过RTSP经过交换机存储到视频平台服务器。AI平台包括6台算法服务器，应用平台包括AP高可用应用服务器和postgresql结构数据库服务器。

如图11所示为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的的系统数据流图。

针对该车企所进行的人员作业行为识别方法如下：

S1，针对要进行人员作业品质检查的工位安装摄像头，对摄像头进行配置，搭建视频平台服务。

本发明实施例中，针对6个工位各安装了一个摄像头，一个摄像头近距离拍摄一个工位的详细作业情况，视频分辨率要求720P及以上。

S2，AI平台从视频平台获取历史视频数据，针对不同车型训练目标模型和行为模型。具体步骤如下：

S21，针对每个作业工位的每个作业车型，获取足够的标准作业视频。

下表1所示为1号工位在普通天籁和高配天籁的作业步骤表，其中，第1列表示工位，第2列表示车型，第3列表示作业顺序，可以作为后续目标模型和行为模型的作业步骤ID，第4列表示作业步骤的名称，第5列表示作业的起止动作，第6~8列分别表示对应作业步骤的标准时长、最小时长和最大时长。其中，1号工位有普通天籁和高配天籁两个车型，高配天籁比普通天籁多一步放置弹簧作业。

表1 1号工位车型作业步骤对照表

在本实施例中，对于每个工位的每个车型的同一个配置，要求至少获取180辆车的作业视频。

因为普通天籁和高配天籁的作业步骤不同，因此可以视为不同的车型进行目标标注和模型训练。

S22，对于每个工位的每个车型，将获取到的标准作业视频按帧分割成图片，进行样本标注，包括目标标注和行为标注。

S221，目标标注具体的方法为：对车体和工人的手部分别用不同颜色的矩形选择框进行标注。

如图12所示为目标标注示例图，对应的是1号工位，天籁，步骤1预装ABS线束的目标标注。

如图13所示为另一例目标标注示例图，对应的是1号工位，天籁，步骤2预装后轮毂ABS支架的目标标注。

S222，行为标注具体的方法为：将每个作业步骤视频中分割出来的图片按照作业步骤分类到指定的文件夹内。

如图14所示为行为标注示例图，对应的是1号工位，普通天籁。

算法工程师培训标注人员分别进行目标标注和行为标注，标注人员依据表1中第5列类似的起止动作判断标准进行人工作业类型识别，算法工程师对标注好的样本进行抽检，确保标注质量达标。

S23，将标注好的目标样本输入到目标检测算法框架进行训练得到目标模型，用模型对样本进行训练得到模型的准确度，如果模型准确度不符合预期，定位原因，解决问题后，重新进行模型训练，直到模型准确度达到预期。

在本实施例中，目标检测算法框架采用YOLOV5。训练过程中，需要根据识别结果不断调整得到更高的准确度。

S24，将标注好的行为样本输入到行为识别算法框架进行训练得到行为模型，用模型对样本进行训练得到模型的准确度，如果模型准确度不符合预期，定位原因，解决问题后，重新进行模型训练，直到模型准确度达到预期。

在本实施例中，行为识别算法框架采用C3D。

本实施例中模型识别准确度要求达到99%，如果达到该准确度则可以进行部署应用。

S3，AI平台使用训练好的目标模型和行为模型，对视频平台采集到的实时视频流进行目标检测和行为识别，将识别结果发送到应用平台。

如图15所示为本发明基于机器视觉的人员作业行为识别方法与系统一实施例提供的的目标检测和行为识别时序图。

具体步骤如下：

S31，AI平台识别进入视频范围的车辆的车型，通过机器视觉和RFID标签识别结合的方式进行车型识别。

在本实施例中，通过机器视觉和RFID标签识别结合的方式进行车型识别，当AI平台识别到车辆进入视频范围，通过HTTP将工位号传给应用平台的过车队列服务，请求获取车型信息，过车队列服务调用生产管理系统维护的车辆作业队列接口，获取车辆作业队列信息，并结合工位判断出当前工位的车辆，将车辆的车型、车号信息返回给AI平台。

S32，AI平台根据识别出的车型，调用相应车型的目标模型，进行目标检测。

具体步骤如下：

S321，目标模型逐帧对检测到的目标进行标注，通过RTSP实时推送视频流到SRS流媒体服务器，流媒体服务器通过WebRTC将流媒体数据推送到前端，前端浏览器在页面实时展示目标模型标注后的视频流。

S322，目标模型每识别到一个作业步骤开始或作业步骤结束，通过HTTP发送文本识别结果到应用平台，文本结果包含作业工位、作业车型、作业步骤ID、作业时间、作业类型、置信度，作业类型包括作业开始、作业结束。

S323，应用平台将目标模型发送的文本识别结果存储起来，并通过websocket实时发送给客户端浏览器。

客户端浏览器将流媒体服务器的视频流和文本结果结合展示。如图5所示为本实施例应用平台提供的实时作业监控视频页面图，在其中可以查看各工位经过目标模型标注后的实时视频流数据，视频右侧显示的是各作业步骤及对应的标准时长和实际时长，作业步骤和标准时长根据车型预先录入，实际时长为根据目标模型发送给应用平台的文本识别结果计算出来的各作业步骤的操作时长。

S33，AI平台根据识别出的车型，调用相应车型的行为模型，进行行为识别。

S34，当前工位当前车辆所有作业步骤都完成之后，AI平台按照置信度将目标模型和行为模型的识别结果融合，再将融合结果发送到应用平台。具体步骤如下：

S341，当目标模型检测到当前工位当前车辆的所有作业步骤都完成之后，将识别到的所述车辆在当前工位的所有作业步骤的目标检测文本结果发送给行为模型，具体内容包括工位、车型、车号、每个作业步骤的开始时间、结束时间及对应的置信度。

S342，当行为模型检测到当前工位当前车辆的所有作业步骤都完成之后，将当前工位当前车辆的行为识别结果汇总，通过工位、车号与目标模型的目标检测文本结果进行匹配，将置信度更高的作为融合结果发送给应用平台。融合结果包括工位、车型、车号、每个作业步骤的开始时间、结束时间及对应的置信度。

S343，应用平台将行为模型发送的融合结果保存到数据库，以供后续追溯。

融合结果相比目标模型发送给应用平台的实时视频流和目标检测结果具有滞后性，因此应用平台不在前端页面中展示融合结果，只是将融合结果存储，用于后续生产过程追溯。

下表2所示为本实施例中模型融合的准确度统计表，第1列表示日期，第2列表示每个工位每天需要作业的车辆数，第3列表示需要识别的工位数，工位数正常情况下是6个，但有时候有新作业员过来学岗，多个作业员出现在摄像头区域且有遮挡，这种情况该工位就不进行识别。第4列表示系统识别的总步骤数，第5列表示算法误识别步骤数，第6列表示步骤识别准确率，第7列表示系统识别的总车辆数，总车辆数=车辆数x工位数，第8列表示算法误识别车辆数，第9列表示车辆识别准确率。

表2 模型融合准确度统计表

对比其他行为识别方案，和行业内图像识别商业化效果最好的人脸识别方案的准确率，见表3，本例中行为识别平均准确率无限接近于人脸识别方案。

表3 本实施例的作业识别准确率和行业内方案对比

其中，第3列中其他行为识别方案的数据来源为国内某些公司行为识别接口，通过测试第三方的接口获取到识别准确率，第4列中人脸识别准确率的数据来源为某公司公开的人脸识别准确率。

本发明的技术方案在各工位安装摄像头，实时拍摄对应工位的作业视频，AI平台获取各车型的历史视频，用于标注目标检测样本和行为识别样本，训练目标模型和行为模型，通过机器视觉和RFID标签识别结合的方式进行车型识别，使用训练好的对应车型的模型对拍摄到的实时视频流进行目标和行为识别，将目标模型和行为模型的识别结果按照置信度进行融合，并实时的将进行目标标注后的实时视频流和识别文本发送到应用平台，应用平台在前端页面实时展示视频作业情况，对AI平台的识别结果进行统计和存储，并向用户提供作业异常报警、线平衡分析、历史视频追溯功能。因此，采用本发明的技术方案可以达到以下有益效果：

（1）减少人力消耗，除了初期模型训练阶段需要较多人力进行模型标注之外，后期系统稳定下来之后，不需要额外派驻作业观察和抽检岗。

（2）基本可以做到品质全检，及时发现品质问题并通过应用平台追溯历史作业过程。

（3）通过线平衡分析可以及时发现作业瓶颈，通过针对性的调整达到生产线平衡，提高生产效率。

（4）目标模型检测的结果实时输出到应用平台进行展示，识别输出延时低。

（5）通过精准标注的样本进行模型训练，得到的目标模型和行为模型识别准确度高，将二者的识别结果按照置信度融合，进一步提高了识别准确度。

（6）采用机器视觉和RFID标签识别结合的方式进行车型识别，按照车型训练模型，面对柔性化生产线可以灵活调整，调整成本低。

以上仅为本发明的具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims (10)

1.一种基于机器视觉的人员作业行为识别方法，其特征在于，包括以下步骤：

S1，针对要进行人员作业品质检查的工位安装摄像头，对摄像头进行配置，搭建视频平台；

S2，AI平台从视频平台获取历史视频数据，针对不同车型训练目标模型和行为模型，具体包括：

S21，针对每个工位的每个作业车型，获取足够的标准作业视频；

S22，对于每个工位的每个车型，将获取到的标准作业视频按帧分割成图片，进行样本标注，包括目标标注和行为标注；

S23，将标注好的目标样本输入到目标检测算法框架进行训练得到目标模型；

S24，将标注好的行为样本输入到行为识别算法框架进行训练得到行为模型；

S3，AI平台使用训练好的目标模型和行为模型，对视频平台采集到的实时视频流进行目标检测和行为识别，将识别结果发送到应用平台，具体包括：

S31，AI平台获取进入视频范围的车辆的车型，通过机器视觉和RFID标签识别结合的方式进行车型识别；

S32，AI平台根据识别出的车型，调用相应车型的目标模型，进行目标检测；

S33，AI平台根据识别出的车型，调用相应车型的行为模型，进行行为识别；

S34，当前工位当前车辆所有作业步骤都完成之后，AI平台按照置信度将目标模型和行为模型的识别结果融合，再将融合结果发送到应用平台。

2.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S22中对目标进行标注具体的方法为：对车体和工人的手部分别用不同颜色的矩形选择框进行标注。

3.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S22中对行为进行标注具体的方法为：将每个作业步骤视频中分割出来的图片按照作业步骤分类到指定的文件夹内。

4.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S23中的目标检测算法框架包括YOLOV5、Fast R-CNN。

5.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S24中的行为识别算法框架包括C3D、Two Stream。

6.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S32具体包括：

S321，目标模型逐帧对检测到的目标进行标注，实时推送视频流到流媒体服务器，流媒体服务器通过前端页面实时展示目标模型标注后的视频流；

S322，目标模型每识别到一个作业步骤开始或作业步骤结束，发送该作业对应的文本识别结果到应用平台，文本识别结果包括作业工位、作业车型、作业步骤ID、作业时间、作业类型、置信度，作业类型包括作业开始、作业结束；

S323，应用平台将目标模型发送的文本识别结果存储起来，并实时发送给客户端浏览器。

7.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S33中，所述行为识别的具体方法为：行为模型自动检测每个作业步骤的开始时间和结束时间，根据识别结果生成文本，文本内容包括作业工位、作业车型、作业步骤ID、作业时间、作业类型、置信度，作业类型包括作业开始、作业结束。

8.根据权利要求1所述的基于机器视觉的人员作业行为识别方法，其特征在于，所述步骤S34具体包括：

S341，当目标模型检测到当前工位当前车辆的所有作业步骤都完成之后，将识别到的所述车辆在当前工位的所有作业步骤的目标检测文本结果发送给行为模型，具体内容包括工位、车型、车号、每个作业步骤的开始时间、结束时间及对应的置信度；

S342，当行为模型检测到当前工位当前车辆的所有作业步骤都完成之后，将当前工位当前车辆的行为识别结果汇总，通过工位、车号与目标模型的目标检测文本结果进行匹配和对比，将置信度更高的作为融合结果发送给应用平台；融合结果包括工位、车型、车号、每个作业步骤的开始时间、结束时间及对应的置信度；

S343，应用平台将行为模型发送的融合结果保存到数据库。

9.一种基于机器视觉的人员作业行为识别系统，其特征在于，包括：

设备层：包括部署在各工位上的监控摄像头，用于实时拍摄对应工位的作业视频；

视频平台：用于管理设备层的监控摄像头，通过硬盘存储监控摄像头拍摄的视频数据，并向AI平台和应用平台提供实时视频服务和历史视频服务；

AI平台：用于识别人员作业行为，AI平台从视频平台获取各车型的历史视频，用于标注目标检测样本和行为识别样本，训练目标模型和行为模型，并使用训练好的对应车型的模型对视频平台提供的实时视频流进行目标和行为识别，将进行目标标注后的实时视频流和识别文本发送到应用平台；

应用平台：用于存储并展示AI平台的识别结果，并基于AI平台的识别结果和视频平台提供的视频服务为用户提供应用服务。

10.根据权利要求9所述的基于机器视觉的人员作业行为识别系统，其特征在于，所述应用平台分为后台和前端部分，后台包括流媒体服务、AI识别结果保存服务、AI识别结果统计服务、车型识别服务、数据库；流媒体服务用于接收AI平台推送的实时视频流，将视频流推送到前端浏览器，AI识别结果保存服务和AI识别结果统计服务分别用于保存和统计AI平台发送的文本识别结果，车型识别服务用于为AI平台提供工位新进入车辆的车型识别服务，数据库用于存储AI平台的文本识别结果；

前端包括实时作业监控模块、作业异常报警模块、线平衡分析模块、历史作业追溯模块；实时作业监控模块从流媒体服务获取实时视频，在前端页面播放；作业异常报警模块通过对比预存的标准作业信息与AI平台发送的识别结果，判断作业是否遗漏，作业顺序是否错误，作业时长是否异常，在有异常情况发生时，发出报警；线平衡分析模块按工位车型统计作业时长，定位瓶颈工位；历史作业追溯模块用于查看历史作业记录，包括历史作业视频及AI文本识别结果。