CN117241133B - 基于非固定位置的多工序同时作业的视觉报工方法及系统 - Google Patents

Abstract

本发明公开了一种基于非固定位置的多工序同时作业的视觉报工方法及系统，所述方法包括：通过场地的全局固定相机采集视频流，对视频流进行单帧目标检测，以确定多个目标框；通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID；基于变焦追踪策略从多个目标ID中选取待追踪对象ID；对待追踪对象ID进行变焦识别，获得用户身份信息；获取用户身份信息的工作状态信息，对工作状态信息进行多相机识别结果融合处理，获得工作类别信息；将用户身份信息与工作类别信息通过API接口上传至MES系统进行报工。本发明中通过全局固定相机和云台变焦相机对图像进行变焦识别，实现了快速识别用户身份信息与工作类别信息，提高了工作效率。

Description

基于非固定位置的多工序同时作业的视觉报工方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于非固定位置的多工序同时作业的视觉报工方法及系统。

背景技术

制造生产过程中，除了机加设备外，还存在大量无法进行自动化生产的任务需要由钳工进行手工作业。制造企业生产过程执行系统(Manufacturing Execution SystemMES)为了对这部分任务进行管控通常会采用刷卡报工的形式让钳工刷卡操作。而钳工工作的随机性比较高，计划性较低，通常以小组为单位协调完成整项任务。协同工作时，每位钳工会频繁调整其工作内容以解决实际任务中的具体问题。

现有技术中，一种是强制规定每次任务变化后都要求钳工刷卡报工，需要钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，但这种方式对管理的要求非常高，需要钳工组长对任务有非常准确的判断，并且能够有效的约束钳工按时刷卡，如果任务分解的比较分散，会导致钳工频繁刷卡报工，影响工作效率；另一种是事后统计，通常以天为单位，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，但每天工作内容的统计过于凭借个人感官，通常存在较大误差。

因此，如何在非固定位置的多工序同时作业条件下快速识别用户身份信息及工作类别信息成为一个亟待解决的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种基于非固定位置的多工序同时作业的视觉报工方法及系统，旨在解决如何在非固定位置的多工序同时作业条件下快速识别用户身份信息及工作类别信息的技术问题。

为实现上述目的，本发明提供了一种基于非固定位置的多工序同时作业的视觉报工方法，所述基于非固定位置的多工序同时作业的视觉报工方法包括：

通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；

通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID；

基于变焦追踪策略从多个目标ID中选取待追踪对象ID；

对所述待追踪对象ID进行变焦识别，获得用户身份信息；

获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；

将所述用户身份信息与所述工作类别信息通过API接口上传至MES系统进行报工。

可选地，所述对所述视频流进行单帧目标检测，以确定多个目标框的步骤，包括：

对所述视频流进行单帧目标检测，获得多个待确认识别框；

分别确定各待确认识别框对应的置信度；

基于所述置信度从多个待确认识别框中确定多个目标框。

可选地，所述通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID的步骤，包括：

通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；

根据所述匹配分值结果确定多个目标ID。

可选地，所述基于变焦追踪策略从多个目标ID中选取待追踪对象ID的步骤，包括：

分别提取各目标ID对应的帧图像的目标框数据；

根据所述目标框数据通过目标评分公式确定各目标ID的评分结果；

基于各目标ID的评分结果从多个目标ID中选取待追踪对象ID。

可选地，所述对所述待追踪对象ID进行变焦识别，获得用户身份信息的步骤，包括：

将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；

将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；

通过所述全局固定相机的追踪器获取历史目标框数据；

对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象ID；

计算所述待检测对象ID对应的用户目标框的位置与尺寸；

基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；

基于调整后的拍摄方向与焦距识别出所述待检测对象ID的用户目标框中的二维码或人脸信息，以获得用户身份信息。

此外，为实现上述目的，本发明还提出一种基于非固定位置的多工序同时作业的视觉报工系统，所述基于非固定位置的多工序同时作业的视觉报工系统包括：

处理模块，用于通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；

匹配模块，用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID；

选取模块，用于基于变焦追踪策略从多个目标ID中选取待追踪对象ID；

识别模块，用于对所述待追踪对象ID进行变焦识别，获得用户身份信息；

所述处理模块，还用于获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；

传输模块，用于将所述用户身份信息与所述工作类别信息通过API接口上传至MES系统进行报工。

可选地，所述处理模块，还用于对所述视频流进行单帧目标检测，获得多个待确认识别框；

所述处理模块，还用于分别确定各待确认识别框对应的置信度；

所述处理模块，还用于基于所述置信度从多个待确认识别框中确定多个目标框。

可选地，所述匹配模块，还用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；

所述匹配模块，还用于根据所述匹配分值结果确定多个目标ID。

可选地，所述选取模块，还用于分别提取各目标ID对应的帧图像的目标框数据；

所述选取模块，还用于根据所述目标框数据通过目标评分公式确定各目标ID的评分结果；

所述选取模块，还用于基于各目标ID的评分结果从多个目标ID中选取待追踪对象ID。

可选地，所述识别模块，还用于将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；

所述识别模块，还用于将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；

所述识别模块，还用于通过所述全局固定相机的追踪器获取历史目标框数据；

所述识别模块，还用于对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象ID；

所述识别模块，还用于计算所述待检测对象ID对应的用户目标框的位置与尺寸；

所述识别模块，还用于基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；

所述识别模块，还用于基于调整后的拍摄方向与焦距识别出所述待检测对象ID的用户目标框中的二维码或人脸信息，以获得用户身份信息。

此外，为实现上述目的，本发明还提出一种基于非固定位置的多工序同时作业的视觉报工设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于非固定位置的多工序同时作业的视觉报工程序，所述基于非固定位置的多工序同时作业的视觉报工程序配置为实现如上文所述的基于非固定位置的多工序同时作业的视觉报工方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于非固定位置的多工序同时作业的视觉报工程序，所述基于非固定位置的多工序同时作业的视觉报工程序被处理器执行时实现如上文所述的基于非固定位置的多工序同时作业的视觉报工方法的步骤。

本发明首先通过场地的全局固定相机采集视频流，并对视频流进行单帧目标检测，以确定多个目标框，然后通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID，之后基于变焦追踪策略从多个目标ID中选取待追踪对象ID，对待追踪对象ID进行变焦识别，获得用户身份信息，最后获取用户身份信息的工作状态信息，对工作状态信息进行多相机识别结果融合处理，获得工作类别信息，将用户身份信息与工作类别信息通过API接口上传至MES系统进行报工。相较于现有技术中需要强制规定每次任务变化后都要求钳工刷卡报工，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，导致工作效率较慢，而本发明中通过全局固定相机和云台变焦相机对图像进行变焦识别，可对用户移动状态进行持续的追踪，实现了快速精准的识别用户身份信息与工作类别信息，进而提高了工作效率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于非固定位置的多工序同时作业的视觉报工设备的结构示意图；

图2为本发明基于非固定位置的多工序同时作业的视觉报工方法第一实施例的流程示意图；

图3为本发明基于非固定位置的多工序同时作业的视觉报工方法第一实施例的对焦追踪流程图；

图4为本发明基于非固定位置的多工序同时作业的视觉报工系统第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于非固定位置的多工序同时作业的视觉报工设备结构示意图。

如图1所示，该基于非固定位置的多工序同时作业的视觉报工设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM），也可以是稳定的非易失性存储器（Non-VolatileMemory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储系统。

本领域技术人员可以理解，图1中示出的结构并不构成对基于非固定位置的多工序同时作业的视觉报工设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于非固定位置的多工序同时作业的视觉报工程序。

在图1所示的基于非固定位置的多工序同时作业的视觉报工设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于非固定位置的多工序同时作业的视觉报工设备中的处理器1001、存储器1005可以设置在基于非固定位置的多工序同时作业的视觉报工设备中，所述基于非固定位置的多工序同时作业的视觉报工设备通过处理器1001调用存储器1005中存储的基于非固定位置的多工序同时作业的视觉报工程序，并执行本发明实施例提供的基于非固定位置的多工序同时作业的视觉报工方法。

本发明实施例提供了一种基于非固定位置的多工序同时作业的视觉报工方法，参照图2，图2为本发明基于非固定位置的多工序同时作业的视觉报工方法第一实施例的流程示意图。

本实施例中，所述基于非固定位置的多工序同时作业的视觉报工方法包括以下步骤：

步骤S10：通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框。

易于理解的是，本实施例的执行主体可以是具有数据处理、网络通讯和程序运行等功能的基于非固定位置的多工序同时作业的视觉报工系统，也可以为其他具有相似功能的计算机设备等，本实施例并不加以限制。

还需要说明的是，根据场地大小部署4组以上相机，每组相机分别为1台全局固定相机与1台云台变焦相机。全局摄像头用于分析人员工作类型并跟踪人员移动，云台摄像头用于识别特定人员身份。

还应理解的是，数据采用视频流的形式读取，采用开源的计算机视觉库opencv读取视频流的方法：cv2.VideoCapture.read()。

根据设备的运算能力(F图像/秒)以及托管的相机组数(N)，分配全局相机的帧率为GP，变焦相机的帧率为ZP。其中，为保证相机对焦过程种的追踪效果，云台变焦相机的采集帧率ZP应当大于全局相机的采集帧率GP，设倍率为n，采用如下公式进行计算（帧率取满足条件的最大整数）：NGP+ZP<F=>N/>GP+n/>GP<F=>GP<F/(N+n)。

在本实施例中，还需要预先得到训练好的目标检测模型M，以下为目标检测模型M的训练过程：

步骤1、收集现场工作拍摄数据并设定阈值：

根据每个机位的有效工作范围以及实际成像效果设定目标阈值条件：目标框最小尺寸（min_box_size）、目标框最佳尺寸(best_box_size)并予以记录。

步骤2、数据预处理：

训练过程中对设备的算力没有限制，为保证最佳性能，采用性能最强的InternImage检测模型识别区域内的工作人员目标框。并采用卡尔曼滤波方法来跟踪目标身份ID。并将目标框与身份ID绘制于原始视频上，生成包含目标框与身份ID的新视频P，用于观察输出结果情况。

2.1、输出如下格式视频每帧图像的检测框与身份ID数据：

{"box": [10, 20, 30, 40], "object_id": 1, "frame_id": 100}；

上述数据中box中的10/20代表目标的左上角x/y坐标，30/40代表目标框的宽度和高度。

object_id为1，表述该目标被识别的编号为1，一般情况下，该目标的下一帧图像object_id也将为1。

Frame_id为100，表示记录的是第100帧图像的目标框信息。

2.2、观察视频P中目标ID是否存在变化、目标框是否存在丢失的情况，针对目标ID发生变化的时刻。将目标ID发生变化、目标框丢失的图像帧进行裁剪。

观察视频人员每个时刻的工作类型，将其对应的视频帧区间、工作类型与身份ID进行绑定记录，得到如下数据结构：

{"frame_id_range": [1, 100], "classify": "组装", "object_id": 1}；

上述数据中frame_id_range表示在1~100帧范围内。

classify为组装，表示为该目标框标记的工序类型为组装任务。

object_id为目标的身份id。

2.3、将步骤2.1中输出的数据与步骤2.2中输出的数据通过object_id及frame_id进行关联合并。具体方法在于，遍历步骤2.2中frame_id_range范围内的所有frame_id，并找到步骤2.1中与其相等的frame_id、object_id，合并得到包含目标框、目标分类的数据集合进行输出。

{"box": [10, 20, 30, 40], "classify":"组装", "frame_id": 100}；

2.3、为同时兼顾实时性与准确性，将上述数据转换为大型对象检测、分割数据集（COCO）格式使用yolo系列的预训练模型进行进一步训练，得到能够进行工序类型分类的目标检测模型M。

进一步地，对视频流进行单帧目标检测，以确定多个目标框的处理方式为对视频流进行单帧目标检测，获得多个待确认识别框；分别确定各待确认识别框对应的置信度；基于置信度从多个待确认识别框中确定多个目标框。

在具体实现中，参考图3，图3为本发明基于非固定位置的多工序同时作业的视觉报工方法第一实施例的对焦追踪流程图，利用训练好的目标检测模型对相机采集的视频流图像执行检测任务，输出结果存储至如下数据结构：

{"box": [10, 20, 30, 40], "classify":"组装", "confidence": 0.8}；

其中，box与过程2中box相同，表示目标框的坐标与尺寸，classify表预测分类，confidence表示识别结果的置信度。

获得多个待确认识别框，分别确定各待确认识别框对应的置信度，将置信度低于阈值的待确认识别框丢弃，其余待确认识别框作为目标框。

步骤S20：通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID。

进一步地，通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID的处理方式为通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；根据匹配分值结果确定多个目标ID。

在本实施例中，采用基于卡尔曼滤波的追踪器对每个目标框的前Num帧中各目标框进行匹配，获取同一目标在连续帧中的唯一ID，之后根据唯一ID得到匹配分值最高的目标ID或新目标ID。

在具体实现中，将对象ID与分类添加至用户工作类型数据结构中：

如果当前confidence与工作类型数据结构中的confidence相差小于α，且当前检测时间与记录的结束时间小于β，则更新记录的结束时间为当前时间；否则，新创建一条记录。

该目标ID未被识别：如果是新目标ID，则将其添加至未识别身份数据结构中；如果是已有目标ID，则将当前的目标框添加至未识别身份数据结构中。

步骤S30：基于变焦追踪策略从多个目标ID中选取待追踪对象ID。

进一步地，基于变焦追踪策略从多个目标ID中选取待追踪对象ID的处理方式为分别提取各目标ID对应的帧图像的目标框数据；根据目标框数据通过目标评分公式确定各目标ID的评分结果；基于各目标ID的评分结果从多个目标ID中选取待追踪对象ID。

在具体实现中，提取每个目标ID最近的P帧图像的目标框数据；取P帧图像的目标框数据中目标框的中心点，采用计算最小包围圆的高效算法（Welzl's）计算最近P帧图像中目标框中心点的最小包围圆。根据最小包围圆的半径R大小可以判断近P帧图像中目标对象的运动状态，R越大代表目标运动越剧烈，R越小代表目标相对更加静止。采用S形曲线的函数（sigmoid）归一化将1/R映射至0~1范围：R_normalized=1/(1+exp(-1/R))；计算每个目标框在P帧图像中平均尺寸S=Σ(WiHi)/P。采用sigmoid归一化将S映射至0~1范围：S_normalized=1/(1+exp(-1/S))。

在对目标身份进行变焦追踪识别时，我们会尽量优先选择静止状态且距离更近的目标。因此，设运动状态权重为：w1、设距离权重为：w2。目标评分公式：score=w1R_normalized+w2/>S_normalized。根据各目标ID的评分结果选出分数最高的目标对象，记录下目标对象ID，并将记录下的目标对象ID作为待追踪对象ID。若未识别队列为空，则从备选队列中取出评分最高的目标对象；若备选队列也为空，则进入等待状态。

步骤S40：对所述待追踪对象ID进行变焦识别，获得用户身份信息。

进一步地，对待追踪对象ID进行变焦识别，获得用户身份信息的处理方式为将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；将待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；通过全局固定相机的追踪器获取历史目标框数据；对历史目标框数据与预测结果目标框进行卡尔曼滤波分析，获得云台变焦相机视野内每个用户目标框的待检测对象ID；计算待检测对象ID对应的用户目标框的位置与尺寸；基于用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；基于调整后的拍摄方向与焦距识别出待检测对象ID的用户目标框中的二维码或人脸信息，以获得用户身份信息。

在本实施例中，变焦识别的过程包括：

1、得到当前评分追高的待追踪对象ID：pidg。

2、将云台变焦相机的角度与焦距调整至预设位置（视角与同组全局相机基本一致）。

3、将云台变焦相机拍摄的图像（即待识别用户图像）输入到目标检测模型中进行预测，得到预测结果目标框T。

4、拷贝同组全局相机的追踪器得到zoom_tracker。

5、使用zoom_tracker中历史目标框数据与T进行卡尔曼滤波分析，得到每个目标框的pidz，从pidz中找到pidg一致的用户目标框Bz。（将全局相机中的图像与云台变焦相机中的图像进行关联）。

6、根据目标框Bz的尺寸与中心点位置驱动云台相机角度调整。

计算目标框Bz中心点与图像中心的偏心量(off_x,off_y)；设置最大偏心距离为dist，当目标框的√(off_x^2 + off_y^2)>dist时调整云台相机的角度：若|off_x|>=|off_y|则驱动云台变焦相机水平方向旋转，旋转方向与off_x的正负性相关；若|off_x|<|off_y|则驱动云台变焦相机竖直方向旋转，旋转方向与off_y的正负性相关。

当目标框的√(off_x^2 + off_y^2)<=dist时，认为目标已经对准至中心位置，此时根据目标框的面积box_size与预设值best_box_size进行比较。

7、若box_size同时满足：

box_size>=best_box_sizescale1 且 box_size<=best_box_size/>scale2；

scale1<scale2 且 scale1 ，scale2 ∈(0,1)，用于约束最佳取样位置。

对当前图像（即待识别用户图像）中的人脸/二维码进行识别，分析出目标身份，并更新对象身份数据结构；否则重复5、6、7继续进行追踪。

8、若目标距离较远、标识特征存在遮挡或持续运动，可能存在无法识别到目标身份的情况。

对于超出指定时间任然未能识别出目标对象身份信息，则将当前目标ID存放至备选队列中。

基于追踪结果定义如下数据结构：

已识别身份对象：

[{'object_id':1,'person_id':1},{'object_id':2,'person_id':2}]；

未识别身份对象框：

{'object_id':1,'box':[box1,box2],'time':19726521243}}；

用户工作类型记录

{'object_id':1,'work1':[from,to,confidence],'work2':[from,to,confidence]}。

步骤S50：获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息。

在本实施例中，合并用户身份与工序类型信息，例如用户由于中途离开工作区间，产生了2个object_id：

[{'object_id':1,'person_id':1},{'object_id':13,'person_id':1}]；

{'object_id':1,'work1':[from,to,confidence],'work2':[from,to,confidence]}；

{'object_id':1,'work1':[100,200,0.8]}；

{'object_id':13,'work2':[300,500,0.85]}；

合并后得到单组相机用户工作状态信息：

{'person_id':1,'work1':[100,200,0.8],'work2':[300,500,0.85]}。

还应理解的是，因为拍摄过程中用户可能存在动作不清楚，被遮挡等情况，导致某个方向上观察的结果与实际工作类型存在偏差，因此如果多个相机都拍射到某一时间段用户的工作状态，则对所有相机检测的每个类别置信度进行求和，求出置信度最高的工作类别。

步骤S60：将所述用户身份信息与所述工作类别信息通过API接口上传至MES系统进行报工。

在具体实现中，统计出用户在每个时间段的工作内容，并通过API接口上传至MES系统。

在本实施例中，首先通过场地的全局固定相机采集视频流，并对视频流进行单帧目标检测，以确定多个目标框，然后通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID，之后基于变焦追踪策略从多个目标ID中选取待追踪对象ID，对待追踪对象ID进行变焦识别，获得用户身份信息，最后获取用户身份信息的工作状态信息，对工作状态信息进行多相机识别结果融合处理，获得工作类别信息，将用户身份信息与工作类别信息通过API接口上传至MES系统进行报工。相较于现有技术中需要强制规定每次任务变化后都要求钳工刷卡报工，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，导致工作效率较慢，而本实施例中通过全局固定相机和云台变焦相机对图像进行变焦识别，可对用户移动状态进行持续的追踪，实现了快速精准的识别用户身份信息与工作类别信息，进而提高了工作效率。

参照图4，图4为本发明基于非固定位置的多工序同时作业的视觉报工系统第一实施例的结构框图。

如图4所示，本发明实施例提出的基于非固定位置的多工序同时作业的视觉报工系统包括：

处理模块4001，用于通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框。

所述处理模块，还用于对所述视频流进行单帧目标检测，获得多个待确认识别框；分别确定各待确认识别框对应的置信度；基于所述置信度从多个待确认识别框中确定多个目标框。

匹配模块4002，用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID。

所述匹配模块，还用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；根据所述匹配分值结果确定多个目标ID。

选取模块4003，用于基于变焦追踪策略从多个目标ID中选取待追踪对象ID。

所述选取模块，还用于分别提取各目标ID对应的帧图像的目标框数据；根据所述目标框数据通过目标评分公式确定各目标ID的评分结果；基于各目标ID的评分结果从多个目标ID中选取待追踪对象ID。

识别模块4004，用于对所述待追踪对象ID进行变焦识别，获得用户身份信息。

所述识别模块，还用于将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；通过所述全局固定相机的追踪器获取历史目标框数据；对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象ID；计算所述待检测对象ID对应的用户目标框的位置与尺寸；基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；基于调整后的拍摄方向与焦距识别出所述待检测对象ID的用户目标框中的二维码或人脸信息，以获得用户身份信息。

所述处理模块4001，还用于获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息。

传输模块4005，用于将所述用户身份信息与所述工作类别信息通过API接口上传至MES系统进行报工。

在本实施例中，首先通过场地的全局固定相机采集视频流，并对视频流进行单帧目标检测，以确定多个目标框，然后通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID，之后基于变焦追踪策略从多个目标ID中选取待追踪对象ID，对待追踪对象ID进行变焦识别，获得用户身份信息，最后获取用户身份信息的工作状态信息，对工作状态信息进行多相机识别结果融合处理，获得工作类别信息，将用户身份信息与工作类别信息通过API接口上传至MES系统进行报工。相较于现有技术中需要强制规定每次任务变化后都要求钳工刷卡报工，每位钳工根据记忆统计当天完成的各项工作内容所花费的时间，钳工组长根据工作内容在任务分配初期根据任务的具体内容进行分解，为每个人员分配适当的工作，导致工作效率较慢，而本实施例中通过全局固定相机和云台变焦相机对图像进行变焦识别，可对用户移动状态进行持续的追踪，实现了快速精准的识别用户身份信息与工作类别信息，进而提高了工作效率。

本发明基于非固定位置的多工序同时作业的视觉报工系统的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于非固定位置的多工序同时作业的视觉报工方法，其特征在于，所述基于非固定位置的多工序同时作业的视觉报工方法包括以下步骤：

通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；

通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID；

基于变焦追踪策略从多个目标ID中选取待追踪对象ID；

对所述待追踪对象ID进行变焦识别，获得用户身份信息；

获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；

将所述用户身份信息与所述工作类别信息通过API接口上传至MES系统进行报工；

所述基于变焦追踪策略从多个目标ID中选取待追踪对象ID的步骤，包括：

分别提取各目标ID对应的帧图像的目标框数据；

根据所述目标框数据确定目标框中心点，并根据所述目标框中心点通过最小包围圆的高效算法得到所述目标框中心点的最小包围圆；

根据所述最小包围圆的半径确定所述帧图像中目标对象的运动状态，并确定所述帧图像对应的目标框平均尺寸；

根据所述目标对象的运动状态和所述目标框平均尺寸通过目标评分公式确定各目标ID的评分结果；

所述目标评分公式为：

R_normalized=1/(1+exp(-1/R))；

S=Σ(Wi*Hi)/P；

S_normalized=1/(1+exp(-1/S))；

score=w1*R_normalized+w2*S_normalized；

式中，R为目标对象的运动状态，S为目标框平均尺寸，P为帧数图像，Wi为每张图像的宽度，Hi为每张图片的高度，score为评分结果，w1为运动状态权重，w2为距离权重，S_normalized为归一化的目标框平均尺寸，R_normalized为归一化的目标对象的运动状态；

基于各目标ID的评分结果从多个目标ID中选取评分最高的待追踪对象ID；

所述对所述待追踪对象ID进行变焦识别，获得用户身份信息的步骤，包括：

将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；

将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；

通过所述全局固定相机的追踪器获取历史目标框数据；

对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象ID；

计算所述待检测对象ID对应的用户目标框的位置与尺寸；

基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；

基于调整后的拍摄方向与焦距识别出所述待检测对象ID的用户目标框中的二维码或人脸信息，以获得用户身份信息。

2.如权利要求1所述的方法，其特征在于，所述对所述视频流进行单帧目标检测，以确定多个目标框的步骤，包括：

对所述视频流进行单帧目标检测，获得多个待确认识别框；

分别确定各待确认识别框对应的置信度；

基于所述置信度从多个待确认识别框中确定多个目标框。

3.如权利要求2所述的方法，其特征在于，所述通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID的步骤，包括：

通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；

根据所述匹配分值结果确定多个目标ID。

4.一种基于非固定位置的多工序同时作业的视觉报工系统，其特征在于，所述基于非固定位置的多工序同时作业的视觉报工系统包括：

处理模块，用于通过场地的全局固定相机采集视频流，并对所述视频流进行单帧目标检测，以确定多个目标框；

匹配模块，用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得多个目标ID；

选取模块，用于基于变焦追踪策略从多个目标ID中选取待追踪对象ID；

识别模块，用于对所述待追踪对象ID进行变焦识别，获得用户身份信息；

所述处理模块，还用于获取所述用户身份信息对应的工作状态信息，对所述工作状态信息进行多相机识别结果融合处理，获得工作类别信息；

传输模块，用于将所述用户身份信息与所述工作类别信息通过API接口上传至MES系统进行报工；

所述选取模块，还用于分别提取各目标ID对应的帧图像的目标框数据；

所述选取模块，还用于根据所述目标框数据确定目标框中心点，并根据所述目标框中心点通过最小包围圆的高效算法得到所述目标框中心点的最小包围圆；

所述选取模块，还用于根据所述最小包围圆的半径确定所述帧图像中目标对象的运动状态，并确定所述帧图像对应的目标框平均尺寸；

所述选取模块，还用于根据所述目标对象的运动状态和所述目标框平均尺寸通过目标评分公式确定各目标ID的评分结果；

所述目标评分公式为：

R_normalized=1/(1+exp(-1/R))；

S=Σ(Wi*Hi)/P；

S_normalized=1/(1+exp(-1/S))；

score=w1*R_normalized+w2*S_normalized；

式中，R为目标对象的运动状态，S为目标框平均尺寸，P为帧数图像，Wi为每张图像的宽度，Hi为每张图片的高度，score为评分结果，w1为运动状态权重，w2为距离权重，S_normalized为归一化的目标框平均尺寸，R_normalized为归一化的目标对象的运动状态；

所述选取模块，还用于基于各目标ID的评分结果从多个目标ID中选取评分最高的待追踪对象ID；

所述识别模块，还用于将云台变焦相机的角度与焦距调整至预设位置拍摄待识别用户图像；

所述识别模块，还用于将所述待识别用户图像输入至目标检测模型中进行预测，获得预测结果目标框；

所述识别模块，还用于通过所述全局固定相机的追踪器获取历史目标框数据；

所述识别模块，还用于对所述历史目标框数据与所述预测结果目标框进行卡尔曼滤波分析，获得所述云台变焦相机视野内每个用户目标框的待检测对象ID；

所述识别模块，还用于计算所述待检测对象ID对应的用户目标框的位置与尺寸；

所述识别模块，还用于基于所述用户目标框的位置与尺寸驱动所述云台变焦相机调整拍摄方向与焦距；

所述识别模块，还用于基于调整后的拍摄方向与焦距识别出所述待检测对象ID的用户目标框中的二维码或人脸信息，以获得用户身份信息。

5.如权利要求4所述的系统，其特征在于，所述处理模块，还用于对所述视频流进行单帧目标检测，获得多个待确认识别框；

所述处理模块，还用于分别确定各待确认识别框对应的置信度；

所述处理模块，还用于基于所述置信度从多个待确认识别框中确定多个目标框。

6.如权利要求5所述的系统，其特征在于，所述匹配模块，还用于通过卡尔曼滤波的追踪器分别对多个目标框进行匹配，获得匹配分值结果；

所述匹配模块，还用于根据所述匹配分值结果确定多个目标ID。