CN114821478B - 一种基于视频智能分析的工序流程检测方法及系统 - Google Patents

Abstract

本发明提供了一种基于视频智能分析的工序流程检测方法及系统。该基于视频智能分析的工序流程检测方法，包括：步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。通过检测关键物体的存在性及物体之间的几何关系，确认工作人员的各个流程动作是否实施到位、准确。

Description

一种基于视频智能分析的工序流程检测方法及系统

技术领域

本发明涉及工序流程检测技术领域，特别涉及一种基于视频智能分析的工序流程检测方法及系统。

背景技术

制造业生产过程中，机器或部件的组装、装配需要多个安装和检查步骤。此流程由流水线工作人员实施，过程可分解为若干动作，且具有前后顺序规定。包括但不限于装配相关部件、检查关键零件安装是否正确、放置说明书或合格证明等文件、粘贴密封条、套装纸箱等操作。工作人员在流水线运转过程中，可能由于主观或客观原因将某些操作步骤遗漏，因此，有必要对工作人员的工序流程动作进行完备性视频监控。

发明内容

本发明提供一种基于视频智能分析的工序流程检测方法及系统，用以确认工作人员的各个流程动作均实施到位、准确。

本发明提供一种基于视频智能分析的工序流程检测方法，包括：

步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；

步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；

步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；

步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。

优选的，所述步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体，具体步骤包括：

步骤1.1：收集现场工作监控数据，获取感兴趣目标和对应的跟踪主体，并对所述感兴趣目标以及对应跟踪主体的生产时数据进行标注，获得标注数据；

步骤1.2：利用标注数据，训练目标检测模型，得到最终目标检测模型；

步骤1.3：将所述最终目标检测模型进行部署，读取现场监控图像后，送入所述最终目标检测模型推理计算，得到所述感兴趣目标和跟踪主体的第一检测结果。

优选的，所述步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪，具体步骤包括：

步骤2.1：根据跟踪主体的第一轮廓信息以及位置信息，创建相应的跟踪器；

步骤2.2：利用所述跟踪器对所述跟踪主体位置进行预测；

步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配。

优选的，所述步骤3：基于检测结果以及目标跟踪结果，计算所述主体与对应感兴趣目标之间的几何关系，具体步骤包括：

步骤3.1：基于最终目标检测模型得到最新检测结果；

步骤3.2：根据所述最新检测结果，以及目标跟踪结果，计算各个跟踪主体与感兴趣目标之间的几何关系。

优选的，所述步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，具体步骤包括：

根据距离关系对所述感兴趣目标的应装配跟踪主体进行第一判断；

根据角度关系对所述感兴趣目标的应装配跟踪主体进行第二判断；

根据面积交互情况对所述感兴趣目标的应装配跟踪主体进行第三判断；

所述第一判断、第二判断以及第三判断可任意灵活组合执行。

优选的，所述的一种基于视频智能分析的工序流程检测方法，步骤4之后，还包括：

步骤5：当所述跟踪主体离开当前工序警戒线的警戒范围时，如果检测到所述跟踪主体处于目标动作未完成状态，发出告警通知。

优选的，所述步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，包括：

基于所述跟踪器，预测多个跟踪主体位置获取第一预测结果，同时，获取第一检测结果；在所述跟踪器中选取任意一个作为待匹配跟踪器，从第一预测结果中获取所述待匹配跟踪器的预测结果为第二预测结果；

在所述第一检测结果中选取任意一个跟踪主体检测结果作为待匹配主体，从第一检测结果中获取所述待匹配主体的检测结果为第二检测结果；

获取所述待匹配跟踪器的第二预测结果矩形框的坐标为第一矩形框坐标，获取待匹配主体的第二检测结果矩形框坐标为第二矩形框坐标，若所述第一矩形框坐标与所述第二矩形框坐标之间的重叠面积大于预设重叠面积阈值，判断所述待匹配跟踪器与待匹配主体匹配成功；

否则，判断所述待匹配跟踪器与待匹配主体匹配不成功；计算所述待匹配跟踪器与第一检测结果中所有跟踪主体的匹配情况；

当与所述待匹配跟踪器匹配成功的跟踪主体只有一个时，判定所述待匹配跟踪器与所述跟踪主体最终匹配；

当与所述待匹配跟踪器匹配成功的跟踪主体不止一个时，获取全部与所述待匹配跟踪器匹配成功的跟踪主体，计算所述待匹配跟踪器与所有匹配成功的跟踪主体的交互面积，并对所述交互面积进行排序，若最大交互面积对应的跟踪主体未被最终匹配，判定所述待匹配跟踪器与所述最大交互面积对应的跟踪主体最终匹配；

若最大交互面积对应的跟踪主体已经被最终匹配，按照排序顺序依次查看，直到获得没有被最终匹配的跟踪主体，并判定所述待匹配跟踪器与所述没有被最终匹配的跟踪主体最终匹配；

若第一检测结果中存在无最终匹配跟踪主体，则利用该无最终匹配跟踪主体的第二检测结果，创建新的跟踪器；

对于具备最终匹配的跟踪器，获取其位置信息为待更新位置信息，从第一检测结果中获取所述待更新位置信息对应的跟踪器的最终匹配跟踪主体的第二检测结果，对所述待更新位置信息进行更新。

优选的，所述的一种基于视频智能分析的工序流程检测方法，还包括：

所述跟踪器上设有计时模块，当所述跟踪器在预设时间内没有最终匹配主体时，将所述跟踪器删除；

同时，对所述跟踪器的位置进行判断，当所述跟踪器到达出镜位置或预设画面中某边界位置时，将所述跟踪器删除。

优选的，所述的一种基于视频智能分析的工序流程检测方法，包括：步骤5.1：获取未执行目标动作的跟踪主体的当前位置，并将所述当前位置与第一警戒线位置以及第二警戒线位置进行比较；

步骤5.2：当所述当前位置在第一警戒线位置与第二警戒线位置之间时，判定所述失误为第一类型失误，并发出第一告警通知信号；

当所述当前位置在第二警戒线位置之后，判定所述失误为第二类型失误，并发出第二告警通知信号。

本发明提供一种基于视频智能分析的工序流程检测系统，包括：

目标获取模块，用于利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；

跟踪模块，用于基于流水线工序流程，对所述跟踪主体进行目标跟踪；

计算模块，用于基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；

判断模块，用于根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为一种基于视频智能分析的工序流程检测方法流程图；

图2为一种基于视频智能分析的工序流程检测方法步骤1的流程图；

图3为一种基于视频智能分析的工序流程检测方法步骤2的流程图；

图4为一种基于视频智能分析的工序流程检测方法步骤3的流程图；

图5为某品牌滚筒洗衣机装配流水线生产线场景示意图；

图6为一种基于视频智能分析的工序流程检测系统结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供一种基于视频智能分析的工序流程检测方法，如图1所示，包括：

步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；

步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；

步骤3：基于检测结果以及目标跟踪结果，计算所述主体与所述感兴趣目标之间的几何关系；

步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于对应主体上。

本实施例中，感兴趣目标是指生产线上的目标生产产品的零部件。

本实施例中，感兴趣目标对应的跟踪主体是指零部件应装配到的机器或物品主体。

本实施例中，几何关系包括距离关系、角度关系以及面积交互情况。其中，距离关系是指感兴趣目标及对应跟踪主体之间的距离；角度关系是指零件与零件，或零件与跟踪主体之间的角度关系；面积交互情况是指两个零件或者是物品之间的重叠面积。

本技术方案的有益效果：本发明利用机器视觉目标检测算法，检测图像中的感兴趣目标和跟踪主体，随流水线运转，对跟踪主体进行目标跟踪，实现了流水线加工产品的精准跟踪，尽可能保证每一个产品都被跟踪到，及时发现产品问题提高产品品质；根据最新检测结果，计算各个跟踪主体与感兴趣目标之间的几何关系，根据该几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，通过检测关键物体的存在性及物体之间的几何关系，确认工作人员的各个流程动作是否实施到位、准确。

实施例2：

在实施例1的基础上，所述步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体，如图2所示，具体步骤包括：

步骤1.1：收集现场工作监控数据，获取感兴趣目标和对应的跟踪主体，并对所述感兴趣目标以及对应跟踪主体的生产时数据进行标注，获得标注数据；

步骤1.2：利用标注数据，训练目标检测模型，得到最终目标检测模型；

步骤1.3：将所述最终目标检测模型进行部署，读取现场监控图像后，送入所述最终目标检测模型推理计算，得到所述感兴趣目标和跟踪主体的第一检测结果。

本实施例中，工作监控数据是指对工厂工作人员的动作以及产品生产监控。

本实施例中，生产时数据是指产品主体框架、装配关键零件和关键物品的种类位置以及大小。

本实施例中，标注数据包括感兴趣目标和感兴趣目标对应的跟踪主体的类别和大小位置信息，即类别label，大小位置信息可归结为一个矩形框，即宽度width，高度height，物体中心点x轴坐标center_x，物体中心点y轴坐标center_y。

本实施例中，目标检测模型以及最终目标检测模型均为深度学习模型，模型种类可选但不限于SSD，YOLO系列，Faster-RCNN等。

本实施例中，第一检测结果是指利用最终目标检测模型推理得到的感兴趣目标和感兴趣目标对应的跟踪主体的类别和大小位置信息，用于各个跟踪主体与跟踪器匹配，也用于计算感兴趣目标与跟踪主体的几何关系。

本技术方案的有益效果：本发明通过收集现场工作监控数据，获取感兴趣目标和对应的跟踪主体，并对所述生产时数据进行标注，获得标注数据，利用标注数据，训练目标检测模型，得到最终目标检测模型有利于快速准确获得流水线上产品位置，及时获取产品装配情况。

实施例3：

在实施例1的基础上，所述步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪，如图3所示，具体步骤包括：

步骤2.1：根据跟踪主体的第一轮廓信息以及位置信息，创建相应的跟踪器；

步骤2.2：利用所述跟踪器对所述跟踪主体位置进行预测；

步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配。

本实施例中，第一轮廓信息是指跟踪主体的大小和位置信息。

本实施例中，跟踪器内部有一个卡尔曼滤波器。卡尔曼滤波器一方面可对目标大小位置信息起到时序上的稳定效果，另一方面可对目标位置做出预测。

本实施例中，预测结果是由被跟踪主体对应的跟踪器预测得到的位置信息。

本技术方案的有益效果：本发明根据跟踪主体的第一轮廓信息以及位置信息，创建多个跟踪器，利用所述跟踪器对所述跟踪主体位置进行预测，预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，尽可能保证流水线上每一个产品都被监测到，为流水线上生产的产品提供品质保障。

实施例4：

在实施例1的基础上，所述步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系，如图4所示，具体步骤包括：

步骤3.1：基于最终目标检测模型得到最新检测结果；

步骤3.2：根据所述最新检测结果，以及目标跟踪结果，计算各个跟踪主体与感兴趣目标之间的几何关系。

本实施例中，最新检测结果是指根据最终目标检测模型得到的被跟踪主体的位置以及感兴趣目标的位置。

本实施例中，各个跟踪主体上的跟踪目标之间的几何关系即距离关系、角度关系以及面积交互情况，具体计算如下：

物体A宽度w_a，高度h_a，中心点(x_a,y_a)，物体B宽度w_b，高度h_b，中心点(x_b,y_b)。

距离distance可用下式表示：

其中，distance表示物体A与物体B中心点之间的距离，x_a表示物体A中心点的横坐标；y_a表示物体A中心点的纵坐标；x_b表示物体B中心点的横坐标；y_b表示物体B中心点的纵坐标；其中，物体A和物体B在同一坐标系中，中心点的坐标确定也以该坐标系为准；

角度angle由下式表示：

其中，angle表示物体A与物体B之间形成的角度；

交互面积如下计算：

另

x_ab_1＝max(x_a_1,x_b_1),x_ab_2＝min(x_a_2,x_b_2),

y_ab_1＝max(y_a_1,y_b_1),y_ab_2＝min(y_a_2,y_b_2)

交互面积：

area_inter＝(x_ab_2-x_ab_1)*(y_ab_2-y_ab_1) (3)

其中，area_inter表示物体A与物体B之间的交互面积即物体A与物体B的重叠面积；x_a_1、x_a_2分别表示物体A的左右两条边中点的横坐标；y_a_1、y_a_2分别表示物体A的上下两条边中点的纵坐标；x_b_1、x_b_2分别表示物体B的左右两条边中点的横坐标；y_b_1、y_b_2分别表示物体B的上下两条边中点的纵坐标；w_a表示物体A的宽度；h_a表示物体A的高度；w_b表示物体B的宽度；h_b表示物体B的高度；x_ab_2-x_ab_1表示物体A与物体B交互面积的宽度；y_ab_2-y_ab_1表示物体A与物体B交互面积的宽高度；

假设A为零件，面积交互比iou：

其中iou为交互比，即两个物体的交互面积占其中一个物体总面积的比值；

若iou不在[0,1]范围内，则认为A、B两个物体在画面中无面积交互。

本实施例中，以某品牌滚筒洗衣机装配流水线某段为例，其生产线场景示意图如图5所示，过程中选取洗衣机顶盖为跟踪主体，针对某台洗衣机的检测流程如下：

1.检测洗涤剂盒，需要打开洗涤剂盒进行查看：

此步骤感兴趣目标为被拉出的洗涤剂盒，由于生产线上可能同时存在多台洗衣机。因此可根据式(1)完成拉出的洗涤剂盒与跟踪主体(即洗衣机顶盖，代表了单独的洗衣机)的匹配。若匹配成功，认为完成此步骤。

2.打开滚筒洗衣机门：

此步骤感兴趣目标为被打开的洗衣机门，由于生产线上可能同时存在多台洗衣机。因此可根据式(1)、式(2)完成打开的洗衣机门与跟踪主体(即洗衣机顶盖，代表了单独的洗衣机)的匹配。若匹配成功，认为完成此步骤。

3.取出提前放置于机体内的说明书，并放置在洗衣机顶盖上

此步骤感兴趣目标为说明书，由于生产线上可能同时存在多台洗衣机。因此可根据式(4)完成说明书与跟踪主体(即洗衣机顶盖，代表了单独的洗衣机)的匹配。若匹配成功，认为完成此步骤。

4.关洗衣机门，并将洗衣机门和机体用胶带粘贴紧固

此步骤感兴趣目标为打开的门，由于生产线上可能同时存在多台洗衣机。因此可根据式(1)、式(2)完成打开的门与跟踪主体(即洗衣机顶盖，代表了单独的洗衣机)的匹配。若多次匹配失败，说明门已经关上，认为完成此步骤。

由于可能会产生的遮挡、光线问题，粘胶带步骤简化为工作人员手持胶带。由于生产线上可能同时存在多台洗衣机。因此可根据式(1)、式(2)完成胶带与跟踪主体(即洗衣机顶盖，代表了单独的洗衣机)的匹配。若匹配成功，认为完成此步骤。

5.在传送带前进方向上，设置警戒线。若跟踪主体越过警戒线后仍有检测步骤未完成，及时上报预警。

本技术方案的有益效果：本发明通过最终目标检测模型得到最新检测结果，并根据所述最新检测结果，计算跟踪主体与感兴趣目标之间的几何关系，为产品零件的安装提供准确监控，为感兴趣目标的装配完备情况判定提供依据。

实施例5：

在实施例1的基础上，所述步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，包括：

根据距离关系对所述感兴趣目标的应装配跟踪主体进行第一判断；

根据角度关系对所述感兴趣目标的应装配跟踪主体进行第二判断；

根据面积交互情况对所述感兴趣目标的应装配跟踪主体进行第三判断；

所述第一判断、第二判断以及第三判断可任意灵活组合执行。

本实施例中，第一判断是指根据感兴趣目标与跟踪主体之间的距离判断感兴趣目标的归属，例如，检测到某零件A，需要判断零件A属于哪一个跟踪主体(B1,B2...Bn)，可用距离进行判断。由(1)式分别计算A与B1,B2...Bn的中心点距离，取距离最短者暂定A归属。

本实施例中，第二判断是有时出于生产线摄像头角度、畸变等原因，距离关系可能不足以判断零件的归属情况，但感兴趣目标与跟踪主体或跟踪主体上其他零件之间的角度关系变化不大。根据实际情况预设角度阈值[angle_1,angle_2]，由(2)式计算A与B1,B2...Bn的角度，落在该角度阈值范围内的为A的归属。

本实施例中，第三判断是指对于跟踪主体较大，零件较小，且零件一般需要放在跟踪主体上，即零件A大小位置所形成矩形框应大部分或全部位于跟踪主体矩形框内部。可用(4)式计算A与B1,B2...Bn面积交互比，若iou大于预设阈值(例如0.8)，且在[0,1]内，则认为零件A归属于该主体。

本技术方案的有益效果：本发明对感兴趣目标的归属进行三种判断，确保了判断结果的精准度，保证了感兴趣目标归属判定的准确性；同时，通过检测感兴趣目标与跟踪主体之间的几何关系，方便确认工作人员的各个流程动作是否实施到位、准确。

实施例6：

在实施例1的基础上，所述的一种基于视频智能分析的工序流程检测方法，步骤4之后，还包括：

步骤5：当所述跟踪主体离开当前工序警戒线的警戒范围时，如果检测到所述跟踪主体处于目标动作未完成状态，发出告警通知。

本实施例中，目标动作是指流水线工作时机器或部件的组装、装配以及检查关键零件安装是否正确、放置说明书或合格证明等文件、粘贴密封条、套装纸箱等操作。

本技术方案的有益效果：本发明在当跟踪主体即产品离开当前工序的警戒线的警戒范围时，若检测分析到有目标动作未完成，发出告警通知，确保对产品装配的有效监控，保证产品的完整，以及产品品质，同时发出告警也有利于管理人员及时发现失误原因。

实施例7：

基于实施例4的基础上，所述步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，包括：

基于所述跟踪器，预测多个跟踪主体位置获取第一预测结果，同时，获取第一检测结果；在所述跟踪器中选取任意一个作为待匹配跟踪器，从第一预测结果中获取所述待匹配跟踪器的预测结果为第二预测结果；

在所述第一检测结果中选取任意一个跟踪主体检测结果作为待匹配主体，从第一检测结果中获取所述待匹配主体的检测结果为第二检测结果；

获取所述待匹配跟踪器的第二预测结果矩形框的坐标为第一矩形框坐标，获取待匹配主体的第二检测结果矩形框坐标为第二矩形框坐标，若所述第一矩形框坐标与所述第二矩形框坐标之间的重叠面积大于预设重叠面积阈值，判断所述待匹配跟踪器与待匹配主体匹配成功；

否则，判断所述待匹配跟踪器与待匹配主体匹配不成功；计算所述待匹配跟踪器与第一检测结果中所有跟踪主体的匹配情况；

当与所述待匹配跟踪器匹配成功的跟踪主体只有一个时，判定所述待匹配跟踪器与所述跟踪主体最终匹配；

当与所述待匹配跟踪器匹配成功的跟踪主体不止一个时，获取全部与所述待匹配跟踪器匹配成功的跟踪主体，计算所述待匹配跟踪器与所有匹配成功的跟踪主体的交互面积，并对所述交互面积进行排序，若最大交互面积对应的跟踪主体未被最终匹配，判定所述待匹配跟踪器与所述最大交互面积对应的跟踪主体最终匹配；

若最大交互面积对应的跟踪主体已经被最终匹配，按照排序顺序依次查看，直到获得没有被最终匹配的跟踪主体，并判定所述待匹配跟踪器与所述没有被最终匹配的跟踪主体最终匹配；

若第一检测结果中存在无最终匹配跟踪主体，则利用该无最终匹配跟踪主体的第二检测结果，创建新的跟踪器；

对于具备最终匹配的跟踪器，获取其位置信息为待更新位置信息，从第一检测结果中获取所述待更新位置信息对应的跟踪器的最终匹配跟踪主体的第二检测结果，对所述待更新位置信息进行更新。

本实施例中，对跟踪主体的位置预测以及检测都依照矩形框进行标定。

本实施例中，第一预测结果是指跟踪器对下一时刻位置的预测结果。

本实施例中，待匹配跟踪器是指跟踪器创建完成后，没有确认最终匹配的跟踪器。

本实施例中，待匹配主体是指没有确认最终匹配的跟踪主体。

本实施例中，第二预测结果是指待匹配跟踪器的第一预测结果。

本实施例中，第二检测结果是指待匹配主体的第一检测结果。

本实施例中，第一矩形框坐标是指待匹配跟踪器的预测结果矩形框的坐标；第二矩形框坐标是指待匹配主体的检测结果矩形框的坐标。

本实施例中，交互面积是指待匹配跟踪器的预测矩形框与所有匹配成功的跟踪主体检测矩形框的重叠面积。

本技术方案的有益效果：本发明通过预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，尽可能保证每一个产品都得到跟踪，为判断各个流程动作是否实施到位、准确提供精准的实时跟踪数据，对交互面积大的跟踪器优选匹配，确保待匹配跟踪器与待匹配主体之间的契合度；同时对跟踪器的位置信息进行更新，确保了跟踪的精准。

实施例8：

基于实施例4的基础上，所述的一种基于视频智能分析的工序流程检测方法，还包括：

所述跟踪器上设有计时模块，当所述跟踪器在预设时间内没有最终匹配主体时，将所述跟踪器删除；

同时，对所述跟踪器的位置进行判断，当所述跟踪器到达出镜位置或预设画面中某边界位置时，将跟踪器删除。

本实施例中，出镜位置是指摄像机拍摄画面的边缘位置。

本实施例中，预设画面中某边界位置可以是预先设置的某工序规定操作空间的边界位置。

本技术方案的有益效果：本发明对在预设时间内没有匹配到待匹配主体以及到达出镜位置或预设画面中某边界位置的跟踪器进行删除，节省算力，提高跟踪模块的计算速度，避免了资源浪费，也避免跟踪器失效后对后续结果持续造成影响。

实施例9：

基于实施例6的基础上，所述的一种基于视频智能分析的工序流程检测方法，包括：步骤5.1：获取未执行目标动作的跟踪主体的当前位置，并将所述当前位置与第一警戒线位置以及第二警戒线位置进行比较；

步骤5.2：当所述当前位置在第一警戒线位置与第二警戒线位置之间时，判定所述失误为第一类型失误，并发出第一告警信号；

当所述当前位置在第二警戒线位置之后，判定所述失误为第二类型失误，并发出第二告警信号。

本实施例中，第一类型失误是指跟踪主体的目标动作未在第一警戒线之前完成；第二类型失误是指跟踪主体的目标动作未在第二警戒线之前完成，该跟踪主体已完全离开当前操作的规定范围，已无法补救，第二类型失误比第一类型失误严重。

本实施例中，第一告警信号是指出现第一类型失误时发出的告警提醒；第二告警信号是指出现第二类型失误时发出的告警提醒。

本技术方案的有益效果：本发明通过在跟踪主体的各个操作空间设置警戒线作为判断依据，对未执行目标动作的跟踪主体进行告警提醒，确保每一个产品都完成了目标操作，两条警戒线的设置在为失误补救提供了机会的同时，也可以根据失误位置的不同对失误类型分类，有利于确定失误存在的共性问题，为产品生产问题的解决提供重要参考。

实施例10：

本发明提供一种基于视频智能分析的工序流程检测系统，如图6所示，包括：

目标获取模块，用于利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；

跟踪模块，用于基于流水线工序流程，对所述跟踪主体进行目标跟踪；

计算模块，用于基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；

判断模块，用于根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上。

本技术方案的有益效果：本发明利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体，随流水线运转，对跟踪主体进行目标跟踪，实现了流水线加工产品的精准跟踪，尽可能保证每一个产品都被跟踪到，及时发现产品问题，提高产品品质；根据基于检测结果以及目标跟踪结果，计算各个跟踪主体与感兴趣目标之间的几何关系，根据该几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，通过检测关键物体的存在性及物体之间的几何关系，确认工作人员的各个流程动作是否实施到位、准确。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于视频智能分析的工序流程检测方法，其特征在于，包括：

步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；

步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪；

步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；

步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上；

所述步骤4：根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上，具体包括：

根据距离关系对所述感兴趣目标的应装配跟踪主体进行第一判断；

根据角度关系对所述感兴趣目标的应装配跟踪主体进行第二判断；

根据面积交互情况对所述感兴趣目标的应装配跟踪主体进行第三判断；

所述第一判断、第二判断以及第三判断可任意灵活组合执行；

所述步骤2：基于流水线工序流程，对所述跟踪主体进行目标跟踪，具体步骤包括：

步骤2.1：根据跟踪主体的第一轮廓信息以及位置信息，创建相应的跟踪器；

步骤2.2：利用所述跟踪器对所述跟踪主体位置进行预测；

步骤2.3：将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配；

其中，将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配，包括：

基于所述跟踪器，预测多个跟踪主体位置获取第一预测结果，同时，获取第一检测结果；在所述跟踪器中选取任意一个作为待匹配跟踪器，从第一预测结果中获取所述待匹配跟踪器的预测结果为第二预测结果；

在所述第一检测结果中选取任意一个跟踪主体检测结果作为待匹配主体，从第一检测结果中获取所述待匹配主体的检测结果为第二检测结果；

获取所述待匹配跟踪器的第二预测结果矩形框的坐标为第一矩形框坐标，获取待匹配主体的第二检测结果矩形框坐标为第二矩形框坐标，若所述第一矩形框坐标与所述第二矩形框坐标之间的重叠面积大于预设重叠面积阈值，判断所述待匹配跟踪器与待匹配主体匹配成功；

否则，判断所述待匹配跟踪器与待匹配主体匹配不成功；计算所述待匹配跟踪器与第一检测结果中所有跟踪主体的匹配情况；

当与所述待匹配跟踪器匹配成功的跟踪主体只有一个时，判定所述待匹配跟踪器与所述跟踪主体最终匹配；

当与所述待匹配跟踪器匹配成功的跟踪主体不止一个时，获取全部与所述待匹配跟踪器匹配成功的跟踪主体，计算所述待匹配跟踪器与所有匹配成功的跟踪主体的交互面积，并对所述交互面积进行排序，若最大交互面积对应的跟踪主体未被最终匹配，判定所述待匹配跟踪器与所述最大交互面积对应的跟踪主体最终匹配；

若最大交互面积对应的跟踪主体已经被最终匹配，按照排序顺序依次查看，直到获得没有被最终匹配的跟踪主体，并判定所述待匹配跟踪器与所述没有被最终匹配的跟踪主体最终匹配；

若第一检测结果中存在无最终匹配跟踪主体，则利用该无最终匹配跟踪主体的第二检测结果，创建新的跟踪器；

对于具备最终匹配的跟踪器，获取其位置信息为待更新位置信息，从第一检测结果中获取所述待更新位置信息对应的跟踪器的最终匹配跟踪主体的第二检测结果，对所述待更新位置信息进行更新。

2.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，所述步骤1：利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体，具体步骤包括：

步骤1.1：收集现场工作监控数据，获取感兴趣目标和对应的跟踪主体，并对所述感兴趣目标以及对应跟踪主体的生产时数据进行标注，获得标注数据；

步骤1.2：利用标注数据，训练目标检测模型，得到最终目标检测模型；

步骤1.3：将所述最终目标检测模型进行部署，读取现场监控图像后，送入所述最终目标检测模型推理计算，得到所述感兴趣目标和跟踪主体的第一检测结果。

3.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，所述步骤3：基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系，具体步骤包括：

步骤3.1：基于最终目标检测模型得到最新检测结果；

步骤3.2：根据所述最新检测结果以及目标跟踪结果，计算各个跟踪主体与感兴趣目标之间的几何关系。

4.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于，步骤4之后，还包括：

步骤5：当所述跟踪主体离开当前工序警戒线的警戒范围时，如果检测到所述跟踪主体处于目标动作未完成状态，发出告警通知。

5.根据权利要求1所述的一种基于视频智能分析的工序流程检测方法，其特征在于：

所述跟踪器上设有计时模块，当所述跟踪器在预设时间内没有最终匹配跟踪主体时，将所述跟踪器删除；

同时，对所述跟踪器的位置进行判断，当所述跟踪器到达出镜位置或预设画面中某边界位置时，将所述跟踪器删除。

6.根据权利要求4所述的一种基于视频智能分析的工序流程检测方法，其特征在于，包括：

步骤5.1：获取未执行目标动作的跟踪主体的当前位置，并将所述当前位置与第一警戒线位置以及第二警戒线位置进行比较；

步骤5.2：当所述当前位置在第一警戒线位置与第二警戒线位置之间时，判定失误为第一类型失误，并发出第一告警通知信号；

当所述当前位置在第二警戒线位置之后，判定所述失误为第二类型失误，并发出第二告警通知信号。

7.一种基于视频智能分析的工序流程检测系统，其特征在于，包括：

目标获取模块，用于利用机器视觉目标检测算法，检测图像中的感兴趣目标和感兴趣目标对应的跟踪主体；

跟踪模块，用于基于流水线工序流程，对所述跟踪主体进行目标跟踪；

计算模块，用于基于检测结果以及目标跟踪结果，计算所述跟踪主体与所述感兴趣目标之间的几何关系；

判断模块，用于根据所述几何关系，判断所述感兴趣目标是否应装配于所述跟踪主体上；

所述判断模块，包括：

根据距离关系对所述感兴趣目标的应装配跟踪主体进行第一判断；

根据角度关系对所述感兴趣目标的应装配跟踪主体进行第二判断；

根据面积交互情况对所述感兴趣目标的应装配跟踪主体进行第三判断；

所述第一判断、第二判断以及第三判断可任意灵活组合执行；

所述跟踪模块，包括：

根据跟踪主体的第一轮廓信息以及位置信息，创建相应的跟踪器；

利用所述跟踪器对所述跟踪主体位置进行预测；

将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配；

其中，将预测结果与第一检测结果进行分析，根据所述分析判断所述跟踪器是否与所述跟踪主体匹配的方法包括：

基于所述跟踪器，预测多个跟踪主体位置获取第一预测结果，同时，获取第一检测结果；在所述跟踪器中选取任意一个作为待匹配跟踪器，从第一预测结果中获取所述待匹配跟踪器的预测结果为第二预测结果；

在所述第一检测结果中选取任意一个跟踪主体检测结果作为待匹配主体，从第一检测结果中获取所述待匹配主体的检测结果为第二检测结果；

获取所述待匹配跟踪器的第二预测结果矩形框的坐标为第一矩形框坐标，获取待匹配主体的第二检测结果矩形框坐标为第二矩形框坐标，若所述第一矩形框坐标与所述第二矩形框坐标之间的重叠面积大于预设重叠面积阈值，判断所述待匹配跟踪器与待匹配主体匹配成功；

否则，判断所述待匹配跟踪器与待匹配主体匹配不成功；计算所述待匹配跟踪器与第一检测结果中所有跟踪主体的匹配情况；

当与所述待匹配跟踪器匹配成功的跟踪主体只有一个时，判定所述待匹配跟踪器与所述跟踪主体最终匹配；

当与所述待匹配跟踪器匹配成功的跟踪主体不止一个时，获取全部与所述待匹配跟踪器匹配成功的跟踪主体，计算所述待匹配跟踪器与所有匹配成功的跟踪主体的交互面积，并对所述交互面积进行排序，若最大交互面积对应的跟踪主体未被最终匹配，判定所述待匹配跟踪器与所述最大交互面积对应的跟踪主体最终匹配；

若最大交互面积对应的跟踪主体已经被最终匹配，按照排序顺序依次查看，直到获得没有被最终匹配的跟踪主体，并判定所述待匹配跟踪器与所述没有被最终匹配的跟踪主体最终匹配；

若第一检测结果中存在无最终匹配跟踪主体，则利用该无最终匹配跟踪主体的第二检测结果，创建新的跟踪器；

对于具备最终匹配的跟踪器，获取其位置信息为待更新位置信息，从第一检测结果中获取所述待更新位置信息对应的跟踪器的最终匹配跟踪主体的第二检测结果，对所述待更新位置信息进行更新。

Images