CN117115783A - 基于机器视觉的流水线工作行为识别方法 - Google Patents

基于机器视觉的流水线工作行为识别方法 Download PDF

Info

Publication number
CN117115783A
CN117115783A CN202311143865.9A CN202311143865A CN117115783A CN 117115783 A CN117115783 A CN 117115783A CN 202311143865 A CN202311143865 A CN 202311143865A CN 117115783 A CN117115783 A CN 117115783A
Authority
CN
China
Prior art keywords
pipeline
target
humanoid
information
humanoid target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311143865.9A
Other languages
English (en)
Other versions
CN117115783B (zh
Inventor
郑龙
杜丛晋
张雅婷
蒋嘉文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Titan Intelligent Technology Co ltd
Original Assignee
Jiangsu Titan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Titan Intelligent Technology Co ltd filed Critical Jiangsu Titan Intelligent Technology Co ltd
Priority to CN202311143865.9A priority Critical patent/CN117115783B/zh
Publication of CN117115783A publication Critical patent/CN117115783A/zh
Application granted granted Critical
Publication of CN117115783B publication Critical patent/CN117115783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器视觉技术领域，具体公开了一种基于机器视觉的流水线工作行为识别方法，其中，包括：实时获取流水线图像信息；根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域；对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，获得人形目标运动轨迹和姿态信息；对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息；根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为。本发明提供的基于机器视觉的流水线工作行为识别方法能够有效提升流水线工作行为识别的准确性。

Description

基于机器视觉的流水线工作行为识别方法
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉的流水线工作行为识别方法。
背景技术
在现代制造业中，流水线生产是一种高效的生产模式，通过将产品在各个工作站上进行逐步加工，从而实现了大规模、高效率的生产。然而，在流水线生产过程中，监测和优化工作人员的工作行为对于提高生产效率和质量至关重要。随着制造业的智能化和自动化发展，基于视觉信息的工作行为识别技术逐渐受到关注。
在传统制造流水线中，对工作人员的工作行为和生产流程的监控通常依赖于人工巡检或离线视频分析。然而，这种方法存在人力资源浪费、实时性不足以及主观性较强的问题。此外，复杂的生产环境、多变的工作场景和多样的工作行为也增加了识别难度。
近年来，计算机视觉和深度学习技术的发展为解决这些问题提供了新的可能性。通过利用摄像头、传感器等设备获取流水线工作区域的视觉信息，可以实现实时监测和分析工作人员的动作和姿态。人形检测、姿态估计、人形追踪等技术的引入，使得能够准确识别和跟踪工作人员，并且从中区分出不同的工作行为，为生产管理和优化提供了更多的数据支持。
然而，目前的技术仍然存在一些挑战，例如复杂的工作环境、人员交叉、物料干扰等因素可能导致识别的不准确性，进而导致无法识别工作行为与实际的工作流程是否相匹配。
因此，如何能够准确识别流水线工作行为以提升生产管理效率成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种基于机器视觉的流水线工作行为识别方法，解决相关技术中存在的无法准确识别流水线工作行为的问题。
作为本发明的一个方面，提供一种基于机器视觉的流水线工作行为识别方法，其中，包括：
实时获取流水线图像信息；
根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域；
对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，获得人形目标运动轨迹和姿态信息；
对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息；
根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为。
进一步地，根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，包括：
接收预设配置信息，所述预设配置信息包括流水线物料区域和流水线工作区域的初始划分界限；
根据所述流水线图像信息中的工作区域关键信息对所述流水线图像信息进行区域自动划分，获得区域自动划分结果；
将所述区域自动划分结果与所述预设配置信息进行比对，以对所述预设配置信息进行优化调整，获得流水线图像信息的流水线物料区域和流水线工作区域的划分结果。
进一步地，根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，还包括：
对所述流水线图像信息中的工作区域关键信息进行实时监测；
若当前流水线图像信息中的工作区域关键信息与上一监测时刻相比发生变化，则发出工作区域关键信息发生变化的提示信息，并更新所述流水线图像信息中的流水线物料区域和流水线工作区域的划分结果。
进一步地，对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，以获得人形目标运动轨迹和姿态信息，包括：
对所述流水线图像信息进行目标检测以确定流水线工作区域中的人形目标；
对所述人形目标进行跟踪处理，以确定人形目标运动轨迹；
对所述人形目标的当前动作进行分析识别，以确定人形目标姿态信息。
进一步地，对所述流水线图像信息进行目标检测以确定流水线工作区域中的人形目标，包括：
将所述流水线图像信息输入至人员检测模型，以获得多个候选人形边界框，其中所述人员检测模型为将流水线工作数据输入至目标检测算法进行训练获得；
对候选人形边界框进行筛选处理，获得目标人形框；
对所述目标人形框进行像素分割处理，获得流水线工作区域中的人形目标。
进一步地，对所述人形目标进行跟踪处理，以确定人形目标运动轨迹，包括：
确认人形目标的唯一标识符；
根据人形目标的唯一标识符通过目标匹配算法对当前帧的人形目标与前一帧的人形目标进行匹配，并获得目标匹配结果；
根据所述目标匹配结果更新每个人形目标的运动轨迹，其中所述运动轨迹包括位置信息、速度信息和方向信息。
进一步地，对所述人形目标的当前动作进行分析识别，以确定人形目标姿态信息，包括：
根据姿态估计算法检测所述人形目标的关键关节点；
根据所述人形目标的关键关节点确定关节连接关系；
根据所述人形目标的关键关节点和关节连接关系确定人体姿态信息。
进一步地，对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息，包括：
将所述流水线图像信息输入至物料检测模型，以获得物料检测结果，其中所述物料检测模型为将流水线物料数据输入至目标检测算法进行训练获得；
确定物料检测结果中的物料编号以及根据物料分类模型确定物料种类；
根据所述物料编号和物料种类将当前目标物料与前一帧中的目标物料进行匹配，以确定物料跟踪信息；
根据所述物料跟踪信息确定物料位置信息。
进一步地，根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为，包括：
根据流水线工种着装模型对人形目标进行着装识别，以确定人形目标工种信息；
根据所述人形目标工种信息以及所述人形目标运动轨迹和姿态信息对人形目标的工作进行分类，以确定人形目标的工作行为；
根据所述物料编号、物料种类和物料位置信息与所述人形目标的工作行为进行关联，获得人形目标的关联结果；
根据所述人形目标的关联结果与预设工序标准库进行相似度匹配，以确定人形目标的工作行为所对应的工序类型，所述预设工序标准库包括不同工序的特征、行为模式和时序信息。
进一步地，根据所述人形目标的关联结果与预设工序标准库进行相似度匹配，以确定人形目标的工作行为所对应的工序类型，包括：
判断所述人形目标的关联结果与所述预设工序标准库的相似度匹配结果是否大于预设匹配阈值；
若大于预设匹配阈值，则根据所述预设工序标准库的匹配结果确定所述人形目标的工作行为所对应的工序类型。
本发明提供的基于机器视觉的流水线工作行为识别方法，通过实时获取的流水线图像信息进行人形目标的跟踪检测以及物料的检测，然后通过人形目标的跟踪检测结果以及物料检测结果与预设工序标准库进行综合分析，确定流水线工作区域的工作行为。这种基于机器视觉的流水线工作行为识别方法能够通过机器视觉，利用流水线工作区域配置、人形检测、姿态估计、人形追踪等手段，实现对工作人员的实时、准确识别和行为监测，从而能精准识别工作行为并统计，同时有效排除非工作行为的干扰，为科学量化生产效率、优化流水线生产提供有力支持。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的基于机器视觉的流水线工作行为识别方法的流程图。
图2为本发明提供的流水线区域划分的流程图。
图3为本发明提供的人形目标进行跟踪检测的流程图。
图4为本发明提供的人形目标检测的流程图。
图5为本发明提供的人形目标追踪的流程图。
图6为本发明提供的人形目标姿态估计的流程图。
图7为本发明提供的物料检测的流程图。
图8为本发明提供的综合分析的流程图。
图9为本发明提供的汽车车门表调工作行为识别的流程图。
图10为本发明提供的电子设备的结构框图。
图11为本发明提供的流水线监控画面示意图。
图12为本发明提供的流水线车辆检测追踪示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种基于机器视觉的流水线工作行为识别方法，图1是根据本发明实施例提供的基于机器视觉的流水线工作行为识别方法的流程图，如图1所示，包括：
S100、实时获取流水线图像信息；
在本发明实施例中，流水线区域设置摄像装置，摄像装置能够实时采集流水线图像信息，可以是视频形式也可以是图片形式，并不做限定。
S200、根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域；
针对流水线的区域划分，可以通过预设配置信息进行确定，该预设配置信息具体可以为用户事先根据图像信息进行的划定，也可以是基于图像识别自动进行的划定。
根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，以便于后续进行工作行为识别与物料识别。
S300、对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，获得人形目标运动轨迹和姿态信息；
在本发明实施例中针对流水线工作区域进行人形目标的识别与跟踪检测，以确定人形目标的运动轨迹和姿态信息，进而能够根据人形目标的运动轨迹确定人形在流水线动态环境中的行为和位置变化，以及根据人形目标的姿态信息确定人形的动作和姿态。
S400、对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息；
在本发明实施例中，以实时检测生产过程中的物料，对物料进行编号，确认物料种类，跟踪物料在流水线上的位置变化，为工作行为与对应物料的绑定奠定基础。
S500、根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为。
具体地，通过对前述获得的人形目标运动轨迹、姿态信息、物料种类以及物料位置信息等与预设工序标准库进行综合分析，能够确定人形目标所归属的工序类型，实现基于物料的工作行为工序分类的准确识别统计。
本发明实施例提供的基于机器视觉的流水线工作行为识别方法，通过实时获取的流水线图像信息进行人形目标的跟踪检测以及物料的检测，然后通过人形目标的跟踪检测结果以及物料检测结果与预设工序标准库进行综合分析，确定流水线工作区域的工作行为。这种基于机器视觉的流水线工作行为识别方法能够通过机器视觉，利用流水线工作区域配置、人形检测、姿态估计、人形追踪等手段，实现对工作人员的实时、准确识别和行为监测，从而能精准识别工作行为并统计，同时有效排除非工作行为的干扰，为科学量化生产效率、优化流水线生产提供有力支持。
应当理解的是，流水线工作区域的确定可以理解为，限定流水线物料和工作行为的检测识别区域，确保在特定区域内对物料和工作行为进行有效的监测和识别。
具体地，如图2所示，根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，包括：
S210、接收预设配置信息，所述预设配置信息包括流水线物料区域和流水线工作区域的初始划分界限；
在本发明实施例中，预设配置信息的形成可以借助于用户的设定。
例如，首先，基于交互式图形界面的设计，包含绘图工具和操作面板，操作背景显示为实时监控的视频帧画面。其次，在界面中嵌入绘图工具(如直线、多边形等)，通过选择工具在界面上绘制点、线、面，形成初步工作区域。通过输入设备在绘图区域内交互，点击界面上的点或拖动鼠标划出线/多边形。最后，绘制的区域实时显示在监控视频帧上，直观展示工作区域初步配置，实时反馈便于调整和修改。
S220、根据所述流水线图像信息中的工作区域关键信息对所述流水线图像信息进行区域自动划分，获得区域自动划分结果；
此处具体可以理解为，通过对流水线图像信息进行自动识别确定区域自动划分结果。
例如，首先应用物体检测、分割、姿态估计等算法对流水线工作数据分析，从视频帧中提取工作区域关键信息；其次将算法分析结果与初步配置进行对比，帮助验证区域配置的有效性与准确性；然后基于算法分析结果，对初步配置进行配置区域自动调整，以更精准定义工作区域；最后，提供反馈机制，可查看调整后配置并进行修改确认，优化工作区域配置划分的算法分析和配置调整策略。
S230、将所述区域自动划分结果与所述预设配置信息进行比对，以对所述预设配置信息进行优化调整，获得流水线图像信息的流水线物料区域和流水线工作区域的划分结果。
在本发明实施例中，可以通过将区域自动划分结果与预设配置信息进行比对，从而实现对预设配置信息的优化调整。
为了进一步提升区域划分的准确性，根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，还包括：
对所述流水线图像信息中的工作区域关键信息进行实时监测；
若当前流水线图像信息中的工作区域关键信息与上一监测时刻相比发生变化，则发出工作区域关键信息发生变化的提示信息，并更新所述流水线图像信息中的流水线物料区域和流水线工作区域的划分结果。
应当理解的是，通过实时监测实现对流水线工作区域的划分结果的动态调整。
例如，首先，基于流水线工作环境的视频输入，采用计算机视觉技术进行实时监测。通过视频分析算法，检测工人位置、物料分布等关键信息。其次，利用机器学习模型，对实时监测数据进行分析和比对，检测是否有工作环境变化。采用目标检测、物体跟踪等算法，判断是否有新区域出现或旧区域发生变化。最后，若检测到工作环境变化，系统会发送提醒通知，提示工作区域的变化情况。确认后，自动更新区域配置，应用图像处理技术实现区域的动态调整。
在本发明实施例中，通过对流水线区域进行预设配置，结合实时监控视频帧展示初步配置结果并提供动态分析调整反馈机制。相较于传统静态配置方法，实现了实时反馈与动态自分析，能够直观地调整和修改配置，适应流水线环境变化。
为了实现对人形目标运动轨迹和姿态信息的获取，具体地，如图3所示，对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，以获得人形目标运动轨迹和姿态信息，包括：
S310、对所述流水线图像信息进行目标检测以确定流水线工作区域中的人形目标；
在本发明实施例中，在监控视频帧中准确定位和识别流水线工作区域中工人的位置，旨在找出图像中所有人体的边界框或像素级分割，以便能够对人体进行后续的分析和识别。
具体地，如图4所示，对所述流水线图像信息进行目标检测以确定流水线工作区域中的人形目标，包括：
S311、将所述流水线图像信息输入至人员检测模型，以获得多个候选人形边界框，其中所述人员检测模型为将流水线工作数据输入至目标检测算法进行训练获得；
具体地，针对已配置的工作区域，基于YOLOv5目标检测算法，针对流水线工作数据进行训练适配调优，得到适用于流水线工作人员检测的人员检测模型。
S312、对候选人形边界框进行筛选处理，获得目标人形框；
具体地，从人员检测模型获取多个候选的人形边界框，采用如非极大抑制(NMS)的筛选方法，剔除重叠度较高的边界框，保留最具有代表性的人形框。
S313、对所述目标人形框进行像素分割处理，获得流水线工作区域中的人形目标。
在本发明实施例中，具体基于YOLOv5目标检测算法进行人形目标检测可以包括：
步骤1：构建基于改进YOLOv5的流水线工作人员目标检测深度学习模型，具体的：
步骤1.1：压缩输入通道，将YOLOv5目标检测模型输入端的3通道输入压缩为单通道输入；
步骤1.2：拓展YOLOv5目标检测模型骨干网络CSPDarknet中浅层跨阶段局部网络模块的厚度，提取流水线工作人员目标在浅层的细节特征；
步骤1.3：引入注意力机制，所述注意力机制用于骨干网络特征提取过程中加强流水线工作人员目标特征的提取；
在本发明实施例中，所述注意力机制选用改进的SK注意力机制，分为Split、Fuse、Scale三部分，具体的，步骤1.3具体包括以下步骤：
步骤1.3.1：Split操作，具体的：
将输入的特征图利用3×3和5×5两个卷积核进行卷积，分别得到输出特征向量U1和U2，U1和U2相加之后得到特征向量U；
步骤1.3.2：根据步骤1.3.1得到的特征向量U，进行Fuse操作，具体的：
用全局平均池化Fgp将矩阵压缩到1×1×C，用一个通道描述符表示每个通道的信息，建立通道间的依赖关系，如公式(1)所示：
再通过两个全连接层Ffc操作使得通道间的关系是灵活的并且非线性的，输出经过sigmoid激活函数得到权重值，如公式(2)所示：
Ffc(Fgp， ω)＝σ (B(Fgp， ω)) (2)
其中，C表示通道数channel，W和H分别为图像的宽和高，i和j分别为图像的第i行和第j列，ω为相应的权重，σ为sigmoid激活函数，B为批归一化操作；
步骤1.3.3：Scale操作：
将步骤1.3.1中得到的特征向量U1和U2及步骤1.3.2中得到的权重值进行加权操作，得到SK注意力机制最终输出的加权特征图Fscale(U，Ffc)，其中，U表示特征向量，Ffc表示步骤1.3.2中得到的权重值，Fscale(U，Ffc)加权计算如公式(3)所示：
Fscale(U，Ffc)＝V1+V2＝U1·Ffc+U2·Ffc (3)
其中，V1和V2分别为特征向量U1和U2的加权后的特征向量。
步骤1.4：在YOLOv5目标检测模型的PANet特征融合网络的上采样模块中，增加一个上采样层，所述上采样层是在8倍、16倍和32倍上采样层的基础上，增加的4倍上采样层；
步骤1.5：在YOLOv5目标检测模型的PANet特征融合网络中，增加一个Concatenate融合层，将步骤1.4中所述增加的4倍上采样层与骨干网络特征提取过程中得到的相同尺寸的特征图通过增加的Concatenate融合层进行特征融合，产生的4倍上采样的特征图；
步骤1.6：增加小目标检测层，将步骤1.5中所述的4倍上采样的特征图用于小目标的检测，基于改进YOLOv5的流水线工作人员目标检测深度学习模型增加为4种尺度的预测层，用于Head部分的多尺度检测；
步骤1.7：根据步骤1.6增加的小目标检测层，增加一组小目标尺寸的锚点框，采用K-means自适应算法获取符合流水线工作人员小目标尺度特点的锚点框。
步骤2：建立流水线工作人员检测数据集，具体包括：
步骤2.1：建立流水线工作人员检测训练集、验证集和测试集，随机选取60％的流水线工作人员检测数据作为训练集，20％的流水线工作人员检测数据作为验证集，20％的流水线工作人员检测数据作为测试集；
步骤2.2：对建立的流水线工作人员检测训练集、验证集和测试集进行预处理，采用Mosaic算法实现红外行人数据的数据增强。
需要说明的是，在本发明实施例中，建立的流水线工作人员检测数据集选用流水线现场采集数据集，并将目标类别设置people和person两个人形类别。
步骤3：训练步骤1中构建的基于改进YOLOv5的流水线工作人员目标检测深度学习模型，具体包括：
步骤3.1：设置训练参数，利用随机优化算法Adam进行训练，训练批次的大小设置为Batch＝64，动量Momentum＝0.9，学习率初始设定为Ir＝0.001，训练迭代次数Epoch＝300；
步骤3.2：将步骤2.2预处理后的流水线工作人员检测训练集和验证集送入步骤1中构建的基于改进YOLOv5的流水线工作人员目标检测深度学习模型；
需要说明的是，在该步骤中会自动删除现场采集数据集中不包含人形目标的视频图像。
步骤3.3：自适应缩放图片尺寸，根据网络设定的输入图片尺寸大小实现自适应流水线工作人员检测训练集和验证集图片的缩放；
步骤3.4：训练基于改进YOLOv5的流水线工作人员目标检测深度学习模型，根据训练集和验证集交叉验证的平均精度变化和损失变化趋势，调整学习率和迭代次数，直至精度变化和损失变化逐步趋于稳定的状态，确定最终的学习率和迭代次数；
步骤3.5：根据步骤3.4确定的学习率和迭代次数，完成基于改进YOLOv5的流水线工作人员目标检测深度学习模型的训练，得到收敛良好的基于改进YOLOv5的流水线工作人员目标检测深度学习模型。
步骤4：将步骤2.2预处理后的流水线工作人员检测测试集送入步骤3.5中训练好的基于改进YOLOv5的流水线工作人员目标检测深度学习模型，测试基于改进YOLOv5的流水线工作人员目标检测深度学习模型的性能。
步骤5：评估模型，具体包括：
根据步骤4的测试结果，从平均检测精度和检测速度上对步骤3训练的基于改进YOLOv5的流水线工作人员目标检测深度学习模型进行评估。
步骤6：判断基于改进YOLOv5的流水线工作人员目标检测深度学习模型评估结果的检测精度和速度是否满足实际应用需求，若基于改进YOLOv5的流水线工作人员目标检测深度学习模型满足实际应用需求，则执行步骤8，否则，执行步骤7。
步骤7：修正步骤1构建的基于改进YOLOv5的流水线工作人员目标检测深度学习模型的宽度和深度，并跳转至步骤3.4重新训练。
步骤8：将步骤6中满足实际应用需求的基于改进YOLOv5的流水线工作人员目标检测深度学习模型用于红外图像或红外视频中行人目标的检测。
在本发明实施例中，针对流水线环境复杂，人员及器械遮挡时有发生的现象，采用语义分割、实例分割算法，将每个人形目标分割成像素级别的掩码，以获取更详细的轮廓信息。
具体地，以语义实例分割为例，说明分割的具体过程：
数据准备：收集带有语义和实例标签的数据集。语义标签用于指定每个像素的语义类别，而实例标签则为每个人形目标分配一个独特的实例ID。
网络选择：选择适合的语义实例分割网络，如Mask R-CNN、Panoptic FPN等。这些网络可以同时预测目标的位置、类别、像素级别的语义掩码以及实例分割掩码。
网络训练：使用带有语义和实例标签的数据对选定的网络进行训练。网络会学习将目标的位置、类别和实例与像素级别的语义和实例分割掩码进行关联。
预测和后处理：对于流水线图像中的人形目标，将图像输入已训练好的语义实例分割网络中。网络会同时输出每个目标的语义类别、实例ID，以及像素级别的语义和实例分割掩码。后处理技术可以用来优化分割结果，如去除小区域的噪声。
分析与应用：根据分割结果，可以获取每个人形目标的详细轮廓信息。这可以用于精准的目标计数、跟踪、行为分析等应用，以提高流水线工作区域的智能化和效率。
通过语义实例分割，可以同时获取人形目标的语义类别、实例ID以及像素级别的分割掩码，从而获得更全面、详细的目标信息，为流水线工作区域的人形目标提供更精细的分析和理解。
应当理解的是，通过上述高效准确地检测流水线工作区域中的人形目标，保证了能够捕捉到关键的行为信息，为后续分析提供了可靠的数据基础。
S320、对所述人形目标进行跟踪处理，以确定人形目标运动轨迹；
在视频帧序列中跟踪流水线工人的运动和轨迹，用于从连续的图像帧中持续追踪人体，使得能够了解人体在流水线动态环境中的行为和位置的变化。
具体地，如图5所示，对所述人形目标进行跟踪处理，以确定人形目标运动轨迹，包括：
S321、确认人形目标的唯一标识符；
应当理解的是，基于人形检测的人形目标，分配唯一标识符，用于追踪过程的目标区分。
S322、根据人形目标的唯一标识符通过目标匹配算法对当前帧的人形目标与前一帧的人形目标进行匹配，并获得目标匹配结果；
具体地，使用目标匹配算法建立后续帧与前帧的目标匹配对应。
在本发明实施例中，具体可以使用卡尔曼滤波器实现人形追踪。卡尔曼滤波器结合了测量数据和系统模型，能够预测目标的位置和速度。在流水线环境中，结合卡尔曼滤波器的多目标跟踪算法可以实现人形追踪具体包括：
(1)从视频中捕获帧。
(2)使用前20帧来填充人形检测的历史记录。
(3)基于人形检测模型，使用第21帧识别运动的前景物体。我们将把这些当作人形对待。对于每个人形，分配一个ID和一个初始跟踪窗口，然后计算直方图。
(4)对于随后的每一帧，使用卡尔曼滤波器和MeanShift跟踪每个人形，存储每个人形在流水线工作区中的路径记录，根据跟踪结果更新它的运动模型。卡尔曼滤波器递归地对有噪声的输入数据流进行操作，以产生底层系统状态的统计最优估计。在计算机视觉背景下，卡尔曼滤波器可以对跟踪物体的位置进行平滑估计。卡尔曼滤波器应用这样的规律，根据先前收集到的帧的跟踪结果来预测当前视频帧中物体的位置。通过使用卡尔曼滤波器，可以获得比单独跟踪的结果更稳定、更符合运动规律的估计结果，从而实现精准的人形追踪。
S323、根据所述目标匹配结果更新每个人形目标的运动轨迹，其中所述运动轨迹包括位置信息、速度信息和方向信息。
具体地，根据目标匹配结果更新每个目标的轨迹信息。这包括位置、速度、方向等信息。通过更新轨迹，可以实现对人形目标运动的跟踪。
另外，对于新检测到的目标，或者匹配不到的目标，使用目标验证算法进行外观特征匹配、运动一致性检测等，来判断目标的真实性，并决定是否将其纳入追踪；对于长时间追踪的情况，处理目标的轨迹中断或重叠的情况，通过轨迹管理算法来解决，如多假设跟踪、轨迹修复等方法。
在本发明实施例中，所述使用目标验证算法进行外观特征匹配、运动一致性检测具体可以包括：
(1)外观特征匹配
比较新目标的外观描述与已有目标的外观描述之间的相似度或距离。如果相似度高于某个阈值，就可以认为新目标与已有目标的外观特征相似，从而进行验证。以下是一些常用的外观特征匹配方法：
颜色直方图匹配：将目标区域的颜色分布表示为直方图，然后计算不同目标之间的直方图相似度，从而判断目标是否具有相似的颜色特征。
纹理特征匹配：使用纹理描述子(如LBP、GLCM等)来表示目标的纹理特征，然后通过比较纹理描述子的相似度来判断目标是否具有相似的纹理特征。
形状匹配：将目标的形状信息表示为轮廓或边界，然后比较目标之间的形状相似度，以判断目标是否具有相似的形状特征。
深度特征匹配：使用深度学习模型提取目标的高级特征表示，如卷积神经网络(CNN)的特征向量，然后通过比较特征向量的距离或相似度来进行匹配。
特征组合：将多个外观特征组合在一起进行匹配，如颜色、纹理和形状等，以提高匹配的准确性。
外观特征匹配方法可以在一些简单场景中实现目标验证，但在复杂场景下可能受到光照变化、遮挡等因素的影响。因此，在实际应用中，往往需要结合其他方法和技术来增强目标验证的可靠性。
(2)在目标验证中，卡尔曼滤波器可以用来比较新检测到的目标的位置(测量值)与已有目标的预测位置(估计值)。如果测量值与估计值之间的差异较小，可以认为新目标与已有目标的运动一致，从而将其纳入追踪。如果测量值与估计值之间的差异较大，可能表明新目标与已有目标的运动不一致，需要进一步验证或排除。
卡尔曼滤波器在目标验证中的应用可以概括如下步骤：
预测阶段：利用卡尔曼滤波器的预测模型，根据已有目标的状态估计预测新目标的位置和速度。
测量阶段：获取新检测到的目标的实际测量值，例如位置坐标。
更新阶段：将预测值与实际测量值进行比较，通过卡尔曼滤波器的更新过程来更新目标的状态估计，得到更准确的位置和速度估计。
判断阶段：比较更新后的估计值与实际测量值之间的差异。如果差异较小，可以认为新目标的运动与已有目标的运动一致，从而进行验证。
卡尔曼滤波器的优势在于其能够对噪声进行有效的滤波和估计，提供较为稳定和准确的状态估计。
通过上述人形目标的跟踪管理，实现了对流水线人形目标的连续追踪，从而能够对人体的位置和运动轨迹进行持续观察，为工作行为的准确识别提供了动态数据。
S330、对所述人形目标的当前动作进行分析识别，以确定人形目标姿态信息。
应当理解的是，从视频帧中推断出流水线工人的关节位置和姿态，旨在了解人体的动作和姿态，也可结合工具识别判断工人当前动作，用于对人体进行运动分析或动作识别。
具体地，如图6所示，对所述人形目标的当前动作进行分析识别，以确定人形目标姿态信息，包括：
S331、根据姿态估计算法检测所述人形目标的关键关节点；
根据人形检测目标边界框，使用姿态估计算法，检测人体的关键关节点，如肘、膝、手脚等，这些关键点可以帮助推断人体的姿态。
在本发明实施例中，具体姿态估计算法具体可以包括OpenPose算法。
S332、根据所述人形目标的关键关节点确定关节连接关系；
S333、根据所述人形目标的关键关节点和关节连接关系确定人体姿态信息。
基于关键点和连接关系，推断出人体的姿态信息，包括身体的旋转、倾斜、伸展等。
另外，可以结合流水线工具识别模型，判断工人是否持有特定工具，进一步分析工人的动作。
需要说明的是，该流水线工具识别模型具体可以是基于现场采集工具数据训练所得的AI检测分类模型，用于对工具识别分类，以辅助对工序的判断分类，如识别工人手持锤子工具，则认定为工人开展重工序调整。
通过姿态估计能够从视频帧中推断出人体的关节位置和姿态信息，从而能够更深入地分析人体的动作和姿态，为行为分析和动作识别提供了更多信息。
在本发明实施例中，从视频中可以实时检测生产过程中的物料，对物料进行编号，确认物料种类，跟踪物料在流水线上的位置变化，为工作行为与对应物料的绑定奠定基础。因此，为了实现对物料进行检测识别，如图7所示，对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息，包括：
S410、将所述流水线图像信息输入至物料检测模型，以获得物料检测结果，其中所述物料检测模型为将流水线物料数据输入至目标检测算法进行训练获得；
在本发明实施例中，使用YOLOv5目标检测算法，并结合流水线物料进行训练验证调优，检测视频帧中的物料。将目标物料与前一帧中的物料进行匹配，实现物料的持续跟踪。
S420、确定物料检测结果中的物料编号以及根据物料分类模型确定物料种类；
具体地，对检测到的物料进行编号，以唯一标识每个物体。通过物料的外观特征、尺寸等信息，使用物料分类模型，确认物料的种类。
S430、根据所述物料编号和物料种类将当前目标物料与前一帧中的目标物料进行匹配，以确定物料跟踪信息；
应当理解的是，根据物料的跟踪信息，实时追踪物料在流水线上的位置变化。
S440、根据所述物料跟踪信息确定物料位置信息。
基于物料的编号和位置信息，与人员追踪和动作识别处理的结果进行关联，将工作行为与对应的物料进行绑定。
通过物体检测与跟踪，能够实时检测流水线上的物料，对其编号、确认种类和追踪位置变化，从而为工作行为与物料的绑定提供了基础支撑，以不同物料作为工作行为细分基准，进而更加全面地分析工作流程。
通过上述流水线人形目标的识别以及物料的识别，并结合流水线现场大量工作行为数据学习，总结生产工序规律，建立工序标准库并调控匹配阈值，基于上述识别结果综合分析归类，明确归属的生产工序类型，实现基于物料的工作行为工序分类的准确识别统计。
具体地，如图8所示，根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为，包括：
S510、根据流水线工种着装模型对人形目标进行着装识别，以确定人形目标工种信息；
S520、根据所述人形目标工种信息以及所述人形目标运动轨迹和姿态信息对人形目标的工作进行分类，以确定人形目标的工作行为；
应当理解的是，从视频的工作区域中，基于上述识别结果，对流水线人员着装进行识别，鉴别是否是本工作区域员工及对动作行为分类，实现对此流水线区域的工作人员的准确识别，保障不会错误统计其他工种人员的行为，具体包括：
1)使用流水线工种着装模型，对检测到的人形目标进行着装识别。识别衣服颜色、款式等特征，帮助区分不同的工种或职位。
2)基于人形目标的轨迹和姿态信息，使用动作分类算法，如时序模型、深度学习等，对人员的动作进行分类，识别不同的工作行为。
基于着装模型，保证了能够区分不同员工的行为，避免了误统计其他工种人员的行为，结合人形检测、姿态估计和工具识别等处理结果，实现了对工作区域内人员的准确鉴别和动作分类。
S530、根据所述物料编号、物料种类和物料位置信息与所述人形目标的工作行为进行关联，获得人形目标的关联结果；
S540、根据所述人形目标的关联结果与预设工序标准库进行相似度匹配，以确定人形目标的工作行为所对应的工序类型，所述预设工序标准库包括不同工序的特征、行为模式和时序信息。
需要说明的是，关于预设工序标准库，具体可以通过从数据中总结的规律，建立一个生产工序标准库。这个库可以包含不同工序的特征、行为模式、时序信息等。设置预设匹配阈值，用于判断实际工作行为与标准工序的相似度。这可以通过实验和分析来优化，确保匹配的准确性。
进一步具体地，根据所述人形目标的关联结果与预设工序标准库进行相似度匹配，以确定人形目标的工作行为所对应的工序类型，包括：
判断所述人形目标的关联结果与所述预设工序标准库的相似度匹配结果是否大于预设匹配阈值；
若大于预设匹配阈值，则根据所述预设工序标准库的匹配结果确定所述人形目标的工作行为所对应的工序类型。
应当理解的是，通过预设工序标准库和预设匹配阈值，对人形目标的关联结果进行综合分析，将工作行为归类到对应的生产工序类型中。
通过大量工作行为数据的学习和分析，建立了工序标准库，并结合阈值匹配综合分析研判归类工作行为到具体生产工序中，从而使得用户能够深入了解生产工序规律，精准归类工作行为，为生产效率的优化提供支持。
下面以汽车车门表调流水线工作行为识别的应用场景为例，对上述基于机器视觉的流水线工作行为识别方法进行详细描述。
基于现场调研评估，在汽车车门表调流水线工作区域安装四台摄像机，实现对工作区域工作行为的全方位监控捕捉，硬件安装调试成功后，在流水线工作时间采集大量工作行为视频数据，进行深度学习训练，构建AI网络拓扑图，经测试验收后，在现场正式投入运行。汽车车门表调流水线工作行为方法所形成的识别系统接入现场实时监控数据，基于对流水线工作行为识别系统的灵活配置，选用工作区域配置、人车位置判断、工序分类检测识别、工作结束判断等过程对现场生产工序进行准确识别与统计，并将结果实时展示在用户终端。
如图9所示，在汽车车门表调工作行为识别的应用场景下的实施如下：
(1)工作区域配置
在检测识别开始前，首先进行工作区域配置，细分为车窗线坐标、车行进双线坐标、车门抠图线坐标、拧螺丝工具坐标框。
(2)流水线物料检测识别
a.根据车辆检测识别，对车辆进行编号追踪，车辆追踪根据前后帧检测框iou>＝0.7判定为同一辆车；
b.因生产工序涉及需要对车门开闭的前置工作，在此应用场景下增加车门检测识别的功能，基于现场数据训练所得车门开闭模型进行车门开闭的判断；
(3)综合进行生产工序分析
a.若工人与一辆新汽车进行接触，即人体关键点与汽车检测框存在多帧重合，判定工序开始；
b.站位判断：根据人员位置、姿态识别与车辆位置、工作区域配置的综合分析，细分为车头、前车门、后车门三种，以站位判断在车头举例：人单手关键点在车头分界点下方，在车行进线与车窗线之间；
c.工序类型分类
a)前门前侧：起始为工人位置处于前门前侧停留，过程为使用工具对前门前侧进行工作，终止为离开位置；
b)前门后侧轻：起始为工人手放于前车窗，过程为短暂打开前车门或按压前车门，终止为前车门关闭，工人手离开前车门；
c)前门后侧重：起始为前门完全打开(从开门算大约5帧)，过程为走近前门后侧使用工具进行工作，终止为前车门关闭；
d)后门前侧：起始为前门完全打开(从开门算大约5帧)，过程为走近后门前侧使用工具进行工作，终止为前车门关闭；
e)后门后侧轻：起始为工人手放于后车窗，过程为短暂打开后车门或按压后车门，终止为后车门关闭工人手离开后车门；
f)后门后侧重：起始为后门完全打开(从开门算大约5帧)，过程为走近后门后侧使用工具进行工作，终止为后车门关闭。
以前门后侧重工序统计展开说明，起始为车门开关分类判定前车门打开超过5帧为开，过滤车门开启后人走近车和离开车时的无效帧，然后根据左右肩膀关键点判断人朝前站，对工人姿态判定识别，走近前门后侧使用工具工作进行识别统计，最终工人关前车门，车门关闭连续8帧判定为关闭，此工序识别统计结束。
d.整体车辆的工序结束：车辆至少完成一次工序，工人拿走拧螺丝工具或车辆前挡风玻璃下沿超出工作区域。
图11为流水线监控画面，图12为流水线车辆检测追踪画面示意图。
综上，经在某汽车厂商现场调试验证，接入现场真实流水线摄像机，将现场监控数据作为输入，汽车车门表调流水线工作行为识别方法能够成功实现指定车型的识别及表调工位工人调门工序识别统计，车型识别准度达到100％，工序工时识别准度达到97.22％，调门工序完成后生产记录/报告在30s内生成。本发明专利在实际应用中表现优异，为流水线相关领域带来明显的积极影响与益处。
作为本发明的另一实施例，提供一种基于机器视觉的流水线工作行为识别系统，用于实现前文所述的基于机器视觉的流水线工作行为识别方法，至少包括：
获取模块，用于实时获取流水线图像信息；
确定模块，用于根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域；
跟踪检测模块，用于对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，获得人形目标运动轨迹和姿态信息；
物料检测模块，用于对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息；
综合分析模块，用于根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为。
应当理解的是，所述跟踪检测模块还可以进一步包括人形检测模块、人形追踪模块、姿态估计模块等等，综合分析模块还可以进一步包括人员鉴别模块、生产工序分析模块等等。具体模块的功能作用可以参照前文的基于机器视觉的流水线工作行为方法的描述，此处不再赘述。
本发明提供的基于机器视觉的流水线工作行为识别系统，相较于传统的人工规则方法、图像帧差法和图像检测分类法，在灵活性、工作行为识别准确度和对复杂工作行为识别效果方面具有以下优势：
(1)灵活性强：通过人形检测、人形追踪、姿态估计、人员鉴别、流水线工作区域配置、流水线物料检测识别、生产工序分析等模块，各个模块之间可以灵活组合和配置。这种模块化设计使得新型方法在不同流水线和工作场景中具有强大的推广复用能力。不同流水线可以根据需要选择相应的模块组合，而不需要重新设计整个系统，节省了部署和开发成本。
(2)工作行为识别准确度高：本发明采用了先进的计算机视觉技术和深度学习模型。深度学习模型可以自动学习和优化特征，对于复杂和多样的工作行为具有更高的识别准确度。通过人形检测、人形追踪和姿态估计等模块的组合，能够更准确地捕捉工作人员的动作和姿态信息，进一步提高了工作行为的识别准确度。
(3)复杂工作行为识别效果好：本发明系统包含人形检测、姿态估计和人员鉴别等模块，可以有效识别和区分工作人员，对于复杂的工作行为识别效果更好。这些模块能够处理工作人员之间的遮挡、快速动作等情况，提高了对复杂工作行为的准确识别能力。同时，通过流水线物料检测识别和生产工序分析等模块，还可以对流水线上的物料和工序进行准确识别和分析，实现基于物料的工作行为细分及相关工时统计，进一步优化生产过程。
综上所述，基于机器视觉的流水线工作行为识别方法及系统，在灵活性、工作行为识别准确度和对复杂工作行为识别效果方面具有明显优势。模块化设计使得新型方法可以灵活适应不同流水线和工作场景，采用计算机视觉技术、深度学习模型提高了工作行为的识别准确度，并结合多个模块的组合，对复杂工作行为的识别效果更好，因此在工业生产和智能制造中具有更广泛的应用前景和实际价值。
作为本发明的另一实施例，提供一种电子设备，其中，包括存储器和处理器，所述存储器和处理器通信连接，所述存储器用于存储计算机指令，所述处理器用于加载并执行所述计算机指令以实现前文所述的基于机器视觉的流水线工作行为识别方法。
如图10所示，该电子设备80可以包括：至少一个处理器81，例如CPU(CentralProcessing Unit，中央处理器)，至少一个通信接口83，存储器84，至少一个通信总线82。其中，通信总线82用于实现这些组件之间的连接通信。其中，通信接口83可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口83还可以包括标准的有线接口、无线接口。存储器84可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器84可选的还可以是至少一个位于远离前述处理器81的存储装置。其中，存储器84中存储应用程序，且处理器81调用存储器84中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线82可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器84可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器84还可以包括上述种类的存储器的组合。
其中，处理器81可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器81还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：genericarraylogic,缩写：GAL)或其任意组合。
可选地，存储器84还用于存储程序指令。处理器81可以调用程序指令，实现如本发明图1实施例中所示的基于机器视觉的流水线工作行为识别方法。
作为本发明的另一实施例，提供一种存储介质，其中，包括计算机指令，所述计算机指令被处理器加载并执行时实现前文所述的基于机器视觉的流水线工作行为识别方法。
在本发明实施例中，提供了一种非暂态计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于机器视觉的流水线工作行为识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种基于机器视觉的流水线工作行为识别方法，其特征在于，包括：
实时获取流水线图像信息；
根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域；
对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，获得人形目标运动轨迹和姿态信息；
对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息；
根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为。
2.根据权利要求1所述的基于机器视觉的流水线工作行为识别方法，其特征在于，根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，包括：
接收预设配置信息，所述预设配置信息包括流水线物料区域和流水线工作区域的初始划分界限；
根据所述流水线图像信息中的工作区域关键信息对所述流水线图像信息进行区域自动划分，获得区域自动划分结果；
将所述区域自动划分结果与所述预设配置信息进行比对，以对所述预设配置信息进行优化调整，获得流水线图像信息的流水线物料区域和流水线工作区域的划分结果。
3.根据权利要求2所述的基于机器视觉的流水线工作行为识别方法，其特征在于，根据预设配置信息确定流水线图像信息的流水线物料区域和流水线工作区域，还包括：
对所述流水线图像信息中的工作区域关键信息进行实时监测；
若当前流水线图像信息中的工作区域关键信息与上一监测时刻相比发生变化，则发出工作区域关键信息发生变化的提示信息，并更新所述流水线图像信息中的流水线物料区域和流水线工作区域的划分结果。
4.根据权利要求1至3中任意一项所述的基于机器视觉的流水线工作行为识别方法，其特征在于，对位于所述流水线图像信息的流水线工作区域中的人形目标进行跟踪检测，以获得人形目标运动轨迹和姿态信息，包括：
对所述流水线图像信息进行目标检测以确定流水线工作区域中的人形目标；
对所述人形目标进行跟踪处理，以确定人形目标运动轨迹；
对所述人形目标的当前动作进行分析识别，以确定人形目标姿态信息。
5.根据权利要求4所述的基于机器视觉的流水线工作行为识别方法，其特征在于，对所述流水线图像信息进行目标检测以确定流水线工作区域中的人形目标，包括：
将所述流水线图像信息输入至人员检测模型，以获得多个候选人形边界框，其中所述人员检测模型为将流水线工作数据输入至目标检测算法进行训练获得；
对候选人形边界框进行筛选处理，获得目标人形框；
对所述目标人形框进行像素分割处理，获得流水线工作区域中的人形目标。
6.根据权利要求4所述的基于机器视觉的流水线工作行为识别方法，其特征在于，对所述人形目标进行跟踪处理，以确定人形目标运动轨迹，包括：
确认人形目标的唯一标识符；
根据人形目标的唯一标识符通过目标匹配算法对当前帧的人形目标与前一帧的人形目标进行匹配，并获得目标匹配结果；
根据所述目标匹配结果更新每个人形目标的运动轨迹，其中所述运动轨迹包括位置信息、速度信息和方向信息。
7.根据权利要求4所述的基于机器视觉的流水线工作行为识别方法，其特征在于，对所述人形目标的当前动作进行分析识别，以确定人形目标姿态信息，包括：
根据姿态估计算法检测所述人形目标的关键关节点；
根据所述人形目标的关键关节点确定关节连接关系；
根据所述人形目标的关键关节点和关节连接关系确定人体姿态信息。
8.根据权利要求1至3中任意一项所述的基于机器视觉的流水线工作行为识别方法，其特征在于，对位于所述流水线图像信息的流水线物料区域中的物料进行检测，获得物料种类和物料位置信息，包括：
将所述流水线图像信息输入至物料检测模型，以获得物料检测结果，其中所述物料检测模型为将流水线物料数据输入至目标检测算法进行训练获得；
确定物料检测结果中的物料编号以及根据物料分类模型确定物料种类；
根据所述物料编号和物料种类将当前目标物料与前一帧中的目标物料进行匹配，以确定物料跟踪信息；
根据所述物料跟踪信息确定物料位置信息。
9.根据权利要求1至3中任意一项所述的基于机器视觉的流水线工作行为识别方法，其特征在于，根据所述人形目标运动轨迹和姿态信息、物料种类和物料位置信息以及预设工序标准库进行综合分析，确定流水线工作区域的工作行为，包括：
根据流水线工种着装模型对人形目标进行着装识别，以确定人形目标工种信息；
根据所述人形目标工种信息以及所述人形目标运动轨迹和姿态信息对人形目标的工作进行分类，以确定人形目标的工作行为；
根据所述物料编号、物料种类和物料位置信息与所述人形目标的工作行为进行关联，获得人形目标的关联结果；
根据所述人形目标的关联结果与预设工序标准库进行相似度匹配，以确定人形目标的工作行为所对应的工序类型，所述预设工序标准库包括不同工序的特征、行为模式和时序信息。
10.根据权利要求9所述的基于机器视觉的流水线工作行为识别方法，其特征在于，根据所述人形目标的关联结果与预设工序标准库进行相似度匹配，以确定人形目标的工作行为所对应的工序类型，包括：
判断所述人形目标的关联结果与所述预设工序标准库的相似度匹配结果是否大于预设匹配阈值；
若大于预设匹配阈值，则根据所述预设工序标准库的匹配结果确定所述人形目标的工作行为所对应的工序类型。
CN202311143865.9A 2023-09-06 2023-09-06 基于机器视觉的流水线工作行为识别方法 Active CN117115783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311143865.9A CN117115783B (zh) 2023-09-06 2023-09-06 基于机器视觉的流水线工作行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311143865.9A CN117115783B (zh) 2023-09-06 2023-09-06 基于机器视觉的流水线工作行为识别方法

Publications (2)

Publication Number Publication Date
CN117115783A true CN117115783A (zh) 2023-11-24
CN117115783B CN117115783B (zh) 2024-03-26

Family

ID=88803499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311143865.9A Active CN117115783B (zh) 2023-09-06 2023-09-06 基于机器视觉的流水线工作行为识别方法

Country Status (1)

Country Link
CN (1) CN117115783B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160159535A1 (en) * 2014-12-05 2016-06-09 Integrated Liner Technologies, Inc. Tagged products and tracking thereof using customizable data points
JP2018036770A (ja) * 2016-08-30 2018-03-08 富士通株式会社 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN111223141A (zh) * 2019-12-31 2020-06-02 东华大学 基于强化学习的自动化流水线作业效率优化系统及方法
CN112017445A (zh) * 2020-09-04 2020-12-01 卞建鹏 一种行人违规行为预测和运动轨迹跟踪系统和方法
CN112873163A (zh) * 2021-01-14 2021-06-01 电子科技大学 一种自动化物料搬运机器人系统及其控制方法
CN114140832A (zh) * 2022-01-30 2022-03-04 西安华创马科智能控制系统有限公司 井下行人越界风险检测方法、装置、电子设备及存储介质
CN114663647A (zh) * 2022-02-25 2022-06-24 奇酷软件（深圳）有限公司 汽车流水线的发动机工序检测方法、系统、存储介质及计算机设备
CN115705714A (zh) * 2021-08-13 2023-02-17 百度（美国）有限责任公司 用于分析工作区域的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160159535A1 (en) * 2014-12-05 2016-06-09 Integrated Liner Technologies, Inc. Tagged products and tracking thereof using customizable data points
JP2018036770A (ja) * 2016-08-30 2018-03-08 富士通株式会社 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム
CN111223141A (zh) * 2019-12-31 2020-06-02 东华大学 基于强化学习的自动化流水线作业效率优化系统及方法
CN112017445A (zh) * 2020-09-04 2020-12-01 卞建鹏 一种行人违规行为预测和运动轨迹跟踪系统和方法
CN112873163A (zh) * 2021-01-14 2021-06-01 电子科技大学 一种自动化物料搬运机器人系统及其控制方法
CN115705714A (zh) * 2021-08-13 2023-02-17 百度（美国）有限责任公司 用于分析工作区域的系统和方法
CN114140832A (zh) * 2022-01-30 2022-03-04 西安华创马科智能控制系统有限公司 井下行人越界风险检测方法、装置、电子设备及存储介质
CN114663647A (zh) * 2022-02-25 2022-06-24 奇酷软件（深圳）有限公司 汽车流水线的发动机工序检测方法、系统、存储介质及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MATHIAS NAUSCH.ET.: "A Methodological Approach for Monitoring Assembly Processes", 《PROCEDIA CIRP》, vol. 104, 26 November 2021 (2021-11-26), pages 1233 - 1238 *
贺焕: "面向自动化装配生产线的虚拟仿真平台研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 7, 15 July 2020 (2020-07-15), pages 022 - 341 *

Also Published As

Publication number Publication date
CN117115783B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
CN107194559B (zh) 一种基于三维卷积神经网络的工作流识别方法
CN108549846B (zh) 一种结合运动特征和头肩结构的行人检测与统计方法
CN110660082A (zh) 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
Megahed et al. Real-time fault detection in manufacturing environments using face recognition techniques
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
EP4137901A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
US20160343144A1 (en) Method of detecting vehicle, database structure for detecting vehicle, and method of establishing database for detecting vehicle
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN112616023A (zh) 复杂环境下的多摄像机视频目标追踪方法
CN113065431A (zh) 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法
Chala et al. The Use of Neural Networks for the Technological Objects Recognition Tasks in Computer-Integrated Manufacturing
Mumbelli et al. An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing
CN117115783B (zh) 基于机器视觉的流水线工作行为识别方法
CN111915653A (zh) 双站视觉目标跟踪的方法
CN115690514A (zh) 图像识别方法及相关设备
JP2023540841A (ja) ディープラーニングベースのリアルタイム工程監視システム及びその方法
CN114529852A (zh) 一种基于视频数据的遗留物检测分析方法
Tan et al. Research on YOLOv8 Application in Bolt and Nut Detection for Robotic Arm Vision
CN111191524A (zh) 运动人群计数方法
Huynh-The et al. ADM-HIPaR: An efficient background subtraction approach
CN117274843B (zh) 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
Hussain et al. Tracking and replication of hand movements by teleguided intelligent manipulator robot
CN113570566B (zh) 一种产品外观缺陷发展性认知检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant