CN114066944B - 基于行人跟踪的光模块生产车间工人岗位行为分析方法 - Google Patents

基于行人跟踪的光模块生产车间工人岗位行为分析方法 Download PDF

Info

Publication number
CN114066944B
CN114066944B CN202210047051.4A CN202210047051A CN114066944B CN 114066944 B CN114066944 B CN 114066944B CN 202210047051 A CN202210047051 A CN 202210047051A CN 114066944 B CN114066944 B CN 114066944B
Authority
CN
China
Prior art keywords
target
track
time
target image
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210047051.4A
Other languages
English (en)
Other versions
CN114066944A (zh
Inventor
陈敏杰
盛长永
孙亚壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Juxin Guanghe Technology Co ltd
Original Assignee
Tianjin Juxin Guanghe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Juxin Guanghe Technology Co ltd filed Critical Tianjin Juxin Guanghe Technology Co ltd
Priority to CN202210047051.4A priority Critical patent/CN114066944B/zh
Publication of CN114066944A publication Critical patent/CN114066944A/zh
Application granted granted Critical
Publication of CN114066944B publication Critical patent/CN114066944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于行人跟踪的光模块生产车间工人岗位行为分析方法，该方法包括：S10：以固定时间间隔获取目标图像，并获取该目标图像中目标的位置信息；S20：根据目标的位置信息对目标进行跟踪匹配，得到目标的运动轨迹；S30：按照目标的运动轨迹，分析目标的行为。本发明通过智能行人检测和轨迹逻辑分析，可以对工人的工作轨迹进行还原分析，如果有人离开工作岗位，进行告知告警，保证产线安全，同时也可以通过在工作时间内对员工的离岗次数进行判别，以方便对员工的考核。

Description

基于行人跟踪的光模块生产车间工人岗位行为分析方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于行人跟踪的光模块生产车间工人岗位行为分析方法。
背景技术
在光模块生产工作中，岗位工人的行为会影响工人的工作效率，特别是关键岗位不能离开工人的看守，如果擅离职守，会导致很严重的工厂责任事故。
现有技术中，岗位工人的监督一般是通过摄像头进行监控，但是需要专人时刻监督监控页面，造成效率极其低下，并且很多事情发生后都是事后处理，不能及时的止损。
发明内容
有鉴于此，本发明提供一种基于行人跟踪的光模块生产车间工人岗位行为分析方法，以解决现有技术中的问题。
为解决上述技术问题，本发明采用的技术方案是：一种基于行人跟踪的光模块生产车间工人岗位行为分析方法，该方法包括：
S10：以固定时间间隔获取目标图像，并获取该目标图像中目标的位置信息；
S20：根据目标的位置信息对目标进行跟踪匹配，得到目标的运动轨迹；
S30：按照目标的运动轨迹，分析目标的行为。
优选地，步骤S20包括：
S201：判断当前时刻的目标图像是否与已有运动轨迹属于同一个目标；
S202：对于与已有运动轨迹属于同一个目标的目标图像，根据当前时刻目标图像的位置与上一时刻的目标图像的位置关系，预测下一时刻目标图像的位置。
优选地，步骤S201中，如果当前时刻的目标图像与已有运动轨迹属于同一个目标，则将当前时刻的目标图像添加至该已有运动轨迹；如果不是，则重新建立一条运动轨迹。
优选地，步骤S201中，以当前的目标位置与前一时刻的目标位置之间的距离以及颜色直方图特征相似度判别当前目标图像与前一时刻的目标图像是否为同一目标的图像。
优选地，其特征在于：步骤S20还包括：
S200：判断当前时刻是否有新的轨迹目标进行添加更新。
优选地，步骤S200包括：计算当前轨迹持续没有更新轨迹目标的时间间隔，判断该时间间隔是否大于轨迹消失的时间阈值，如果该时间间隔大于轨迹消失的时间阈值，则当前轨迹结束，重新开启新的轨迹；如果不是，则执行步骤S201。
优选地，步骤S30包括：
S301：对目标轨迹，获取目标的初始位置；
S302：按照第二固定时间间隔获取轨迹中目标的位置；
S303：判断每个时刻目标的当前位置与目标的初始位置之间的距离是否大于距离阈值。
优选地，步骤S303中，如果某一时刻目标的当前位置与初始位置之间的距离大于距离阈值，则为离岗状态，记录其离岗的开始时间，以及回岗时间。
本发明具有的优点和积极效果是：本发明通过智能行人检测和轨迹逻辑分析，可以对工人的工作轨迹进行还原分析，如果有人离开工作岗位，进行告知告警，保证产线安全，同时也可以通过在工作时间内对员工的离岗次数进行判别、统计，以方便对员工的考核。
具体实施方式
为了更好的理解本发明，下面结合具体实施例对本发明进行进一步的描述。
本发明提供一种基于行人跟踪的光模块生产车间工人岗位行为分析方法，该方法包括：
S10：以固定时间间隔获取目标图像，并获取该目标图像中目标的位置信息；
S20：根据目标的位置信息对目标进行跟踪匹配，得到目标的运动轨迹；
S30：按照目标的运动轨迹，分析目标的行为。
本发明通过对目标图像进行跟踪，并且对其建立运动轨迹，根据其运动轨迹对其所处位置进行监控，并根据其运动轨迹判断其是否处于离岗状态。
进一步地，对于任意的目标object，其位置表示为position（x，y，width，height），x，y是目标外接矩形的左上角坐标，用其表示目标的位置，width，height是对应矩形的宽度和高度，用其表示目标的大小。
对应t时刻目标object的位置
Figure 275677DEST_PATH_IMAGE001
，记为
Figure 989555DEST_PATH_IMAGE002
，t+k时刻记为
Figure 706975DEST_PATH_IMAGE003
，t+n时刻记为
Figure 23556DEST_PATH_IMAGE004
。
对应t时刻目标object图像的记为
Figure 244453DEST_PATH_IMAGE005
，t+k时刻的图像记为
Figure 598074DEST_PATH_IMAGE006
，t+n时刻的图像记为
Figure 19435DEST_PATH_IMAGE007
。
通过获得目标的不同时刻的图像以及其位置，用于形成该目标的运动轨迹，进一步地，形成目标的运动轨迹的过程包括：
S200：判断当前时刻是否有新的轨迹目标进行添加更新；具体过程包括计算当前轨迹持续没有更新轨迹目标的时间间隔，判断该时间间隔是否大于轨迹消失的时间阈值，如果该时间间隔大于轨迹消失的时间阈值，则当前轨迹结束，重新开启新的轨迹；如果不是，则执行步骤S201；
S201：判断当前时刻的目标图像是否与已有运动轨迹属于同一个目标；
S202：对于与已有运动轨迹属于同一个目标的目标图像，根据当前时刻目标图像的位置与上一时刻的目标图像的位置关系，预测下一时刻目标图像的位置。
其中，目标object的轨迹记为Track obj ，对于一个新检测到的目标直接新建一条轨迹；对于t+n时刻，计算距离轨迹Track obj 最后更新的时间间隔，如果时间间隔大于轨迹消失的时间阈值endTrackThr，那么当前轨迹结束，开启新的轨迹，否则，执行步骤S201，判断当前时刻的目标图像是否与已有运动轨迹属于同一个目标，如果当前时刻的目标图像与已有运动轨迹属于同一个目标，则将当前时刻的目标图像添加至该已有运动轨迹；如果不是，则重新建立一条运动轨迹。
在一个具体的实施例中，轨迹消失的时间阈值endTrackThr =40，但是该阈值并不对本发明构成限制。
进一步地，以当前的目标位置与前一时刻的目标位置之间的距离以及颜色直方图特征相似度判别当前目标图像与前一时刻的目标图像是否为同一目标的图像。
获取目标图像的起始时刻为t，该时刻代表获得了一个新的检测目标，需要重新建立一条轨迹，此时目标图像为
Figure 15072DEST_PATH_IMAGE008
，其位置为
Figure 356055DEST_PATH_IMAGE009
，并且获取时刻t的目标图像
Figure 5211DEST_PATH_IMAGE008
的颜色直方图特征。
t+k时刻，目标图像为
Figure 290699DEST_PATH_IMAGE010
，位置为
Figure 434235DEST_PATH_IMAGE003
，并获取时刻t+k的目标图像
Figure 754358DEST_PATH_IMAGE010
的颜色直方图特征；然后计算t+k时刻，距离轨迹最后更新的时间间隔，判断时间间隔是否在轨迹消失的时间阈值endTrackThr内，如果不在，则重新建立新的轨迹，如果在，通过
Figure 607039DEST_PATH_IMAGE009
，
Figure 255189DEST_PATH_IMAGE011
距离条件和颜色直方图相似度进行约束，判别t+k时刻的目标图像
Figure 717263DEST_PATH_IMAGE010
与t时刻目标图像
Figure 891893DEST_PATH_IMAGE008
是否是同一个目标的图像。
对应的两个目标的位置距离计算公式：
Figure 899163DEST_PATH_IMAGE012
其中，
Figure 159243DEST_PATH_IMAGE013
,
Figure 386525DEST_PATH_IMAGE014
如果，位置距离
Figure 415661DEST_PATH_IMAGE015
，且两个时刻的目标图像的颜色直方图相似度大于预设相似度阈值HistSimiThresh，那么认为是同一个目标的图像，对应的目标信息更新到Track obj 。优先的，预设相似度阈值HistSimiThresh=0.75。
进一步地，根据当前帧和新更新目标的位置信息
Figure 859412DEST_PATH_IMAGE009
，
Figure 465843DEST_PATH_IMAGE003
，计算Kalman状态参数，通过Kalman状态参数预测下一时刻目标应该出现的位置及大小postion predict （x pre ，y pre ，width pre ，height pre ）；对应目标object记录添加到轨迹Track obj 中，完成匹配。
Kalman预测能比较稳定、可靠的预测下一帧目标出现的位置，利于提升轨迹连接效果。Kalman预测具体的实施方法：
Kalman状态估计使用一个8维空间去刻画轨迹在某时刻的状态
Figure 879507DEST_PATH_IMAGE016
，分别表示目标的中心位置、纵横比、高度、以及在图像坐标中对应的速度信息。卡尔曼滤波器采用匀速模型和线性观测模型，对应的观测变量为中心位置
Figure 904094DEST_PATH_IMAGE017
，纵横比
Figure 377801DEST_PATH_IMAGE018
，高度
Figure 972993DEST_PATH_IMAGE019
。最终得到预测的位置postion predict （x pre ，y pre ，width pre ，height pre ），其中，
Figure 924768DEST_PATH_IMAGE020
，
Figure 803863DEST_PATH_IMAGE021
，
Figure 448470DEST_PATH_IMAGE022
，
Figure 295073DEST_PATH_IMAGE023
。
以此类推，t+n时刻，计算距离轨迹Track obj 最后更新的时间间隔timeInterval，判断间隔timeInterval是否大于轨迹消失的时间阈值，直到间隔timeInterval大于轨迹消失的时间阈值endTrackThr ，结束该轨迹，建立新的轨迹。
进一步地，按照目标的运动轨迹，分析目标的行为。
具体包括包括：
S301：对目标轨迹，获取目标的初始位置；
S302：按照第二固定时间间隔获取轨迹中目标的位置；经过指定的时间阈值interval，对一条轨迹中的目标人物位置进行更新，分别得到t,t+interval两个时刻的位置 position t ，position t+interval ，优先的，interval=60秒。初始时刻，position t =position origin ，位置更新的方式：
position interval = w 1* position t +w 2* position t+interval ，
即，
Figure 925905DEST_PATH_IMAGE024
，
Figure 518561DEST_PATH_IMAGE025
Figure 957239DEST_PATH_IMAGE026
，
Figure 900924DEST_PATH_IMAGE027
其中w1+w2=1。优先的，w 1 =0.7，w 2 =0.3。
S303：判断每个时刻目标的当前位置与目标的初始位置之间的距离是否大于距离阈值。
在本发明中，对目标轨迹，记录岗位的位置postion region 和目标人物初始位置position origin ，按照第二固定时间间隔进行更新、记录位置position interval ；来完成目标人物位置的更新。如果目标position interval 离开岗位位置postion region 距离
Figure 601027DEST_PATH_IMAGE028
大于指定的距离阈值moveThr，则认为离岗，记录离岗开始的时间，一直记录到回到岗位的时刻，作为结束，优先的，moveThr不超过postion region 区域宽度的0.8倍；对轨迹中运动异常，离开岗位，在车间中来回走动，岗位消失很长时间的目标人物，分别进行处理，及时告警，提示。
采用基于目标图像的智能分析，不需要监控人员配合，就可以智能监控分析， 有效降低擅自离开工位导致的生产损失，及有效的发现积极性员工。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。

Claims (6)

1.一种基于行人跟踪的光模块生产车间工人岗位行为分析方法，其特征在于：该方法包括：
S10：以固定时间间隔获取目标图像，并获取该目标图像中目标的位置信息；
S20：根据目标的位置信息对目标进行跟踪匹配，得到目标的运动轨迹；
S30：按照目标的运动轨迹，分析目标的行为；
其中，步骤S20包括：
S200：判断当前时刻是否有新的轨迹目标进行添加更新；
S201：判断当前时刻的目标图像是否与已有运动轨迹属于同一个目标；
S202：对于与已有运动轨迹属于同一个目标的目标图像，根据当前时刻目标图像的位置与上一时刻的目标图像的位置关系，预测下一时刻目标图像的位置。
2.根据权利要求1所述的基于行人跟踪的光模块生产车间工人岗位行为分析方法，其特征在于：步骤S201中，如果当前时刻的目标图像与已有运动轨迹属于同一个目标，则将当前时刻的目标图像添加至该已有运动轨迹；如果不是，则重新建立一条运动轨迹。
3.根据权利要求1所述的基于行人跟踪的光模块生产车间工人岗位行为分析方法，其特征在于：步骤S201中，以当前的目标位置与前一时刻的目标位置之间的距离以及颜色直方图特征相似度判别当前目标图像与前一时刻的目标图像是否为同一目标的图像。
4.根据权利要求1所述的基于行人跟踪的光模块生产车间工人岗位行为分析方法，其特征在于：步骤S200包括：计算当前轨迹持续没有更新轨迹目标的时间间隔，判断该时间间隔是否大于轨迹消失的时间阈值，如果该时间间隔大于轨迹消失的时间阈值，则当前轨迹结束，重新开启新的轨迹；如果不是，则执行步骤S201。
5.根据权利要求1所述的基于行人跟踪的光模块生产车间工人岗位行为分析方法，其特征在于：步骤S30包括：
S301：对目标轨迹，获取目标的初始位置；
S302：按照第二固定时间间隔获取轨迹中目标的位置；
S303：判断每个时刻目标的当前位置与目标的初始位置之间的距离是否大于距离阈值。
6.根据权利要求5所述的基于行人跟踪的光模块生产车间工人岗位行为分析方法，其特征在于：步骤S303中，如果某一时刻目标的当前位置与初始位置之间的距离大于距离阈值，则为离岗状态，记录其离岗的开始时间，以及回岗时间。
CN202210047051.4A 2022-01-17 2022-01-17 基于行人跟踪的光模块生产车间工人岗位行为分析方法 Active CN114066944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210047051.4A CN114066944B (zh) 2022-01-17 2022-01-17 基于行人跟踪的光模块生产车间工人岗位行为分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210047051.4A CN114066944B (zh) 2022-01-17 2022-01-17 基于行人跟踪的光模块生产车间工人岗位行为分析方法

Publications (2)

Publication Number Publication Date
CN114066944A CN114066944A (zh) 2022-02-18
CN114066944B true CN114066944B (zh) 2022-04-12

Family

ID=80231225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210047051.4A Active CN114066944B (zh) 2022-01-17 2022-01-17 基于行人跟踪的光模块生产车间工人岗位行为分析方法

Country Status (1)

Country Link
CN (1) CN114066944B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318578A (zh) * 2014-11-12 2015-01-28 苏州科达科技股份有限公司 一种视频图像分析方法及系统
CN106682573A (zh) * 2016-11-15 2017-05-17 中山大学 一种单摄像头的行人跟踪方法
WO2017185688A1 (zh) * 2016-04-26 2017-11-02 深圳大学 一种在线目标跟踪方法及装置
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN110287855A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种行人轨迹获取方法以及系统
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN113011367A (zh) * 2021-03-31 2021-06-22 广州大学 一种基于目标轨迹的异常行为分析方法
CN113822163A (zh) * 2021-08-25 2021-12-21 北京紫岩连合科技有限公司 一种复杂场景下的行人目标跟踪方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128053A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别人员逗留徘徊报警方法和装置
CN112630771B (zh) * 2020-12-09 2024-02-23 清华大学 一种基于毫米波设备的多目标跟踪方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318578A (zh) * 2014-11-12 2015-01-28 苏州科达科技股份有限公司 一种视频图像分析方法及系统
WO2017185688A1 (zh) * 2016-04-26 2017-11-02 深圳大学 一种在线目标跟踪方法及装置
CN106682573A (zh) * 2016-11-15 2017-05-17 中山大学 一种单摄像头的行人跟踪方法
CN109117721A (zh) * 2018-07-06 2019-01-01 江西洪都航空工业集团有限责任公司 一种行人徘徊检测方法
CN110287855A (zh) * 2019-06-21 2019-09-27 上海闪马智能科技有限公司 一种行人轨迹获取方法以及系统
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN113011367A (zh) * 2021-03-31 2021-06-22 广州大学 一种基于目标轨迹的异常行为分析方法
CN113822163A (zh) * 2021-08-25 2021-12-21 北京紫岩连合科技有限公司 一种复杂场景下的行人目标跟踪方法及装置

Also Published As

Publication number Publication date
CN114066944A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN112365522B (zh) 园区内人员跨境追踪的方法
CN109657575B (zh) 室外施工人员智能视频跟踪算法
CN110348348B (zh) 一种参建人员进场身份快速识别方法及预警系统
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN110602449A (zh) 一种基于视觉的大场景下施工安全智能监控系统方法
CN111626275B (zh) 一种基于智能视频分析的异常停车检测方法
CN104301669A (zh) 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN106341661A (zh) 巡逻机器人
KR102174784B1 (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
CN104063885A (zh) 一种改进的运动目标检测与跟踪方法
CN114612866B (zh) 一种建筑场地内安全性智能识别方法、装置及设备
CN102496000B (zh) 一种城市交通事故检测方法
CN109145736B (zh) 一种基于视频分析的地铁站点行人逆向行走的检测方法
CN104200490A (zh) 一种复杂环境下的快速逆行检测跟踪监控方法
CN115527158B (zh) 一种基于视频监控的人员异常行为检测方法及装置
CN109492548B (zh) 基于视频分析的区域mask图片的获得方法
CN114066944B (zh) 基于行人跟踪的光模块生产车间工人岗位行为分析方法
CN111696135A (zh) 基于交并比的违禁停车检测方法
CN111986237A (zh) 一种人数无关的实时多目标跟踪算法
CN114494998B (zh) 一种车辆数据智能分析方法及系统
CN115512298A (zh) 基于框定区域下目标跟踪算法的集控区域离岗识别方法
CN103093197A (zh) 一种识别上吊行为的监控方法和系统
CN104063884A (zh) 基于运动预测与多模板匹配相结合的图像目标识别方法
CN115050125B (zh) 基于2d相机的安全预警方法、装置、设备及存储介质
CN104408942A (zh) 车辆智能测速装置与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant