CN113989335A - 一种对厂房内工人自动定位的方法 - Google Patents

一种对厂房内工人自动定位的方法 Download PDF

Info

Publication number
CN113989335A
CN113989335A CN202111258784.4A CN202111258784A CN113989335A CN 113989335 A CN113989335 A CN 113989335A CN 202111258784 A CN202111258784 A CN 202111258784A CN 113989335 A CN113989335 A CN 113989335A
Authority
CN
China
Prior art keywords
worker
workers
frame
image
dangerous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111258784.4A
Other languages
English (en)
Inventor
李家松
李明磊
李佳
刘琴
张彩煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111258784.4A priority Critical patent/CN113989335A/zh
Publication of CN113989335A publication Critical patent/CN113989335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种对厂房内工人自动定位的方法，自动地检测出视频中的工人的物理位置信息，并对工人的位置进行跟踪，实时判断工人是否进入危险作业区域。方法包括：使用相机拍摄视频监测场景；使用深度学习检测网络检测出工人在监控视频图像中的位置；使用相机与地面的相对关系恢复出工人的物理位置，并对物理位置进行跟踪计算。

Description

一种对厂房内工人自动定位的方法
技术领域
本发明涉及计算机视觉模式识别和数字图像处理领域，具体涉及目标识别跟踪技术。
背景技术
在许多制造行业中，对危险作业现场实时监测并提醒工人是否处于危险区域对于保证安全生产具有重要意义。
在确保工厂生产过程安全时，使用安全仪表系统控制生产机械设备是一种常见手段。其基本原理是使用一套安全控制器、安全开关限制生产设备的运转与否。此时可以保证参与生产活动、操控生产设备的工人人身安全。这类方法包括电气安全控制系统、可编程电子安全控制系统和安全检测系统等。但是，这类方法在确认使用生产设备的工人的安全后就会进入生产流程，对于生产过程中的潜在危险没有判断；并且由于是对固定区域的人员检测，只能保证部分工人的安全，对于其他工人和设备自身都存在安全隐患。
基于图像和视频数据的安全性监测方法发展了很长时间，视觉安全性检测可以监测到工厂内全局生产情况。目前的视觉安全性监测方法可以分为人工监测和基于深度学习的自动监测两类。
人工监测的方法是指由安检员观察危险作业区域的实时监控，确定是否有工人接近或进入危险作业区域。如有工人进入危险区域，安检员会做出适当提醒。在必要的情况下，安检员会中止生产活动，保障工人与生产设备的安全。
然而，人工监测的方法存在很多的缺陷。首先，人工在判断工人是否进入危险区域的时候，会由于视野遮挡以及一些主观因素影响，不能很准确的判断工人所处环境安全与否。其次，人工监测受限于人的注意力，无法做到长时间监测，需要经常替换监测人员，这会大大消耗人力资源，影响生产效率。
基于深度学习的自动监测是伴随着计算机视觉技术和模式识别技术的发展而发展起来的，是“智能工厂”这一概念中的重要组成部分。这种方法对需要监测的危险作业区域进行拍照，获取危险作业区域的监控视频，使用深层网络对视频中的工人进行识别，并预先标记出危险区域，根据识别出的工人位置与视频中的危险区域之间的空间上下文信息，判断工人当前作业环境是否安全。
然而，现有的基于深度学习的自动监测方法，仅能够估计出工人所在的像素坐标，不具备实际的空间位置性质，受限于视角收缩效应，无法准确确定工人所在的三维空间坐标，从而无法准确评估工人的作业环境。同时由于深度学习的特性，当深度模型比较复杂时，所需要消耗的计算资源也不可小视。
发明内容
(一)要解决的技术问题
发明所要解决的问题，针对现有技术的不足，本发明拟解决的技术问题是，提供基于视频图像处理的方法对厂房内工人自动定位。采用多目标跟踪和卡尔曼滤波计算工人的物理位置，用于评估工人作业环境的安全性。
(二)技术方案
与现有技术相比，本发明设计了基于卡尔曼滤波的跟踪框架对作业工人进行检测跟踪，获得作业工人的物理位置信息并对之进行预测更新，并同时结合深度学习的行人重识别技术，对工人的作业轨迹进行修正。其特征在于该方法的步骤如下：
步骤1、构建使用工业相机组成的工人作业环境安全性监测装置，工业相机所监测范围应该当包括危险作业区域；
步骤2、使用标定板，对相机的相对位置姿态和图像内参数进行标定，获得标定参数；在使用工业相机对标定板拍摄时，要多角度多位置的拍摄，确保标定板的整体图案出现在相机画幅的各个位置；
步骤3、在监测区域的地面放置二维码标记点，测算二维码标记点之间的物理距离，并记录在工业相机拍摄到的画面中的二维码标记点位置，计算出像平面与地面之间的单应变换矩阵；
步骤4、使用工业相机对监控场地视频录像，视频录像中包含工人在厂房中劳动工作的实时画面，并在危险作业区域设置危险标识点，使用步骤3得到的单应变换矩阵可以计算出危险标识点的物理位置，并加以记录；
步骤5、使用深度学习网络模型，逐帧推理检测视频图像，记录下在监控视频中检测出的每位工人的位置，位置包括检测框左上角点的横、纵像素坐标和检测框的宽高；
步骤6、结合步骤5所述的工人在图像中的位置与步骤3所述的单应变化矩阵，可以计算出作业工人在物理世界中的位置坐标；
步骤7、截取包含工人部分的像素图像作为快照；
步骤8、训练描述工人的特征网络，将步骤7所述的快照输入特征网络，得到每个工人的外观特征，所述的特征网络应预先使用行人重识别数据进行训练，具有区分不同作业工人的能力；
步骤9、使用卡尔曼滤波器预测上一帧的跟踪到的工人的位置，根据在卡尔曼滤波器中预设的线性运动模型计算出作业工人运动的方向与距离，结合上一帧的位置计算出在当前帧的估计位置；
步骤10、将当前帧每个工人的位置和外观特征与上一帧的跟踪到的工人的预测位置和外观特征相关联，确定这一帧跟踪到的工人，并为他们分配上一帧跟踪器的编号；
步骤11、将这一帧没有分配到的检测结果初始化为新的跟踪目标，并为他们分配新的跟踪器编号；
步骤12、计算跟踪失败的跟踪器距离上一次成功跟踪的时间，删除超时的跟踪器；
步骤13、更新每个工人的位置与外观特征，并将更新后的位置用于步骤9所述的预测工人的位置，将更新后的外观特征用于步骤10中所述的关联；
步骤14、计算跟踪到的工人与步骤4中所述的标记出的危险作业区域之间的相对位置关系得到位置上下文信息，根据位置上下文信息确定工人作业状态为安全或是危险，与危险作业区域之间的距离达到警示阈值时，通过警笛发出报警提醒。
优选地，步骤1中，设置工业相机时，应多机位多角度检测危险作业区域。
优选地，步骤2中，标定板的图案可以使用棋盘格和圆形靶标，标定得到的内参数包括主距长度、主点坐标、径向畸变和切向畸变参数。
优选地，步骤3中，二维码标识点应该均匀的分布在监测场地，所得到的对应变换关系应为3×3的单应变换矩阵。
优选地，步骤8中，使用行人重识别数据库训练描述工人的特征网络，所用的数据库可以使用Market-1501或Duke-ReID。
基础骨干模型可以使用Resnet-34、Resnet-50或Resnet-101。
优选地，步骤9中，使用卡尔曼滤波中线性运动模型预测出作业工人所处位置，线性运动模型的公式如下：
Figure BSA0000256041540000031
其中，[xk，vk]T是第k帧中作业工人所在的位置矢量和速度矢量，
Figure BSA0000256041540000032
是第k帧中作业工人的预测位置与速度，Δt为帧间隔时间。
优选地，步骤10中，关联算法可以使用匈牙利算法得到检测结果与预测结果之间的最优分配方案。
(三)有益效果
本发明采用以上技术方案，能够获得工厂内工人准确的物理位置，为检测评估工人作业环境的安全性提供数据，当存在潜在危险时，发出提醒，规避作业工人发生危险。
附图说明
图1为本发明的方法流程图；
图2为多机位多角度设置工业相机监测危险作业区域；
图3为在危险作业区域均匀且分散布置二维码标识物；
图4为截取工人图像作为快照；
图5为根据位置上下文信息判断工人是否处于危险状态。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合一个实施例，对本发明的具体实施方式作进一步详细描述。
结合附图对本发明作更进一步的说明。本发明提供了一种对厂房内工人作业环境安全性自动监测方法，实施步骤如下(参见图1)：
步骤1、构建使用工业相机组成的工人作业环境安全性监测装置，工业相机所监测范围应该当包括危险作业区域；
布置工业相机的一种方式是，多机位多角度的监测危险作业区域(参见图2)。
步骤2、使用标定板，对相机的相对位置姿态和图像内参数进行标定，获得标定参数；在使用工业相机对标定板拍摄时，要多角度多位置的拍摄，确保标定板的整体图案出现在相机画幅的各个位置；
步骤3、在监测区域的地面放置二维码标记点，测算二维码标记点之间的物理距离，并记录在工业相机拍摄到的画面中的二维码标记点位置，使用随机抽样一致算法(Random sample consensus，RANSAC)方法，计算出像平面与地面之间的单应变换矩阵；
在地面放置的二维码标记物的一种方式是，均匀且分散的放置监测场地中(参见图3)。
步骤4、使用工业相机对监控场地录像，录像中应包含工人在厂房中劳动工作的实时画面，并应在危险作业区域设置危险标识点；
使用步骤3得到的单应变换矩阵，计算出危险标识点的物理位置，并加以记录；
步骤5、在录像的同时，使用深度学习网络模型YOLO-v4网络，逐帧推理检测视频图像，记录下在监控视频中检测出的每位工人的位置，位置包括检测框左上角点的横、纵像素坐标和检测框的宽高；
步骤6、结合步骤5所述的工人在图像中的位置与步骤3所述的单应变化矩阵，可以计算出作业工人在物理世界中的位置坐标；
步骤7、在计算当前帧的每个工人在物理世界的位置坐标的同时，截取包含工人的像素图像作为快照(参见图4)；
步骤8、训练描述工人的特征网络，将步骤7所述的快照输入特征网络，得到每个工人的外观特征，所述的训练特征网络应使用行人重识别数据集Market-1501进行训练，所训练的工人特征描述模型具有区分不同作业工人的能力；
步骤9、使用卡尔曼滤波器预测上一帧的跟踪到的工人的位置，根据在卡尔曼滤波器中预设的线性运动模型计算出作业工人运动的方向与距离，结合上一帧的位置计算出在当前帧的估计位置；
步骤10、将当前帧每个工人的位置和外观特征与上一帧的跟踪到的工人的预测位置和外观特征相关联，确定这一帧跟踪到的工人，并为他们分配上一帧跟踪器的编号；
步骤11、将这一帧没有分配到的检测结果初始化为新的跟踪目标，并为他们分配新的跟踪器编号；
步骤12、计算跟踪失败的跟踪器距离上一次成功跟踪的时间，删除超时的跟踪器；
步骤13、更新每个工人的位置与外观特征，并将更新后的位置用于步骤9所述的预测工人的位置，将更新后的外观特征用于步骤10中所述的关联；
步骤14、计算跟踪到的工人与步骤4中所述的标记出的危险作业区域之间的相对位置关系，得到位置上下文信息，根据位置上下文信息确定工人作业状态为安全或是危险。
与危险作业区域之间的距离达到警示阈值时，通过警笛发出报警提醒(参见图5)。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种对厂房内工人自动定位的方法，其特征在于，结合了视频图像对作业工人进行检测和跟踪，实现对厂房内工人行动安全性自动监测，包括步骤：
步骤1、构建使用工业相机组成的工人作业环境安全性监测装置，所述装置的硬件设备包含成像相机；
步骤2、标定相机的内外参数，使用标定板，对两两相机之间的相对位置姿态和图像内参数进行标定，获得标定参数；
步骤3、在地面放置二维码标记点，并测量标记点之间的距离，根据相机的标定参数和标记点之间的距离计算得出每一部相机与地面的相对位置关系；
步骤4、使用工业相机对监控场地进行视频拍摄，视频中应包含工人在厂房中作业生产的实时画面，并应在危险作业区域设置危险区域对应的标识靶点；
步骤5、在视频图像中，用深度学习网络模型检测工人，得到工人在图像中的位置；
步骤6、结合步骤5所述的工人在图像中的位置与步骤3所述的相机和地面的相对位置关系，计算出工人在物理世界中的位置；
步骤7、截取图像中包含工人部分的像素图像作为快照；
步骤8、训练描述工人的特征网络，将步骤7所述的快照输入特征网络，得到每个工人的外观特征；
步骤9、使用卡尔曼滤波器预测上一帧的跟踪到的工人的位置；
步骤10、将当前帧每个工人的位置和外观特征与上一帧的跟踪到的工人的预测位置和外观特征相关联，确定这一帧跟踪到的工人，并为他们分配上一帧跟踪器的编号；
步骤11、将这一帧没有分配到的检测结果初始化为新的跟踪目标，并为他们分配新的跟踪器编号；
步骤12、计算跟踪失败的跟踪器距离上一次成功跟踪的时间，删除超时的跟踪器；
步骤13、更新每个工人的位置与外观特征，并将更新后的位置用于步骤9所述的预测工人的位置，将更新后的外观特征用于步骤10中所述的关联；
步骤14、计算跟踪到的工人与步骤4中所述的标记出的危险作业区域之间的相对位置关系得到位置上下文信息，根据位置上下文信息确定工人作业状态为安全或是危险，当工人作业状态存在危险时，通过警笛发出报警提醒。
2.如权利要求1所述的方法，其特征在于，步骤2所述的标定板是机器视觉领域的规则标定板，可以使用棋盘格标定板和实心原点标定板，标定要获得的参数包括相机的主距、主点、畸变、相对位置和姿态转角参数。
3.如权利要求1所述的方法，其特征在于，步骤5所述的工人在图像中的位置是逐帧推理检测的结果，包括检测出的工人在图像中边界框左上角点像素坐标、边界框宽和边界框高。
4.如权利要求1所述的方法，其特征在于，步骤9所述的卡尔曼滤波器是一种利用线性系统状态方程，将上一次迭代中的工人物理位置作为输入，输出当前迭代的估计位置，所述的迭代是对于步骤4中记录的每一帧的处理过程。
5.如权利要求1所述的方法，其特征在于，步骤10所述的将当前帧的位置和外观特征与上一帧的预测位置和外观特征相关联，所述的关联方法是匈牙利算法，所述的匈牙利算法是得到预测位置和检测位置之间最小损失的分配算法。
CN202111258784.4A 2021-10-27 2021-10-27 一种对厂房内工人自动定位的方法 Pending CN113989335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111258784.4A CN113989335A (zh) 2021-10-27 2021-10-27 一种对厂房内工人自动定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111258784.4A CN113989335A (zh) 2021-10-27 2021-10-27 一种对厂房内工人自动定位的方法

Publications (1)

Publication Number Publication Date
CN113989335A true CN113989335A (zh) 2022-01-28

Family

ID=79742924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111258784.4A Pending CN113989335A (zh) 2021-10-27 2021-10-27 一种对厂房内工人自动定位的方法

Country Status (1)

Country Link
CN (1) CN113989335A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311361A (zh) * 2023-03-02 2023-06-23 北京化工大学 一种基于像素级标注的危险源室内工作人员定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311361A (zh) * 2023-03-02 2023-06-23 北京化工大学 一种基于像素级标注的危险源室内工作人员定位方法
CN116311361B (zh) * 2023-03-02 2023-09-15 北京化工大学 一种基于像素级标注的危险源室内工作人员定位方法

Similar Documents

Publication Publication Date Title
US11917333B2 (en) Systems and methods for personnel location at a drilling site
US20110115909A1 (en) Method for tracking an object through an environment across multiple cameras
Papaioannou et al. Tracking people in highly dynamic industrial environments
US9547905B2 (en) Monitoring system with a position-dependent protected area, method for monitoring a monitoring area and computer program
Ahmadian Fard Fini et al. Using existing site surveillance cameras to automatically measure the installation speed in prefabricated timber construction
CN112800901A (zh) 一种基于视觉感知的矿山人员安全检测方法
CN105141887A (zh) 一种基于热成像的海缆区域视频告警方法
CN110703760A (zh) 一种用于安防巡检机器人的新增可疑物体检测方法
CN113452912A (zh) 巡视机器人的云台摄像机的控制方法、装置、设备及介质
CN113989335A (zh) 一种对厂房内工人自动定位的方法
CN110580708B (zh) 一种快速移动检测方法、装置及电子设备
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
CN116311361B (zh) 一种基于像素级标注的危险源室内工作人员定位方法
JP2022526071A (ja) 状況認識監視
CN116976721A (zh) 一种配电作业行为规范性评价方法、系统、计算设备
CN113326793B (zh) 一种远距离行人位置识别方法、系统及存储介质
Jones et al. Auto-calibration in multiple-camera surveillance environments
CN117041502B (zh) 一种基于机器视觉的危险场景分析监测系统及方法
JP7467311B2 (ja) 点検システムおよび点検方法
CN116311534B (zh) 基于ai的智慧工地的危险违规动作识别方法及系统
US20240045439A1 (en) Task execution system, task execution method, and task execution program
CN118018693B (zh) 一种基于云台球机的巡检监控方法和装置
JP2018014064A (ja) 室内用自走式ロボットの位置測定システム
CN117994737A (zh) 一种智慧工地管控平台的监控报警系统及方法
Wang et al. The Effect of ArUco Marker Size, Number, and Distribution on the Localization Performance of Fixed-Point Targets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination