CN113255422A - 一种基于深度学习的工序衔接目标识别管理方法及系统 - Google Patents
一种基于深度学习的工序衔接目标识别管理方法及系统 Download PDFInfo
- Publication number
- CN113255422A CN113255422A CN202011599118.2A CN202011599118A CN113255422A CN 113255422 A CN113255422 A CN 113255422A CN 202011599118 A CN202011599118 A CN 202011599118A CN 113255422 A CN113255422 A CN 113255422A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- information
- time
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000007726 management method Methods 0.000 title claims abstract description 53
- 230000008569 process Effects 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000010276 construction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013459 approach Methods 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 238000009430 construction management Methods 0.000 abstract description 8
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的工序衔接目标识别管理方法及系统，该方法包括以下步骤：识别头盔上的电子标签以记录工人姓名、工种及对应进场时间，获取场地施工图像，并利用ACE算法对图像进行分辨率增强处理，基于卷积神经网络及多目标跟踪算法对进入场地的头盔进行识别定位跟踪管理，识别电子标签信息记录工人姓名、工种及对应出场时间，以出场时间为计时起点，根据预设衔接时间进行提示操作。其可自动进行施工进度的管理，提高施工管理的及时和精确度，做好施工工序衔接。
Description
技术领域
本发明属于施工管理技术领域，具体地涉及一种基于深度学习的工序衔接目标识别管理 方法及系统。
背景技术
目前道路、桥梁、隧道已成为国家的重要资源，对于促进国家经济增长、提高人民生活 质量、维护国家安全等都具有重要价值。道路、桥梁、隧道的发展不仅仅是经济的需要，也 是人类文明和现代化组成的重要部分。尤其是随着中西部地区的公路和铁路的全面建设，由 于地理位置等因素，桥隧的施工量占据了很大的比重。在隧道施工中，为保证快速施工，抓 紧施工进度，合理管理工序衔接是施工区域智能化管理的重要课题。因为隧道施工都是采用 流水作业的方式，在一个工作地点，不同的工种在不同时间段完成不同的工序。比如A工种 完成工序1，然后B工种完成工序2，然后C工种完成工序3，然后再A工种完成工序1，如 此循环。压缩每个工序转换衔接时间成了进度管理的重点。目前在隧道施工的工序衔接上存 在如下的几个弊端：1、每次工序的开始施工时间与结束施工时间都由值班人员记录，由于 值班人员同时要做其他工作，记录不及时的时候就会出现记录不准确，导致记录与现场失真， 不利于控制施工进度；2、记录结果反馈的不及时，施工管理人员无法及时获取工序衔接的 时间情况，从而对施工现场实施做不到及时和精确的管理。
发明内容
为了解决现有施工管理中施工工序衔接中存在的问题，本发明提供一种基于深度学习的 工序衔接目标识别管理方法及系统，可自动进行施工进度的管理，提高施工管理的及时和精 确度，做好施工工序衔接。
本发明通过以下技术方案实现：
一种基于深度学习的工序衔接目标识别管理方法，包括以下步骤：
识别安全帽上电子标签以记录工人姓名、工种及对应进场时间，
获取场地施工图像，并利用ACE算法对图像进行分辨率增强处理，
基于yolov3识别模型及多目标跟踪算法对安全帽进行定位管理跟踪，
识别电子标签信息记录工人姓名、工种及对应出场时间，
以出场时间为计时起点，根据预设衔接时间进行提示操作。
本方案的方法基于电子标签实现工人进场时间、出场时间的统计以此实现对施工操作时 间的管理；人员进场后，依次经图像采集、分辨率增强、目标识别和目标跟踪算法实现对现 场人员的跟踪管理，有效的提高人员施工管理；一施工工序完成后，以人员出厂时间为起点， 并以预设的衔接时间为阈值进行衔接提示操作，及时做好工序衔接工作，减小工序衔接时间， 提高施工进度管理。
一种基于深度学习的工序衔接目标识别管理系统，包括：
可携带式电子标签；
用于读取电子标签信息的阅读器；
采集施工现场图像信息的图像采集器；
利用ACE算法对图像进行分辨率增强并基于yolov3识别模型及多目标跟踪算法对进场 人员进行定位管理跟踪、根据阅读器读取内容确定工人姓名、工种、进场时间和出场时间并 根据出场时间、预设衔接时间提示下一工序衔接操作的管理服务器。
本方案系统的电子标签为可携带式，其可设在施工人员随身佩戴的头盔上，一电子标签 的编号与一工人向对应，通过识别电子标签信息即可确定进场和出场人员信息和对应时间， 图像采集器采集施工现场图像信息，管理服务器根据阅读器读取的信息、图像采集器采集的 信息实现、预设的衔接时间信息等实现施工管理，以及时做好工序衔接工作，减小工序衔接 时间，提高施工进度管理。
本发明与现有技术相比，至少具有以下优点和有益效果：
本方案的方法和系统通过对电子标签的识别实现工人进场时间、出场时间的统计以此实 现对施工操作时间的管理；人员进场后，依次经图像采集、分辨率增强、目标识别和目标跟 踪算法实现对现场人员的跟踪管理，有效的提高人员施工管理；一施工工序完成后，以人员 出厂时间为起点，并以预设的衔接时间为阈值进行衔接提示操作，及时做好工序衔接工作， 减小工序衔接时间，提高施工进度管理。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
图1是本发明方法的流程图。
图2是yolov3图像特征提取网络层示意图。
图3是采用yolov3得到的安全帽的检测结果。
图4是阈值为0.5的情况下的测试结果。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是，对于这些实 施例方式的说明虽然是用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定 结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明， 并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应 当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元 称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例 的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联 关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同 时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关 系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种 情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，在本文中若将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，在本文中若将单元称作与另一个单元“直接相连”或“直接耦合”时，表示不存在中间单元。另外，应当以类似方 式来解释用于描述单元之间的关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
应当理解，本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。 若本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明 确指示相反意思。还应当理解，若术语“包括”、“包括了”、“包含”和/或“包含了” 在本文中被使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且 不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增 加。
应当理解，还应当注意到在一些备选可能设计中，所出现的功能/动作可能与附图出现 的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以 以相反的顺序来执行连续示出的两个图。
应当理解，在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而, 本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以 在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以非 必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例1
本实施例公开一种基于深度学习的工序衔接目标识别管理方法，包括以下步骤：
识别安全帽上电子标签以记录工人姓名、工种及对应进场时间，
获取场地施工图像，
基于yolov3识别模型及多目标跟踪算法对安全帽进行定位管理跟踪，
识别电子标签信息记录工人姓名、工种及对应出场时间，
以出场时间为计时起点，根据预设衔接时间进行提示操作。
本发明提供的一种隧道施工工序衔接的目标识别管理方法，通过识别电子标签对入场、 出场时间进行管理，实现对应工序施工时间的监测；基于深度学习的yolo识别模型及多目 标跟踪算法实现进场人员位置信息的实时性检测定位，有效的提高人员识别的准确度。在一 施工工序完成后，通过预设一衔接时间，时间超时时，进行相应提示，便于相关人员及时作 出响应，加强工地的施工进度管理，为工程应用发挥良好的效果。
实施例2
基于上述实施例的原理，本实施例公开一具体实施方式。
施工现场施工人员均会佩戴安全帽，安全帽上安装电子标签，譬如RFID标签，RFID阅 读器安装在施工现场的入口，譬如隧道的洞口。施工人员进入洞口时，RFID阅读器会感应并 采集RFID电子标签信息，将采集到的RFID电子标签的信息发送到一个管理服务器，服务器 根据电子标签的编号，与其所对应的人员相对应，以此记录该工人姓名、工种和进洞时间。
进入施工场地后，现场安装的摄像头或其他图像采集器采集现场图片并发送给管理服务 器。由于施工场地的粉尘量大、局部灯光强度等特殊因素会影响采集图像的分辨率，为了避 免后续操作信息丢失导致安全帽识别准确度降低，管理服务器的图像分辨率增强模块采用自 适应对比度增强ACE算法对图像进行处理，增强图像分辨率。ACE算法通过差分计算目标点 与周围像素点的相对阴暗关系来矫正最终像素值，有很好的增强效果。
图像采集被送入管理服务器，图像分辨率增强模块基于ACE算法对图像进行分辨率增强 处理。
假设x(i,j)是输入人物图像图像中某点的灰度值，局部区域的定义为：以图像中某位置 的像素坐标(i,j)为中心，窗口大小为(2n+1)*(2n+1)的区域，其中n为整数。局部的平均值， 也就是低频部分，图像低频的处理可以用下式计算：
其中k、l分别为窗口区域起始坐标位置，图像中局部方差为：
上述式子中
就是局部标准差(LSD)。因此ACE算法可以看做是对规范的直方图均 衡化方法的一种平滑和局部修正的方法。定义f(i,j)表示x(i,j)对应的增强后的像素区域， 则ACE局部修正算法可以表示如下：
f(i,j)＝mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]
其中G(i,j)属于图像的高频部分图像分割CG的阈值，一般情况下需要调整CG数值使其 大于或等于1，这样图像高频成分[x(i,j)-mx(i,j)]就能得到增强，并且安全帽目标区域在识 别过程中目标区域像素值的置信度可以得到很大的提升，提升了后续识别的精度。
经上述处理后的图像输入至目标识别模块，目标识别模块基于卷积神经网络模型实现安 全帽检测。卷积神经网络模型可采用多种模型实现，譬如yolov1、yolov2和yolov3，优选 的，采用yolov3。经增强后的图像进入106层的yolov3中，利用yolov3多尺度特征进行对 象检测。
yolov3的每个隧道口采集的图像被网络层的候选框固定切分成416*416*3的三通道图 像，通过其中Darknet卷积网络得到三种不同尺度的预测结果，每个尺度都对应N个通道， 包含着预测的信息；并且每个网格每个尺寸的anchors的预测结果。
yolov1有7*7*2个的预测信息，yolov2有13*13*5个预测信息；本专利使用的yolov3 配置文件共有13*13*3+26*26*3+52*52*3个下采样预测信息即106层共3组下采样预测信息， 每个预测对应8个维度，分别是4个坐标值、1个置信度分数、3个安全帽数据集的类别数， 如图2所示。
也可用yolov1和yolov2，但是，yolov3利用多尺度的特征图来进行对象检测，能够检 测到更加细粒度的特征。yolov3网络的最终输出有3个尺度分别为1/32、1/16、1/8(对应下采样的倍数)；在第79层之后经过几个卷积操作得到的是1/32(13*13)的预测结果， 下采样倍数高，这里特征图的感受域field比较大，因此适合检测人脸图像中尺寸比较大的 对象。接着这个结果通过上采样与第61层的结果进行合并，再经过几个卷积操作得到1/16 的预测结果；这种尺度网络具有中等尺度的感受域，适合检测中等尺度的对象。最后91层 的结果经过上采样之后对网络的第36层预测结果进行合并，同样的经过几个卷积操作之后得到的是1/8尺度的结果，并且其特征采样的感受域最小，适合检测小尺寸的对象。因此，本专利采用上述网络模型遍历所有隧道口采集的工人图像，提取进出工人头部安全帽特征并 识别未戴安全帽人员作为危险预警。
采用yolov3，将视频每帧图片进行计算预测其安全帽先验框信息，得到如图3所示的安 全帽的检测结果，两组测试视频目标人物的检测结果均高于50％。在默认阈值为0.5的情况 下，该组测试视频图像安全帽识别未戴帽子、佩戴安全帽的置信度分别达到了如图4所示的 78％和86％，可对佩戴安全帽的人员能进行显著性识别，便于接下来对施工人员的目标跟踪和 工时管理。基于yolov3，使用一个轻量级的yolov3框架用于工人安全帽检测，挖掘图像远 景、边缘及低分辨率区域的安全帽信息，完成数据库人物信息匹配的先验知识处理过程，大 大提高目标识别的准确度。
管理服务器对图像中的安全帽进行识别后送入目标跟踪模块，目标跟踪模块采用多目标 跟踪算法，即deepsort算法构建的deepsort预测模型，进行多目标跟踪。当有目标被检测 出来时deepsort框架就立即建立当前目标的位置信息模型X储存下来，并且定义为目标在 视频中第一帧状态的模型，其表达式如下：
其中，u，v，γ，h分别表示第一帧状态时刻的位置、纵横比、高度和在图像坐标中对应的位移(位置)信息，
分别表示下一帧(第二帧)预测的位置、纵 横比、高度和在图像坐标中对应的位移(位置)信息，并且该时刻的状态X会随 着每帧目标的移动不断地更新和作目标匹配。为了实现目标跟踪，在得到第一帧 状态的X模型后同时进行下一帧状态的预测和第一帧到第二帧位置状态的更新， 接着匹配两个相邻时刻的位置信息得到匹配结果，最后不断的迭代匹配相邻时刻 的状态，判别检测目标在视频中的位置信息，完成单一或多个目标的跟踪。例如， 本专利使用yolo检测框架得到了隧道口工人的图像特征，将该时刻的目标检测 结果存下来形成第一帧状态，同时再预测下一帧这些检测目标的位置，并将第一 帧工人的位置信息更新为第二帧该工人的坐标位置，与预测信息作对比匹配。具 体地，在预测步骤中deepsort框架使用了kalman滤波算法对第一帧状态的检测 目标在下一个时刻可能出现的位置进行预测，并记录隧道口工人在视频第一帧时 刻的状态
在预测第二帧状态时kalman滤波器使用了马氏距离信 息来预测下一帧新来的状态：
其中d(1)(i,j)表示第j个目标检测结果和第i条轨迹之间的位置匹配度，其中Si是轨迹由 kalman滤波器预测得到的在当前时刻观测空间的协方差矩阵，yi是轨迹在当前时刻的预测观 测量，且dj时第j个detection的状态为(u,v,γ,h)。由于运动目标具有连续性，deepsort 通过该马氏距离对下一帧时刻的工人目标(下一帧已检测到的目标)进行筛选，并且定义了 一个门限函数作为检测指标：
其中t(1)为目标置信度阈值，
作为一个预测、实际位置信息的判别函数，同时排除掉 第一次目标匹配时匹配度较低的目标位置信息，得到置信度最高的实际第二帧目标位置信 息，完成了相邻帧目标跟踪。因此，当视频检测进入第二帧时，kalman滤波算法就将第一帧 的状态信息更新为第二帧当前位置状态X，模型表达式如(2.1)所示，接着预测第三帧的目标 位置，得到第二次预测的匹配度和置信度最高的位置信息作为下一帧目标位置更新的指标， 最后定位实际第三帧目标区域。综上如此迭代反复就完成连续监控视频帧工人目标的定位跟 踪。deepsort预测模型的参数可设置为候选框大小为416，检测默认阈值为0.5，候选框遍 历步长为1，训练学习率为0.0001。
施工完成后，施工人员经由该洞口出去，RFID阅读器会感应并采集RFID电子标签信息， 将采集到的RFID电子标签的信息发送到管理服务器，管理服务器根据电子标签的编号，与 其所对应的人员相对应，以此记录该工人姓名、工种和出洞时间。
管理服务器以出场时间为计时起点，根据预设衔接时间进行提示操作，该预设衔接时间 可以是5分钟、10分钟、20分钟等，根据实际情况设置即可，并将提示信息发送给提示装 置。提示装置可以是设置在工地的大屏幕，也可是相关人员的通信设备，譬如手机、广播设 备等，以提示现场工人和值班人员，做好工序衔接。或者直接将信息发送给管理者，以提示 管理人员加强现场的管理。提示信息可根据时间的不同，设置不同等级管理者的提示工作， 譬如，超时10分钟，短信息发送至项目调度员；若超时20分钟，短信息发送至项目生产副 经理；若超时30分钟，短信息发送至项目经理。
重复上述流程，即可实现对下一工序及其衔接的管理直至该施工场地施工完成。
以上所描述的实施例仅仅是示意性的，若涉及到作为分离部件说明的单元，其可以是或 者也可以不是物理上分开的；若涉及到作为单元显示的部件，其可以是或者也可以不是物理 单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择 其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性 的劳动的情况下，即可以理解并实施。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发 明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的 技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使 相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可 得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发 明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种基于深度学习的工序衔接目标识别管理方法，其特征在于，包括以下步骤：
识别头盔上的电子标签以记录工人姓名、工种及对应进场时间，
获取场地施工图像，并利用ACE算法对图像进行分辨率增强处理，
基于卷积神经网络及多目标跟踪算法对进入场地的头盔进行识别定位跟踪管理，
识别电子标签信息记录工人姓名、工种及对应出场时间，
以出场时间为计时起点，根据预设衔接时间进行提示操作。
2.根据权利要求1所述的一种基于深度学习的工序衔接目标识别管理方法，其特征在于，分辨率增强处理的方法为：
f(i,j)＝mx(i,j)+G(i,j)[x(i,j)-mx(i,j)]，
其中，
(i,j)为像素坐标，G(i,j)为图像的高频部分图像分割(CG)的阈值，x(i,j)是输入人物图像图像中某点的灰度值，2n+1为窗口边长，n为整数。
3.根据权利要求1所述的一种基于深度学习的工序衔接目标识别管理方法，其特征在于，所述卷积神经网络为yolov3。
4.根据权利要求3所述的一种基于深度学习的工序衔接目标识别管理方法，其特征在于，所述卷积神经网络的配置文件共有13*13*3+26*26*3+52*52*3个下采样预测信息，每个预测信息对应8个维度，分别是4个坐标值、1个置信度分数、3个安全帽数据集的类别数。
5.根据权利要求1所述的一种基于深度学习的工序衔接目标识别管理方法，其特征在于，所述目标跟踪算法为deepsort预测模型。
6.根据权利要求5所述的一种基于深度学习的工序衔接目标识别管理方法，其特征在于，所述deepsort预测模型进行目标跟踪的方法具体为：
获取识别目标；
建立该识别目标的第一帧状态模型X，
其中，u，v，γ，h分别表示第一帧状态时刻目标的位置、纵横比、高度和在图像坐标中对应的位移信息，
分别表示下一帧预测的位置、纵横比、高度和在图像坐标中对应的位移信息；
利用卡尔曼滤波器对预测下一帧状态并更新该帧到下一帧位置状态，匹配该帧和下一帧的位置信息得到匹配结果；
持续上一步骤迭代匹配相邻时刻的状态，判别目标在图像中的位置信息。
7.根据权利要求6所述的一种基于深度学习的工序衔接目标识别管理方法，其特征在于，
卡尔曼滤波采用马氏距离信息来预测下一帧状态：
其中d(1)(i,j)表示第j个目标检测结果和第i条轨迹之间的位置匹配度，其中Si是轨迹由卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，yi是轨迹在当前时刻的预测观测量，且dj是第j个识别目标的状态为(u,v,γ,h)；
利用门限函数对位置匹配度较低的目标位置信息进行剔除，将置信度最高的目标位置作为下一帧目标位置，所述门限函数为：
其中，t(1)为目标置信度阈值。
8.一种基于深度学习的工序衔接目标识别管理系统，其特征在于，包括：
可携带式电子标签；
用于读取电子标签信息的阅读器；
采集施工现场图像信息的图像采集器；
利用ACE算法对图像进行分辨率增强并基于yolov3识别模型及多目标跟踪算法对进场人员进行定位管理跟踪、根据阅读器读取内容确定工人姓名、工种、进场时间和出场时间并根据出场时间、预设衔接时间提示下一工序衔接操作的管理服务器。
9.根据权利要求8所述的一种基于深度学习的工序衔接目标识别管理系统，其特征在于，所述管理服务器包括：
用于对图像信息进行分辨率增强处理的图像分辨率增强模块；
基于yolov3识别图像中安全帽信息的目标识别模块；
根据安全帽识别结果实现安全帽跟踪的目标跟踪模块。
10.根据权利要求8所述的一种基于深度学习的工序衔接目标识别管理系统，其特征在于，还包括用于接收管理服务器信息并实现操作提醒的提示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011599118.2A CN113255422A (zh) | 2020-12-29 | 2020-12-29 | 一种基于深度学习的工序衔接目标识别管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011599118.2A CN113255422A (zh) | 2020-12-29 | 2020-12-29 | 一种基于深度学习的工序衔接目标识别管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113255422A true CN113255422A (zh) | 2021-08-13 |
Family
ID=77180676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011599118.2A Pending CN113255422A (zh) | 2020-12-29 | 2020-12-29 | 一种基于深度学习的工序衔接目标识别管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255422A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258608A (zh) * | 2023-05-15 | 2023-06-13 | 中铁水利信息科技有限公司 | 融合gis和bim三维技术的水利实时监测信息管理系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913037A (zh) * | 2016-04-26 | 2016-08-31 | 广东技术师范学院 | 基于人脸识别与射频识别的监控跟踪系统 |
| CN106355348A (zh) * | 2016-09-19 | 2017-01-25 | 四川隧唐科技股份有限公司 | 一种基于图像识别技术的人员管理系统 |
| CN109190560A (zh) * | 2018-08-31 | 2019-01-11 | 辽宁奇辉电子系统工程有限公司 | 一种基于人脸识别技术的铁路信号楼交接班及防困睡系统 |
| CN110619324A (zh) * | 2019-11-25 | 2019-12-27 | 南京桂瑞得信息科技有限公司 | 一种行人和安全帽检测方法、装置及系统 |
-
2020
- 2020-12-29 CN CN202011599118.2A patent/CN113255422A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105913037A (zh) * | 2016-04-26 | 2016-08-31 | 广东技术师范学院 | 基于人脸识别与射频识别的监控跟踪系统 |
| CN106355348A (zh) * | 2016-09-19 | 2017-01-25 | 四川隧唐科技股份有限公司 | 一种基于图像识别技术的人员管理系统 |
| CN109190560A (zh) * | 2018-08-31 | 2019-01-11 | 辽宁奇辉电子系统工程有限公司 | 一种基于人脸识别技术的铁路信号楼交接班及防困睡系统 |
| CN110619324A (zh) * | 2019-11-25 | 2019-12-27 | 南京桂瑞得信息科技有限公司 | 一种行人和安全帽检测方法、装置及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116258608A (zh) * | 2023-05-15 | 2023-06-13 | 中铁水利信息科技有限公司 | 融合gis和bim三维技术的水利实时监测信息管理系统 |
| CN116258608B (zh) * | 2023-05-15 | 2023-08-11 | 中铁水利信息科技有限公司 | 融合gis和bim三维技术的水利实时监测信息管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3633615A1 (en) | Deep learning network and average drift-based automatic vessel tracking method and system | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| CN105160297B (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
| CN105913037A (zh) | 基于人脸识别与射频识别的监控跟踪系统 | |
| CN103986910A (zh) | 一种基于智能分析摄像机的客流统计方法和系统 | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN105678213B (zh) | 基于视频特征统计的双模式蒙面人事件自动检测方法 | |
| CN110728252B (zh) | 一种应用于区域人员运动轨迹监控的人脸检测方法 | |
| CN108710827B (zh) | 一种社区微警务巡查和信息自动分析系统及方法 | |
| CN111310592B (zh) | 一种基于场景分析和深度学习的检测方法 | |
| CN104200466A (zh) | 一种预警方法及摄像机 | |
| CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
| CN102254394A (zh) | 一种基于视频差异分析的输电线路杆塔防盗监控方法 | |
| CN115311241B (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| CN111510675A (zh) | 一种基于人脸识别和大数据分析的智慧安防系统 | |
| CN111353338A (zh) | 一种基于营业厅视频监控的能效改进方法 | |
| CN115410114A (zh) | 一种基于多特征的城轨防汛预警方法及系统 | |
| KR20210133827A (ko) | 딥러닝 모델을 학습시키기 위한 장치 및 그 방법 | |
| CN116798176A (zh) | 基于大数据和智慧安防的数据管理系统 | |
| CN115294519A (zh) | 一种基于轻量化网络的异常事件检测及预警方法 | |
| CN111489380A (zh) | 一种目标物体轨迹分析方法 | |
| CN105095891A (zh) | 一种人脸捕捉的方法，装置及系统 | |
| CN113255422A (zh) | 一种基于深度学习的工序衔接目标识别管理方法及系统 | |
| CN113963373A (zh) | 一种基于视频图像动态检测与跟踪算法系统及方法 | |
| CN117294818A (zh) | 一种用于机场施工的工地全景监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210813 |
|
| RJ01 | Rejection of invention patent application after publication |