CN112487976B - 基于图像识别的监测方法、装置和存储介质 - Google Patents

基于图像识别的监测方法、装置和存储介质 Download PDF

Info

Publication number
CN112487976B
CN112487976B CN202011373574.5A CN202011373574A CN112487976B CN 112487976 B CN112487976 B CN 112487976B CN 202011373574 A CN202011373574 A CN 202011373574A CN 112487976 B CN112487976 B CN 112487976B
Authority
CN
China
Prior art keywords
image
target
decoding
safety
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011373574.5A
Other languages
English (en)
Other versions
CN112487976A (zh
Inventor
段勃
李浩澜
杨东鑫
张春明
张杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences
Original Assignee
Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences filed Critical Western Institute Of Advanced Technology Institute Of Computing Chinese Academy Of Sciences
Priority to CN202011373574.5A priority Critical patent/CN112487976B/zh
Publication of CN112487976A publication Critical patent/CN112487976A/zh
Application granted granted Critical
Publication of CN112487976B publication Critical patent/CN112487976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/12Computing arrangements based on biological models using genetic models
    • G06N3/126Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种基于图像识别的监测方法、装置和存储介质,所述方法包括:获取视频图像数据;对所述视频图像数据进行解码,得到解码图像集;对所述解码图像集进行预处理,获取到目标图像集;将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;将所有目标识别结果进行数据分析,得到监测结果;因此,本发明解决了现有技术对吊篮作业的监测方法出现的监控难度大和监控成本高的问题,提高了安全监测的精度和时效性,满足了对吊篮作业安全的监测的需求。

Description

基于图像识别的监测方法、装置和存储介质
技术领域
本发明涉及图像识别技术领域,具体涉及基于图像识别的监测方法、装置和存储介质。
背景技术
吊篮是一种能够替代传统脚手架、可减轻劳动强度、提高工作效率和能够重复使用的新型高处作业设备,广泛应用在高层建筑的外墙施工、幕墙安装、保温施工和维修清洗等作业领域;然而吊篮作业属于建筑行业的高危工种,安全性及可靠性相对较差,且作业管理比较混乱,目前常采用传统的视频采集技术进行现场图像记录,然后借助人力对图像的监督来解决吊篮作业的安全问题,从而出现监控难度大、成本高的问题。
可见,现有技术对吊篮作业的安全监测方法不仅出现监控难度大和监控成本高的问题,还会因为人工监控不到位出现安全隐患,不能满足对吊篮作业安全的监控需求。
发明内容
针对现有技术中所存在的不足,本发明提供的基于图像识别的监测方法、装置和存储介质,其解决了现有技术对吊篮作业的安全监测方法出现的监控难度大和监控成本高的问题,提高了安全监测的精度和时效性,满足了对吊篮作业安全的自动监测的需求。
第一方面,本发明提供一种基于图像识别的监测方法,所述方法包括:获取视频图像数据;对所述视频图像数据进行解码,得到解码图像集;对所述解码图像集进行预处理,获取到目标图像集;将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;将所有目标识别结果进行数据分析,得到监测结果。
可选地,获取视频图像数据之前,所述方法还包括:获取样本数据集;对所述样本数据集进行数据标注,得到标注数据集;对所述标注数据集进行数据增强,得到训练数据集;将所述训练数据集输入人工智能方法进行迭代训练,得到所述目标检测模型。
可选地,对所述视频图像数据进行解码,得到解码图像集,包括:主线程将所视频图像数据中的每帧图像分配到多个解码子线程进行解码;所述多个解码子线程将解码后的解码图像存放在缓存队列;其中,所述缓存队列中的所有解码图像作为所述解码图像集。
可选地,对所述解码图像集进行预处理,获取到目标图像集,包括:按照预设标准尺寸,对所述解码图像集中每个图像的尺寸进行修改,得到标准图像集;对所述标准图像集进行滤波,得到所述目标图像集。
可选地,所述每个目标图像的目标识别结果,包括:多个作业类别和多个位置信息,所述多个位置信息与所述多个作业类别相对应。
可选地,在将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果之后,所述方法还包括:根据所述多个位置信息,生成多个位置边框;将所述多个作业类别、所述多个位置边框与所述视频图像数据进行组合,得到标注视频图像。
可选地,当所述多个作业类别包括未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规时,将所有目标识别结果进行数据分析,得到监测结果,包括:对所述所有目标识别结果进行分类汇总,获取到每个作业类别的数量;判断所述佩戴安全帽的数量是否小于第一阈值;当所述佩戴安全帽的数量大于或等于所述第一阈值时,判断所述佩戴安全带的数量是否小于第二阈值;当所述佩戴安全带的数量大于或等于所述第二阈值时,判断所述已系安全卡扣的数量是否小于第三阈值;当所述已系安全卡扣的数量大于或等于所述第三阈值时,判断所述安全卡扣的位置是否存在违规;当所述安全卡扣的位置不存在违规时,所述监测结果为正常作业状态。
可选地,判断所述安全卡扣的位置是否存在违规,包括:获取所述安全卡扣和目标参考位置在所述目标图像中的第一像素信息和第二像素信息;根据所述第一像素信息和所述第二像素信息,得到所述安全卡扣到所述目标参考位置的参考距离;根据所述安全卡扣的所述第一像素信息,得到所述安全卡扣在所述目标图像中的参考尺寸;根据所述安全卡扣的参考尺寸和实际尺寸的比值,得到缩放比例;根据所述参考距离和所述缩放比例,得到所述安全卡扣到所述目标参考位置的实际距离;将所述实际距离与预设距离进行比较,判断所述安全卡扣的位置是否存在违规。
第二方面,本发明提供一种基于图像识别的监测装置,所述装置包括:视频图像获取模块,用于获取视频图像数据;解码模块,用于对所述视频图像数据进行解码,得到解码图像集;图像预处理模块,用于对所述解码图像集进行预处理,获取到目标图像集;图像识别模块,用于将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;数据分析模块,用于将所有目标识别结果进行数据分析,得到监测结果。
第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取视频图像数据;对所述视频图像数据进行解码,得到解码图像集;对所述解码图像集进行预处理,获取到目标图像集;将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;将所有目标识别结果进行数据分析,得到监测结果。
相比于现有技术,本发明具有如下有益效果:
1、本发明通过对吊篮作业的监控区域进行图像采集、图像识别和数据分析,自动获取到作业人员的作业状况,不仅监测精度高,还解决了现有技术监控难度大和监控成本高的问题。
2、本发明通过采用多线程对视频图像进行解码,减少或避免了图像识别过程的等待时间,提高了图像处理的效率,提高了安全监测的时效性,满足了对吊篮作业安全的实时监测的需求,及时有效的避免的安全事故的发生。
附图说明
图1所示为本发明实施例提供的一种基于图像识别的监测方法的流程示意图;
图2所示为本发明实施例提供的另一种基于图像识别的监测方法的流程示意图;
图3所示为本发明实施例提供的又一种基于图像识别的监测方法的流程示意图;
图4所示为本发明实施例提供的一种基于图像识别的监测装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1所示为本发明实施例提供的一种基于图像识别的监测方法的流程示意图;如图1所示,所述基于图像识别的监测方法具体包括以下步骤:
步骤S101,获取视频图像数据。
在本实施例中,所述获取的视频图像数据可以是当前时间段的实时视频图像数据,也可以是历史视频图像数据;为了实现对视频图像实时监测的要求,根据实际情况可以每个时间段的时长定义为1秒、200毫秒、300毫秒等,将在当前时长内获取到目标监控区域内的所有图像数据组合成所述视频图像数据。
在实际应用中,图像采集装置是固定在吊篮的目标监控点,在所述目标监控点可以以最大视野范围采集吊篮作业区域的视频图像数据,因此将在目标监控点所监控的作业区域作为目标监控区域。
步骤S102,对所述视频图像数据进行解码,得到解码图像集。
具体地,在本实施可以通过单线程对视频图像数据进行解码,为了提高解码效率本实施还可以采用多线程同时对视频图像数据进行解码;图像采集装置将采集到的作业视频图像经过压缩、编码等处理得到所述视频图像数据,再将所述视频图像数据传输到服务器的核心处理器中,所述核心处理器将接收到的所述视频图像数据中的每个图像进行多线程解码,得到多个解码图像。
进一步地,对所述视频图像数据进行解码,得到解码图像集,包括:主线程将所视频图像数据中的每帧图像分配到多个解码子线程进行解码;所述多个解码子线程将解码后的解码图像存放在缓存队列;其中,所述缓存队列中的所有解码图像作为所述解码图像集。
需要说明的是,为了提高视频图像处理效率,在本实施例中通过核心处理器实现对视频图像的解码,通过显卡对视频图像进行图像识别,然后在通过核心处理器对图像识别结果进行分析计算,得到安全监测结果;因此核心处理器将视频图像进行一一解码后需要发送到显卡再进行图像识别,那么解码效率会影响图像识别的效率。
为了减少或避免显卡获取解码图像的等待时间,核心处理器采用多个线程实现对视频图像的同步解码,所述主线程为控制线程,用于接收控制指令、图像识别结果和安全分析结果等数据,还用于发送控制指令到多个解码线程,使所述多个解码线程根据所述控制指令从相应的视频源地址获取编码图像,再对所述编码图像进行解码,并将解码后的图像依次存储在缓存队列中,使显卡从缓存队列中获取已经解码后的图像。
步骤S103,对所述解码图像集进行预处理,获取到目标图像集。
具体地,对所述解码图像集进行预处理,获取到目标图像集,包括:按照预设标准尺寸,对所述解码图像集中每个图像的尺寸进行修改,得到标准图像集;对所述标准图像集进行滤波,得到所述目标图像集。
需要说明的是,图像在进行目标检测模型识别之前,需要进行预处理步骤,解码图像需要修改到模型固定输入大小,在本实施例可选为608*608,或者416*416,图像越大模型捕获的特征越多,识别效果则会越好;修改尺寸过后的图像会经过高斯滤波进行模糊处理,主要是减少背景中远处小目标带来的随机噪声;通过高斯滤波公式算出高斯核参数后,再对图像进行全局滤波。
在本实施中采用的高斯滤波公式为:
步骤S104,将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果。
需要说明的是,所述每个目标图像的目标识别结果,包括:多个作业类别和多个位置信息,所述多个位置信息与所述多个作业类别相对应所述多个作业类别包括未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规。
所述目标检测模型是通过样本数据集进行训练、验证和测试过后的模型,将目标图像集中的每个目标图像输入到所述目标检测模型进行多层卷积、池化和激活,得到每个目标图像的目标识别结果,也就是每个目标图像中是否存在未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规中的一个或者多个作业类别。
步骤S105,将所有目标识别结果进行数据分析,得到监测结果。
需要说明的是,将当前时间段内所有目标图像的目标识别结果进行综合分析后,即可得到监测结果,所述监测结果包括但不限于人员处于安全状态、未佩戴安全帽、未佩戴安全带、未系安全卡扣和安全卡扣位置违规等;并且根据所述安全检测结果可以及时提醒现场作业人员和远程管理人员,降低安全风险,及时避免安全事故的发生。
相比于现有技术,本发明具有如下有益效果:
1、本发明通过对吊篮作业的监控区域进行图像采集、图像识别和数据分析,自动获取到作业人员的作业状况,不仅监测精度高,还解决了现有技术监控难度大和监控成本高的问题。
2、本发明通过采用多线程对视频图像进行解码,减少或避免了图像识别过程的等待时间,提高了图像处理的效率,提高了安全监测的时效性,满足了对吊篮作业安全的实时监测的需求,及时有效的避免的安全事故的发生。
图2所示为本发明实施例提供的另一种基于图像识别的监测方法的流程示意图;如图2所示,在获取视频图像数据之前,本发明所提供的方法还包括以下步骤:
步骤S201,获取样本数据集;
步骤S202,对所述样本数据集进行数据标注,得到标注数据集;
步骤S203,对所述标注数据集进行数据增强,得到训练数据集;
步骤S204,将所述训练数据集输入人工智能方法进行迭代训练,得到所述目标检测模型。
在实际应用中,按照吊篮真实场景,将作业类别划分为:未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规划,因此分别采集上述作业类别下所有类别下的视频图像,将所述视频图像中的图像数据作为样本数据集;再根据所述作业类别对所述样本数据集进行数据标注和数据增强后,得到增强数据集,将所述增强数据集按照8:1:1的比例划分为训练数据集、验证数据集和测试数据集。
进一步地,将所述训练数据集输入到人工智能方法进行迭代训练,得到训练检测模型,然后根据所述验证数据集和测试数据集对所述训练检测模型进行验证和测试后得到所述目标检测模型;其中,所述人工智能方法包括但不限于卷积神经网络、循环神经网络、深度神经网络、决策树、基于规则的专家系统、遗传算法、回归算法、贝叶斯算法和具有与上述方法类似功能的其他方法。
在本实施例中,通过采集摄像头仰视、俯视角度,不同光照、背景、半遮挡图像实现对样本数据集的扩充,还通过在模型训练阶段均加入了图像几何畸变、光照畸变、随机角度倾斜、图层混合、模糊、马赛克、随机遮挡等增强方法,来保证模型泛化能力更强。
本发明通过对场景的定制化分类可有效保证误识别率下降,通过数据集扩充保障模型泛化能力,提高更多复杂场景下的认知能力,还通过马赛克增强保障小目标的检测能力。
图3所示为本发明实施例提供的又一种基于图像识别的监测方法的流程示意图;如图3所示,本发明在获取到一批次图像检测结果(目标检测类别、边框位置信息),以此来判断这个计算周期内人员是否处于安全状态,假设一批次检测到安全帽目标数量小于阈值(一批图像数量x误检率),则判定出人员未佩戴安全帽。再次判断一批次图像检测到安全带数量是否小于阈值(一批图像数量x误检率),判定出人员是否穿戴安全带。最后,判断卡扣需要先判定卡扣位置是否处在安全绳合法位置,一旦违规输出检测结果。其中关于卡扣的位置处于背景不变的网络摄像头中,视觉算法的输入图像视野不会随吊篮升降变化。
在本发明的另一个实施例中,将所有目标识别结果进行数据分析,得到监测结果,包括:对所述所有目标识别结果进行分类汇总,获取到每个作业类别的数量;判断所述佩戴安全帽的数量是否小于第一阈值;当所述佩戴安全帽的数量大于或等于所述第一阈值时,判断所述佩戴安全带的数量是否小于第二阈值;当所述佩戴安全带的数量大于或等于所述第二阈值时,判断所述已系安全卡扣的数量是否小于第三阈值;当所述已系安全卡扣的数量大于或等于所述第三阈值时,判断所述安全卡扣的位置是否存在违规;当所述安全卡扣的位置不存在违规时,所述监测结果为正常作业状态。
需要说明的是,所述第一阈值、所述第二阈值、所述第三阈值是根据目标监控区域的作业人员来设置的,当只有一个作业人员时,所述第一阈值、第二阈值和所述第三阈值理论上都为1,但是由于目标检测模型和人员安全分析算法会有相应的计算误差,所以上述阈值根据实际情况和计算误差进行综合计算而设定。
其中,当所述安全帽的数量小于所述第一阈值时,所述当前时间段的安全检测结果为未佩戴安全帽;当所述安全带的数量小于所述第二阈值时,所述当前时间段的安全检测结果为未佩戴安全带;当所述卡扣的数量小于所述第三阈值时,所述当前时间段的安全检测结果为未系安全卡扣;当所述安全卡扣的位置存在违规时,所述当前时间段的安全检测结果为卡扣位置违规。
在本发明的另一个实施例中,判断所述安全卡扣的位置是否存在违规,包括:获取所述安全卡扣和目标参考位置在所述目标图像中的第一像素信息和第二像素信息;根据所述第一像素信息和所述第二像素信息,得到所述安全卡扣到所述目标参考位置的参考距离;根据所述安全卡扣的所述第一像素信息,得到所述安全卡扣在所述目标图像中的参考尺寸;根据所述安全卡扣的参考尺寸和实际尺寸的比值,得到缩放比例;根据所述参考距离和所述缩放比例,得到所述安全卡扣到所述目标参考位置的实际距离;将所述实际距离与预设距离进行比较,判断所述安全卡扣的位置是否存在违规。
需要说明的是,为了进一步保证吊篮作业人员的安全,需要将安全卡扣设置在预设位置,所述预设位置到吊篮底部的距离为预设距离,比如2米或者2.5米,上述目标参数位置为吊篮底部的位置,因此通过上述测量安全卡扣到目标参考位置的距离来检测安全卡扣的位置是否存在违规操作。
在本发明的另一个实施例中,在将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果之后,所述方法还包括:根据所述多个位置信息,生成多个位置边框;将所述多个作业类别、所述多个位置边框与所述视频图像数据进行组合,得到标注视频图像。
需要说明的是,目标检测模型对视频图像数据进行目标检测后,将检测结果中的位置信息生成位置边框对视频图像中的相应目标进行跟踪标记,得到当前时间段的标注视频图像,使远程管理人员更加清楚的对现场作业进行监控管理。
图4所示为本发明实施例提供的一种基于图像识别的监测装置的结构示意图,如图4所示,本发明提供的基于图像识别的监测装置具体包括:
视频图像获取模块410,用于获取视频图像数据;
解码模块420,用于对所述视频图像数据进行解码,得到解码图像集;
图像预处理模块430,用于对所述解码图像集进行预处理,获取到目标图像集;
图像识别模块440,用于将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;
数据分析模块450,用于将所有目标识别结果进行数据分析,得到监测结果。
在本发明中,采用CSPDarkNet53作为新的神经网络模型。首先,融合CSPNet到DarkNet53主要为了解决深度卷积神经网络框架骨干网络中梯度信息重复问题,将梯度的变化全部放到特征图中,减少了模型的参数,兼顾速度与精度,对应了发明内容提到的快而准的特点。其次,CSPNet在DenseNet的思想基础之上,将dense block复制到下一个阶段,从而将基础层的特征映射图提取出来,从而有效缓解梯度消失、支持信息传播、复用网络特征信息。
本发明还采用更准确的Mish激活函数代替LeakyReLU方法进行训练,负值区间时,并没有完全截断,保证了较小梯度流入的可能性,使得卷积后的激活操作更加准确,从而使得模型收敛更加迅速,其中Mish激活函数表达式为Mish=x*tanh(ln(1+e^x))。
在本发明的另一个实施例中,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取视频图像数据;对所述视频图像数据进行解码,得到解码图像集;对所述解码图像集进行预处理,获取到目标图像集;将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;将所有目标识别结果进行数据分析,得到监测结果。
在本发明的又一个实施例中,对所述视频图像数据进行解码,得到解码图像集还包括:
所述主线程获取任务队列中的解码任务数量和当前中央处理器的最大线程数,所述任务队列中存放多个解码任务,每个解码任务对应一路视频图像;
所述主线程根据所述任务数量和所述最大线程数,创建多个解码子线程;
所述多个解码子线程接收所述主线程发送的解码指令,并根据所述解码指令同时对每个解码任务中的每帧图像进行解码,得到每帧解码图像;
所述多个解码子线程将所述每帧解码图像依次存放到解码队列;
所述主线程实时获取所述解码队列中与每个解码任务相匹配的解码图像数量值;
判断所述解码图像数量值是否等于第一预设值;
当所述解码图像数量值等于所述第一预设值时,将所述解码图像数量值所对应的解码图像作为所述解码图像集。
需要说明的是,本发明实施例可以应用在对吊篮作业的安全监测领域,在每个吊篮上安装有视频监控装置,同时对多个吊篮上采集的视频图像进行处理和识别,判断是否存在人员作业安全的问题。因此一路视频图像对应一个解码任务,当存在多个视频图像时对应多个解码任务,每个解码任务都有唯一的身份标识,所有的解码任务存放在任务队列中。
中央处理器的主线程根据任务队列中的解码任务数量和当前中央处理器的最大线程数来建立适当数量的解码子线程,例如当解码任务数量为8时,当前最大线程数为16,因此建立的解码子线程数量为8;其中,当解码任务数量大于当前可建立的最大解码子线程数量时,可以增加中央处理器,采用分布式加多线程的方式进行解码子线程的建立和任务的分配,处理过程同本实施例的方式相同,此处就不再赘述。
所述主线程为每个解码子线程分配相应的解码任务后,将表示每个解码任务身份的身份标识生成解码指令发送到每个解码子线程中,使每个解码子线程根据解码指令中的身份标识获取相应解码任务中的视频图像,并对每帧视频图像进行解码处理,将解码完成每帧解码图像依次存放在解码队列中,其中每个解码子线程对视频图像进行解码时还增加时间戳到每帧解码图像中,因此表示每帧解码图像图像的身份ID由解码任务的身份标识+时间戳组成,只要解码子线程解码完成后即可将包含时间戳的解码图像存放在解码队列中,因此解码队列中的解码图像是无序和先入先出的存放规则。
进一步地,所述主线程实时获取所述解码队列中与每个解码任务相对应的解码图像的数量值,当存在所述数量值达到第一预设值时将所述解码任务所述对应的所有解码图像作为目标解码图像集;举例说明,当所述第一预设值等于8时,所述主线程实时判断所述解码队列中来自同一个解码任务的解码图像是否有等于8帧图像,当有存在8帧解码图像时将所述8帧解码图像全部取出作为解码图像集;当还未到达8帧解码图像时的解码任务,还需继续等待相应解码子线程进行解码;当然,可以根据图形处理器的实际处理能力修改所述第一预设值。
在本发明的又一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现实现以下步骤:获取视频图像数据;对所述视频图像数据进行解码,得到解码图像集;对所述解码图像集进行预处理,获取到目标图像集;将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;将所有目标识别结果进行数据分析,得到监测结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于图像识别的监测方法,其特征在于,所述方法包括:
获取视频图像数据;
对所述视频图像数据进行解码,得到解码图像集;
对所述解码图像集进行预处理,获取到目标图像集;
将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;
将所有目标识别结果进行数据分析,得到监测结果;
对所述视频图像数据进行解码,得到解码图像集包括:主线程获取任务队列中的解码任务数量和当前中央处理器的最大线程数,所述任务队列中存放多个解码任务,每个解码任务对应一路视频图像;所述主线程根据所述任务数量和所述最大线程数,创建多个解码子线程;所述主线程为每个解码子线程分配相应的解码任务后,将表示每个解码任务身份的身份标识生成解码指令发送到每个解码子线程中,使每个解码子线程根据解码指令中的身份标识获取相应解码任务中的视频图像,并对每帧视频图像进行解码处理得到每帧解码图像;所述多个解码子线程将所述每帧解码图像依次存放到解码队列;所述主线程实时获取所述解码队列中与每个解码任务相匹配的解码图像数量值;判断所述解码图像数量值是否等于第一预设值;当所述解码图像数量值等于所述第一预设值时,将所述解码图像数量值所对应的解码图像作为所述解码图像集。
2.如权利要求1所述的基于图像识别的监测方法,其特征在于,获取视频图像数据之前,所述方法还包括:
获取样本数据集;
对所述样本数据集进行数据标注,得到标注数据集;
对所述标注数据集进行数据增强,得到训练数据集;
将所述训练数据集输入人工智能方法进行迭代训练,得到所述目标检测模型。
3.如权利要求1所述的基于图像识别的监测方法,其特征在于,对所述视频图像数据进行解码,得到解码图像集,包括:
主线程将所视频图像数据中的每帧图像分配到多个解码子线程进行解码;
所述多个解码子线程将解码后的解码图像存放在缓存队列;
其中,所述缓存队列中的所有解码图像作为所述解码图像集。
4.如权利要求1所述的基于图像识别的监测方法,其特征在于,对所述解码图像集进行预处理,获取到目标图像集,包括:
按照预设标准尺寸,对所述解码图像集中每个图像的尺寸进行修改,得到标准图像集;
对所述标准图像集进行滤波,得到所述目标图像集。
5.如权利要求1所述的基于图像识别的监测方法,其特征在于,所述每个目标图像的目标识别结果,包括:
多个作业类别和多个位置信息,所述多个位置信息与所述多个作业类别相对应。
6.如权利要求5所述的基于图像识别的监测方法,其特征在于,在将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果之后,所述方法还包括:
根据所述多个位置信息,生成多个位置边框;
将所述多个作业类别、所述多个位置边框与所述视频图像数据进行组合,得到标注视频图像。
7.如权利要求5所述的基于图像识别的监测方法,其特征在于,当所述多个作业类别包括未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规时,将所有目标识别结果进行数据分析得到监测结果,包括:
对所述所有目标识别结果进行分类汇总,获取到每个作业类别的数量;
判断所述佩戴安全帽的数量是否小于第一阈值;
当所述佩戴安全帽的数量大于或等于所述第一阈值时,判断所述佩戴安全带的数量是否小于第二阈值;
当所述佩戴安全带的数量大于或等于所述第二阈值时,判断所述已系安全卡扣的数量是否小于第三阈值;
当所述已系安全卡扣的数量大于或等于所述第三阈值时,判断所述安全卡扣的位置是否存在违规;
当所述安全卡扣的位置不存在违规时,所述监测结果为正常作业状态。
8.如权利要求7所述的基于图像识别的监测方法,其特征在于,判断所述安全卡扣的位置是否存在违规,包括:
获取所述安全卡扣和目标参考位置在所述目标图像中的第一像素信息和第二像素信息;
根据所述第一像素信息和所述第二像素信息,得到所述安全卡扣到所述目标参考位置的参考距离;
根据所述安全卡扣的所述第一像素信息,得到所述安全卡扣在所述目标图像中的参考尺寸;
根据所述安全卡扣的参考尺寸和实际尺寸的比值,得到缩放比例;
根据所述参考距离和所述缩放比例,得到所述安全卡扣到所述目标参考位置的实际距离;
将所述实际距离与预设距离进行比较,判断所述安全卡扣的位置是否存在违规。
9.一种实现权利要求1所述的基于图像识别的监测方法的监测装置,其特征在于,所述装置包括:
视频图像获取模块,用于获取视频图像数据;
解码模块,用于对所述视频图像数据进行解码,得到解码图像集;
图像预处理模块,用于对所述解码图像集进行预处理,获取到目标图像集;
图像识别模块,用于将所述目标图像集输入到目标检测模型进行图像识别,得到每个目标图像的目标识别结果;
数据分析模块,用于将所有目标识别结果进行数据分析,得到监测结果。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项方法的步骤。
CN202011373574.5A 2020-11-30 2020-11-30 基于图像识别的监测方法、装置和存储介质 Active CN112487976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011373574.5A CN112487976B (zh) 2020-11-30 2020-11-30 基于图像识别的监测方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011373574.5A CN112487976B (zh) 2020-11-30 2020-11-30 基于图像识别的监测方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN112487976A CN112487976A (zh) 2021-03-12
CN112487976B true CN112487976B (zh) 2023-10-24

Family

ID=74937354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011373574.5A Active CN112487976B (zh) 2020-11-30 2020-11-30 基于图像识别的监测方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN112487976B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114355877B (zh) * 2021-11-25 2023-11-03 烟台杰瑞石油服务集团股份有限公司 一种多机器人作业区域的分配方法和装置
CN113989625A (zh) * 2021-12-13 2022-01-28 上海华谊信息技术有限公司 基于边缘计算的图像识别方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
CN101753572A (zh) * 2009-12-23 2010-06-23 西北工业大学 基于抗黑名单机制的BitTorrent文件污染方法
CN105100803A (zh) * 2014-04-29 2015-11-25 三星电子(中国)研发中心 视频解码优化方法
CN106095536A (zh) * 2016-06-22 2016-11-09 福建联迪商用设备有限公司 基于多核mpu的多线程解码方法及系统
CN107391090A (zh) * 2017-07-28 2017-11-24 成都优博创通信技术股份有限公司 多线程执行方法及装置
CN108551582A (zh) * 2018-03-19 2018-09-18 上海交通大学 一种图像、视频数据的身份标识方法与系统
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN111178212A (zh) * 2019-12-23 2020-05-19 深圳供电局有限公司 图像识别方法、装置、计算机设备和存储介质
CN111462226A (zh) * 2020-01-19 2020-07-28 杭州海康威视系统技术有限公司 一种定位方法、系统、装置、电子设备及存储介质
CN111476117A (zh) * 2020-03-25 2020-07-31 中建科技有限公司深圳分公司 一种安全帽佩戴检测方法、装置和终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
CN101753572A (zh) * 2009-12-23 2010-06-23 西北工业大学 基于抗黑名单机制的BitTorrent文件污染方法
CN105100803A (zh) * 2014-04-29 2015-11-25 三星电子(中国)研发中心 视频解码优化方法
CN106095536A (zh) * 2016-06-22 2016-11-09 福建联迪商用设备有限公司 基于多核mpu的多线程解码方法及系统
CN107391090A (zh) * 2017-07-28 2017-11-24 成都优博创通信技术股份有限公司 多线程执行方法及装置
CN108551582A (zh) * 2018-03-19 2018-09-18 上海交通大学 一种图像、视频数据的身份标识方法与系统
CN110852283A (zh) * 2019-11-14 2020-02-28 南京工程学院 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法
CN111178212A (zh) * 2019-12-23 2020-05-19 深圳供电局有限公司 图像识别方法、装置、计算机设备和存储介质
CN111462226A (zh) * 2020-01-19 2020-07-28 杭州海康威视系统技术有限公司 一种定位方法、系统、装置、电子设备及存储介质
CN111476117A (zh) * 2020-03-25 2020-07-31 中建科技有限公司深圳分公司 一种安全帽佩戴检测方法、装置和终端

Also Published As

Publication number Publication date
CN112487976A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112488906B (zh) 基于多线程的图像处理方法、计算机设备和存储介质
CN106412501B (zh) 一种视频的施工安全行为智能监控系统及其监控方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN112487976B (zh) 基于图像识别的监测方法、装置和存储介质
CN111783744A (zh) 一种操作现场安全防护检测方法及装置
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN110738178A (zh) 园区施工安全检测方法、装置、计算机设备及存储介质
CN111223263A (zh) 一种全自动综合型火灾预警响应系统
CN111259763B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN111325133B (zh) 一种基于人工智能识别的影像处理系统
CN108171162A (zh) 人群拥挤度检测方法、装置及系统
Lee et al. Real-time fire detection using camera sequence image in tunnel environment
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
KR20210122765A (ko) 드론 및 스마트글라스를 이용한 시설물 점검 시스템
CN115620192A (zh) 一种高空作业安全绳穿戴检测的方法和装置
CN114579791A (zh) 一种基于作业票的施工安全违章识别方法及系统
CN116580357A (zh) 工人安全头盔实时检测方法、系统、设备及存储介质
WO2015145438A1 (en) System and method for identifying fraud attempt of an entrance control system
CN108460357B (zh) 一种基于图像识别的开窗报警检测系统及方法
Skladchykov et al. Application of YOLOX deep learning model for automated object detection on thermograms
CN117172970A (zh) 一种智慧物业管理平台
CN116863288A (zh) 基于深度学习的目标检测和报警方法、装置及设备
CN115953405A (zh) 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN115829324A (zh) 一种人员安全风险静默监视方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant