CN111062303A - 图像处理方法、系统及计算机存储介质 - Google Patents

图像处理方法、系统及计算机存储介质 Download PDF

Info

Publication number
CN111062303A
CN111062303A CN201911274426.5A CN201911274426A CN111062303A CN 111062303 A CN111062303 A CN 111062303A CN 201911274426 A CN201911274426 A CN 201911274426A CN 111062303 A CN111062303 A CN 111062303A
Authority
CN
China
Prior art keywords
neural network
network model
image
convolutional neural
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911274426.5A
Other languages
English (en)
Inventor
唐健
祝严刚
陶昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN201911274426.5A priority Critical patent/CN111062303A/zh
Publication of CN111062303A publication Critical patent/CN111062303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本申请实施例公开了一种图像处理方法、系统及计算机存储介质,用于检测施工现场的人员是否佩戴安全帽。本申请实施例方法包括:获取待检测图像,获取预先训练好的卷积神经网络模型,向卷积神经网络模型输入所述待检测图像,得到卷积神经网络模型输出的待识别特征;对待识别特征进行评分,得到待识别特征的评价分数;判断待识别特征的评价分数是否在预设的分数范围内,若是,则确定施工现场的人员有佩戴安全帽,若否,则确定施工现场中有人员没有佩戴安全帽。本申请实施例运用卷积神经网络模型对人员是否佩戴安全帽进行检测,取代了传统的人为检查监控视频的方法,无需人为监控施工现场。

Description

图像处理方法、系统及计算机存储介质
技术领域
本申请实施例涉及图像处理领域,具体涉及一种图像处理方法、系统及计算机存储介质。
背景技术
随着安防监控摄像头的普及,各种不同场景下的识别需求也应运而生,尤其是针对人员安全方面的识别需求。对于建筑工程的施工场地以及其他特定场合而言,施工现场要求相关工作人员及外来访客必须佩戴安全帽,监管人员通过监控视频对施工现场进行24小时的实时监控,如果有人员进入施工现场且没有佩戴安全帽,则及时提醒或者发出报警信号。
但是,监管人员通过监控视频对施工现场内的人员是否佩戴安全帽进行检查,难免会由于人为的疏忽而出现漏检的情况,同时,施工场地环境复杂,监管人员难以同时兼顾多处施工场地,导致漏检情况的发生。
发明内容
本申请实施例提供了一种图像处理方法、系统及计算机存储介质,用于检测施工现场的人员是否佩戴安全帽。
本申请实施例第一方面提供了一种图像处理方法,包括:
获取待检测图像,所述待检测图像为施工现场的图像;
获取预先训练好的卷积神经网络模型;
向所述卷积神经网络模型输入所述待检测图像,以得到所述卷积神经网络模型对所述待检测图像进行特征提取之后输出的待识别特征;
对所述待识别特征进行评分,得到所述待识别特征的评价分数;
判断所述待识别特征的评价分数是否在预设的分数范围内,所述分数范围为人员佩戴安全帽图案特征对应的评价分数的范围;
若是,则确定所述施工现场的人员有佩戴安全帽;
若否,则确定所述施工现场中有人员没有佩戴安全帽。
优选的,所述卷积神经网络模型的训练过程,包括:
获取训练样本图像,所述训练样本图像包括具有人员佩戴安全帽图案的图像;
获取待训练的卷积神经网络模型;
向所述卷积神经网络模型输入所述训练样本图像,以使所述卷积神经网络模型中的卷积层输出特征,并由分类卷积层对所述特征进行分类处理,得到包含所述人员佩戴安全帽图案的目标特征以及多个不含所述人员佩戴安全帽图案的背景特征;
使用损失函数对所述目标特征以及多个所述背景特征进行计算,以训练卷积神经网络模型。
优选的,所述得到包含所述人员佩戴安全帽图案的目标特征以及多个不含所述人员佩戴安全帽图案的背景特征之后,还使所述卷积神经网络模型执行下述步骤:
将所述目标特征中由深层卷积层输出的目标特征与由浅层卷积层输出的目标特征进行特征融合,得到融合目标特征;
将所述背景特征中由深层卷积层输出的背景特征与由浅层卷积层输出的背景特征进行特征融合,得到融合背景特征;
所述使用损失函数对所述目标特征以及多个所述背景特征进行计算,包括:
使用损失函数对所述融合目标特征、所述融合背景特征以及其他卷积层输出的目标特征和多个背景特征进行计算,其中所述其他卷积层为所述卷积层中除了所述深层卷积层和所述浅层卷积层之外的卷积层。
优选的,所述卷积神经网络模型的每一个卷积层之后还具有批归一化层;
所述卷积神经网络模型中的卷积层输出特征之后,还使所述卷积神经网络模型执行下述步骤:
使用所述批归一化层对所述特征进行批归一化处理。
优选的,所述训练样本图像为经过预处理后的样本图像,其中所述预处理包括数据增强和/或数据清洗;
所述向所述卷积神经网络模型输入所述训练样本图像,包括:
向所述卷积神经网络模型输入所述经过预处理后的样本图像。
优选的,所述获取待训练的卷积神经网络模型,包括:
建立视觉几何组VGG网络;
在所述VGG网络的基础上,增加一个或多个卷积层,得到所述卷积神经网络模型。
本申请实施例第二方面提供了一种图像处理系统,包括:
第一获取单元,用于获取待检测图像,所述待检测图像为施工现场的图像;
第二获取单元,用于获取预先训练好的卷积神经网络模型;
传输单元,用于向所述卷积神经网络模型输入所述待检测图像,以得到所述卷积神经网络模型对所述待检测图像进行特征提取之后输出的待识别特征;
评分单元,用于对所述待识别特征进行评分,得到所述待识别特征的评价分数;
判断单元,用于判断所述待识别特征的评价分数是否在预设的分数范围内,所述分数范围为人员佩戴安全帽图案特征对应的评价分数的范围;
第一确定单元,用于当所述待识别特征的评价分数在所述分数范围内时,确定所述施工现场的人员有佩戴安全帽;
第二确定单元,用于当所述待识别特征的评价分数不在所述分数范围内时,确定所述施工现场中有人员没有佩戴安全帽。
优选的,所述第一获取单元还用于获取训练样本图像,所述训练样本图像包括具有人员佩戴安全帽图案的图像;
所述第二获取单元还用于获取待训练的卷积神经网络模型;
所述传输单元还用于向所述卷积神经网络模型输入所述训练样本图像,以使所述卷积神经网络模型中的卷积层输出特征,并由分类卷积层对所述特征进行分类处理,得到包含所述人员佩戴安全帽图案的目标特征以及多个不含所述人员佩戴安全帽图案的背景特征;
所述图像处理系统还包括:
训练单元,用于使用损失函数对所述目标特征以及多个所述背景特征进行计算,以训练卷积神经网络模型。
优选的,所述传输单元还用于使所述卷积神经网络模型执行下述步骤:
将所述目标特征中由深层卷积层输出的目标特征与由浅层卷积层输出的目标特征进行特征融合,得到融合目标特征;
将所述背景特征中由深层卷积层输出的背景特征与由浅层卷积层输出的背景特征进行特征融合,得到融合背景特征;
所述训练单元具体用于使用损失函数对所述融合目标特征、所述融合背景特征以及其他卷积层输出的目标特征和多个背景特征进行计算,其中所述其他卷积层为所述卷积层中除了所述深层卷积层和所述浅层卷积层之外的卷积层。
优选的,所述卷积神经网络模型的每一个卷积层之后还具有批归一化层;
所述传输单元还用于使所述卷积神经网络模型执行下述步骤:
使用所述批归一化层对所述特征进行批归一化处理。
优选的,所述训练样本图像为经过预处理后的样本图像,其中所述预处理包括数据增强和/或数据清洗;
所述传输单元具体用于向所述卷积神经网络模型输入所述经过预处理后的样本图像。
优选的,所述第二获取单元具体用于建立视觉几何组VGG网络,在所述VGG网络的基础上,增加一个或多个卷积层,得到所述卷积神经网络模型。
本申请实施例第三方面提供了一种图像处理系统,包括:
处理器、存储器、总线、输入输出设备;
所述处理器与所述存储器、输入输出设备相连;
所述总线分别连接所述处理器、存储器以及输入输出设备;
所述输入输出设备用于获取待检测图像,所述待检测图像为施工现场的图像,获取预先训练好的卷积神经网络模型,向所述卷积神经网络模型输入所述待检测图像,以得到所述卷积神经网络模型对所述待检测图像进行特征提取之后输出的待识别特征;
所述处理器用于对所述待识别特征进行评分,得到所述待识别特征的评价分数,判断所述待识别特征的评价分数是否在预设的分数范围内,所述分数范围为人员佩戴安全帽图案特征对应的评价分数的范围,若是,则确定所述施工现场的人员有佩戴安全帽,若否,则确定所述施工现场中有人员没有佩戴安全帽。
本申请实施例第四方面提供了一种计算机存储介质,计算机存储介质中存储有指令,该指令在计算机上执行时,使得计算机执行前述第一方面的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例的方法包括:获取待检测图像,其中待检测图像为施工现场的图像,获取预先训练好的卷积神经网络模型,向卷积神经网络模型输入所述待检测图像,在卷积神经网络模型对待检测图像进行特征提取之后,得到卷积神经网络模型输出的待识别特征;对待识别特征进行评分,得到待识别特征的评价分数;判断待识别特征的评价分数是否在预设的分数范围内,分数范围为人员佩戴安全帽图案特征对应的评价分数的范围,若待识别特征的评价分数在预设的分数范围内,则确定施工现场的人员有佩戴安全帽,若不在预设的分数范围内,则确定施工现场中有人员没有佩戴安全帽。本申请实施例运用卷积神经网络模型对人员是否佩戴安全帽进行检测,取代了传统的人为检查监控视频的方法,无需人为监控施工现场,同时,还可以对施工场地的多个角落的图像进行识别,避免了因施工场地环境复杂而导致的漏检情况的发生。
附图说明
图1为本申请实施例中图像处理方法一个流程示意图;
图2为本申请实施例中图像处理方法另一流程示意图;
图3为本申请实施例中图像处理系统一个结构示意图;
图4为本申请实施例中图像处理系统另一结构示意图;
图5为本申请实施例中图像处理系统另一结构示意图。
具体实施方式
本申请实施例提供了一种图像处理方法、系统及计算机存储介质,用于检测施工现场的人员是否佩戴安全帽,用于检测施工现场的人员是否佩戴安全帽。
请参阅图1,本申请实施例中图像处理方法一个实施例包括:
101、获取待检测图像;
图像处理系统可以事先与施工现场的监控系统连接,监控系统向图像处理系统实时传输施工现场的图像,图像处理系统接收施工现场的图像并将其确定为待检测图像。
待检测图像可以是从施工现场的监控视频中截取的施工现场的图像,也可以是预先经过筛选的施工现场图像,例如施工现场在某一段时间内没有人员进出,此时,可以对施工现场图像进行筛选并剔除此段时间内的图像,而不将此段时间内的图像作为待检测图像。
102、获取预先训练好的卷积神经网络模型;
本实施例中,图像处理系统使用预先训练好的卷积神经网络模型对图像进行识别和处理。卷积神经网络模型可以是图像处理系统经过模型训练之后获得的,也可以是在其他系统上训练完成之后,将卷积神经网络模型导入到图像处理系统上获得的。
103、向卷积神经网络模型输入待检测图像,以得到卷积神经网络模型对待检测图像进行特征提取之后输出的待识别特征;
图像处理系统获取到待检测图像以及训练好的卷积神经网络模型之后,向卷积神经网络模型输入待检测图像,待检测图像中包含一个或多个待检测区域,在卷积神经网络模型对待检测图像中的一个或多个待检测区域进行特征提取之后,得到卷积神经网络模型输出的待识别特征。其中,待识别特征中包括人的特征。
104、对待识别特征进行评分,得到待识别特征的评价分数;
图像处理系统得到待识别特征之后,对待识别特征进行评分,得到待识别特征的评价分数。
本实施例中,图像处理系统会为人员佩戴安全帽图案特征分配一个为1的二进制标签,而对于不属于人员佩戴安全帽图案特征的其他特征,则为该其他特征分配一个为0的二进制标签。在检测阶段,图像处理系统获取到的卷积神经网络模型会对待识别特征给出[0,1]之间的分数,将该分数作为待识别特征的评价分数,评价分数为[0,1]之间的实数,其数值越接近1则代表待识别特征是人员佩戴安全帽图案特征的概率越高,将待识别特征确定为人员佩戴安全帽图案特征的置信度越高。
需要说明的是,图像处理系统也可以将人员佩戴安全帽图案特征的取值设置为其他数值,将不属于人员佩戴安全帽图案特征的其他特征的取值设置为其他数值,而不仅限于上述的二进制标签1和0,本实施例对此不作限定。
105、判断待识别特征的评价分数是否在预设的分数范围内,若是,则执行步骤106;若否,则执行步骤107;
图像处理系统得到待识别特征的评价分数之后,判断待识别特征的评价分数是否在预设的分数范围内。其中,分数范围是人员佩戴安全帽图案特征所对应的评价分数的范围,分数范围可以由图像处理系统对大量的人员佩戴安全帽图案特征进行评分和测试之后,得到多个人员佩戴安全帽图案特征的评价分数,进而确定分数范围。
可以理解的是,当人员佩戴安全帽图案特征的取值与不属于人员佩戴安全帽图案特征的其他特征的取值分别采用如前述步骤104的1和0时,分数范围也同样在[0,1]的区间内。
106、确定施工现场的人员有佩戴安全帽;
当待识别特征的评价分数落在分数范围内时,表明该待识别特征的评价分数满足了人员佩戴安全帽图案特征的评价分数的取值,也就是说,将待识别特征确定为人员佩戴安全帽图案特征的置信度较高,可以确定为人员佩戴安全帽图案特征。此时,在待检测图像中所显示的施工现场中,可以确定人员有佩戴安全帽。
107、确定施工现场中有人员没有佩戴安全帽;
同理,当待识别特征的评价分数没有落在分数范围内时,表明该待识别特征的评价分数不满足人员佩戴安全帽图案特征的评价分数的取值,也就是说,该待识别特征与人员佩戴安全帽图案特征不相似,不能确定为人员佩戴安全帽图案特征。此时,在待检测图像所显示的施工现场中,存在部分人员没有佩戴安全帽。
本实施例中,图像处理系统获取到待检测图像以及获取训练好的卷积神经网络模型没有先后顺序,可以先获取到待检测图像,再获取训练好的卷积神经网络模型;也可以先获取训练好的卷积神经网络模型,再获取到待检测图像,此处不作限定。
本实施例中,图像处理系统获取待检测图像,其中待检测图像为施工现场的图像,获取预先训练好的卷积神经网络模型,向卷积神经网络模型输入所述待检测图像,在卷积神经网络模型对待检测图像进行特征提取之后,得到卷积神经网络模型输出的待识别特征;对待识别特征进行评分,得到待识别特征的评价分数;判断待识别特征的评价分数是否在预设的分数范围内,分数范围为人员佩戴安全帽图案特征对应的评价分数的范围,若待识别特征的评价分数在预设的分数范围内,则确定施工现场的人员有佩戴安全帽,若不在预设的分数范围内,则确定施工现场中有人员没有佩戴安全帽。本实施例运用卷积神经网络模型对人员是否佩戴安全帽进行检测,取代了传统的人为检查监控视频的方法,无需人为监控施工现场,同时,还可以对施工场地的多个角落的图像进行识别,避免了因施工场地环境复杂而导致的漏检情况的发生。
本申请实施例中,图像处理系统处理待检测图像所依赖的卷积神经网络模型是预先训练好的,卷积神经网络模型的训练是基于大量的训练样本图像而进行的。下面将结合图2对卷积神经网络模型的训练过程进行详细描述,具体请参阅图2,本申请实施例中图像处理方法另一实施例包括:
201、获取训练样本图像;
图像处理系统在对卷积神经网络模型进行训练之前,需要获取训练样本图像,训练样本图像中包括具有人员佩戴安全帽图案的图像。
训练样本图像可以是事先经过预处理操作的,预处理操作可以是数据增强和数据清洗中的一项或多项。数据增强可以是对训练样本图像的颜色方面的增强,例如分别对训练样本图像的亮度、对比度、色调或者饱和度在一定范围内进行一定概率的调整,本实施例优选的概率为0.5;也可以对训练样本图像进行尺寸方面的增强,以0.5的概率在一定范围内进行放大和缩小;还可以通过对训练样本图像进行镜像操作如水平镜像操作或者垂直镜像以扩充训练样本图像的数据量,提高模型的泛化能力;还可以增加训练样本图像的噪声数据,提升模型的鲁棒性。
数据清洗可以通过对训练样本图像进行缺失值处理或者对训练样本图像的噪声数据进行平滑处理,也可以通过识别删除离散值等方法对训练样本图像进行数据清洗,以提升训练样本图像的数据质量。
可以理解的是,数据增强的目的是扩充训练样本图像的数据量,数据清洗的目的是删除训练样本图像中的重复信息、纠正训练样本图像存在的错误,因此,当训练样本图像的样本数量足够多且图像数据准确时,也可以无需对训练样本图像进行预处理,本实施例对此不作限定。
202、获取待训练的卷积神经网络模型;
本实施例中,待训练的卷积神经网络模型可以采用Caffe或者TensorFlow等深度学习框架,也可以采用以视觉几何组(visual geometry group,VGG)网络为基础网络的目标检测网络(single shot multibox detector,SSD),本实施例对卷积神经网络模型的框架不作限定。
当以VGG网络为基础的SSD网络作为卷积神经网络模型的框架时,网络模型的框架主要分为两部分:基础网络以及附加网络,其中,基础网络为截断的VGG-16网络,包括Conv4_3、Conv5_3等卷积层;附加层由Conv6(fc6)、Conv7(fc6)卷积层以及Conv6_2、Conv7_2、Conv8_2、Conv9_2等几组卷积层构成,图像处理系统建立VGG网络并在其基础上增加上述的多个卷积层,从而得到可用于目标检测的卷积神经网络模型。
可以理解的是,图像处理系统也可以直接获取Caffe或者TensorFlow等深度学习框架作为待训练的卷积神经网络模型的框架,无需在VGG网络的基础上增加一个或多个卷积层以得到卷积神经网络模型,图像处理系统获取待训练的卷积神经网络模型的方式不作限定。
而为了加快模型的训练速度,在本实施例中还可以对以VGG网络为基础的SSD网络的通道数进行裁剪,得到轻量化的SSD网络(Tiny-SSD)。
203、向卷积神经网络模型输入训练样本图像,以使卷积神经网络模型中卷积层输出的特征,并由分类卷积层对特征进行分类处理,得到包含人员佩戴安全帽图案的目标特征以及多个不含人员佩戴安全帽图案的背景特征;
图像处理系统获取到卷积神经网络模型以及训练样本图像之后,向卷积神经网络模型输入训练样本图像,其中训练样本图像可以是经过预处理后的样本图像。
卷积神经网络模型中的卷积层对输入的训练样本图像进行卷积操作和ReLU操作(Rectified Linear Unit,线性整流函数),得到卷积层输出的特征,并由卷积神经网络模型中的分类卷积层对该特征进行分类,得到包含人员佩戴安全帽图案的目标特征以及多个不含人员佩戴安全帽图案的背景特征。对特征进行分类得到目标特征和多个背景特征的目的在于使模型学习到更多的特征,增加模型的分类难度,在对目标特征和背景特征的区分上能够更加准确,提升模型精度。
其中,分类卷积层可以是Slice网络层或者是Eltwise网络层,也可以是Concat网络层,Slice网络层或者其它分类卷积层对卷积层输出的特征进行Slice处理、Eltwise处理或Concat处理,对卷积层输出的特征进行分类得到目标特征和多个背景特征。
本实施例中,为了加快模型收敛以减少模型的训练时间,并提升模型性能,卷积神经网络模型的每一个卷积层之后可以接上批归一化层,批归一化层可以对卷积层输出的特征进行批归一化处理(Batch Normalization,BN)。
204、使用损失函数对目标特征以及多个背景特征进行计算,以训练卷积神经网络模型;
图像处理系统得到目标特征以及多个背景特征之后,使用损失函数对目标特征以及多个背景特征进行计算,损失函数在对目标特征以及多个背景特征的计算过程中,使用随机梯度下降(stochastic gradient descent,SGD)方法对模型的参数进行迭代更新,直到模型收敛为止。
其中,损失函数优选为多任务损失函数Multibox_loss(x,c,l,g),多任务损失函数Multibox_loss(x,c,l,g)的计算如式1所示,其由分类损失函数Lconf(x,c)和定位损失函数Lloc(x,l,g)组合而成。
式(1):
Figure BDA0002315142060000071
式(1)中,N是真实目标框(ground-truth)与默认框匹配的数目,如果N=0,则设置Multibox_loss(x,c,l,g)=0;λ为定位损失和分类损失的权重,本实施例中为了提升模型分类性能,将λ设为0.5。
其中,定位损失函数Lloc(x,l,g)的计算方式如式(2)和式(3)所示,通过回归默认框中心坐标(cx,cy)和宽w以及高h的偏移量,计算预测框和真实目标框之间的loss。
式(2):
Figure BDA0002315142060000072
式(3):
Figure BDA0002315142060000081
分类损失函数Lconf(x,c)为softmax损失函数,其计算方式如式(4)和式(5)所示,其中分类损失函数的输入为目标特征和多个背景特征的置信度c。
式(4):
Figure BDA0002315142060000082
式(5):
Figure BDA0002315142060000083
图像处理系统根据损失函数计算得到的损失计算结果,使用随机梯度下降方法对模型参数进行迭代更新,直到模型收敛为止,从而实现对模型的训练。
本实施例中,送入损失函数进行计算的目标特征以及背景特征还可以包括经过特征融合的目标特征以及背景特征。深层卷积层以及浅层卷积层各自输出的特征经过分类卷积层的分类处理之后,得到深层卷积层的目标特征和背景特征,以及浅层卷积层的目标特征和背景特征,卷积神经网络模型可以将深层卷积层的目标特征与浅层卷积层的目标特征进行特征融合,得到融合目标特征;将深层卷积层的背景特征与浅层卷积层的背景特征进行特征融合,得到融合背景特征。
本实施例对深层卷积层输出的特征和浅层卷积层输出的特征进行特征融合的目的在于,卷积神经网络模型的浅层卷积层分辨率高,主要学习细节特征,深层卷积层分辨率低,主要学习语义特征,语义特征对于目标特征和背景特征的分类能力影响很大。浅层卷积层学到的特征多为细节特征,且感受野的尺寸更匹配小目标,但缺乏语义特征,而深层卷积层学到的特征多为语义特征。因此将这两层进行特征融合后,可以得到较为合适的感受野,又包含语义特征,进而提升小目标的检测性能。
本实施例中,作为优选方案,深层卷积层和浅层卷积层分别是conv5_3卷积层和conv4_3卷积层。
因此,可以将经过特征融合之后得到的融合目标特征以及融合背景特征送入到损失函数中,使用损失函数对融合目标特征、融合背景特征以及其他卷积层输出的目标特征和多个背景特征进行计算,其中其他卷积层为卷积神经网络模型的卷积层中除了深层卷积层和浅层卷积层之外的卷积层。
在卷积神经网络模型训练完成之后,可以对模型进行测试。在测试过程中,将卷积神经网络模型中的批归一化层合并到卷积层进行提速,然后向模型输入测试样本图像,利用测试样本图像对模型进行测试。本实施例中,经过批归一化层和卷积层合并之后的卷积神经网络模型在GTX1080平台下对包含人员佩戴安全帽图案的测试样本图像进行测试,具体结果显示模型的召回率(recall)达到99.09%,准确率达到了(precision)98.39%,运算速度为10ms。结果表明,采用本实施例前述方法训练得到的卷积神经网络模型对人员是否佩戴安全帽的检测具有较好的检测效果,且实时性较强。
上面对本申请实施例中的图像处理方法进行了描述,下面对本申请实施例中的图像处理系统进行描述,请参阅图3,本申请实施例中图像处理系统一个实施例包括:
第一获取单元301,用于获取待检测图像,待检测图像为施工现场的图像;
第二获取单元302,用于获取预先训练好的卷积神经网络模型;
传输单元303,用于向卷积神经网络模型输入待检测图像,以得到卷积神经网络模型对待检测图像进行特征提取之后输出的待识别特征;
评分单元304,用于对待识别特征进行评分,得到待识别特征的评价分数;
判断单元305,用于判断待识别特征的评价分数是否在预设的分数范围内,分数范围为人员佩戴安全帽图案特征对应的评价分数的范围;
第一确定单元306,用于当待识别特征的评价分数在分数范围内时,确定施工现场的人员有佩戴安全帽;
第二确定单元307,用于当待识别特征的评价分数不在分数范围内时,确定施工现场中有人员没有佩戴安全帽。
本实施例中,图像处理系统中各单元所执行的操作与前述图1所示实施例中描述的类似,此处不再赘述。
本实施例中,第一获取单元301获取待检测图像,其中待检测图像为施工现场的图像,第二获取单元302获取预先训练好的卷积神经网络模型,传输单元303向卷积神经网络模型输入待检测图像,在卷积神经网络模型对待检测图像进行特征提取之后,得到卷积神经网络模型输出的待识别特征;评分单元304对待识别特征进行评分,得到待识别特征的评价分数;判断单元305判断待识别特征的评价分数是否在预设的分数范围内,分数范围为人员佩戴安全帽图案特征对应的评价分数的范围,若待识别特征的评价分数在预设的分数范围内,第一确定单元306确定施工现场的人员有佩戴安全帽,若不在预设的分数范围内,第二确定单元307确定施工现场中有人员没有佩戴安全帽。本申请实施例运用卷积神经网络模型对人员是否佩戴安全帽进行检测,取代了传统的人为检查监控视频的方法,无需人为监控施工现场,同时,还可以对施工场地的多个角落的图像进行识别,避免了因施工场地环境复杂而导致的漏检情况的发生。
请参阅图4,本申请实施例中图像处理系统另一实施例包括:
第一获取单元401,用于获取待检测图像,待检测图像为施工现场的图像;
第二获取单元402,用于获取预先训练好的卷积神经网络模型;
传输单元403,用于向卷积神经网络模型输入待检测图像,以得到卷积神经网络模型对待检测图像进行特征提取之后输出的待识别特征;
评分单元404,用于对待识别特征进行评分,得到待识别特征的评价分数;
判断单元405,用于判断待识别特征的评价分数是否在预设的分数范围内,分数范围为人员佩戴安全帽图案特征对应的评价分数的范围;
第一确定单元406,用于当待识别特征的评价分数在分数范围内时,确定施工现场的人员有佩戴安全帽;
第二确定单元407,用于当待识别特征的评价分数不在分数范围内时,确定施工现场中有人员没有佩戴安全帽。
本实施例中,图像处理系统中的第一获取单元401还用于获取训练样本图像,训练样本图像包括具有人员佩戴安全帽图案的图像;
第二获取单元402还用于获取待训练的卷积神经网络模型;
传输单元403还用于向卷积神经网络模型输入训练样本图像,以使卷积神经网络模型中的卷积层输出特征,并由分类卷积层对特征进行分类处理,得到包含人员佩戴安全帽图案的目标特征以及多个不含人员佩戴安全帽图案的背景特征;
此外,图像处理系统还包括:
训练单元408,用于使用损失函数对目标特征以及多个背景特征进行计算,以训练卷积神经网络模型。
本实施例中,传输单元403还用于使卷积神经网络模型执行下述步骤:
将目标特征中由深层卷积层输出的目标特征与由浅层卷积层输出的目标特征进行特征融合,得到融合目标特征;
将背景特征中由深层卷积层输出的背景特征与由浅层卷积层输出的背景特征进行特征融合,得到融合背景特征;
训练单元408具体用于使用损失函数对融合目标特征、融合背景特征以及其他卷积层输出的目标特征和多个背景特征进行计算,其中其他卷积层为卷积层中除了深层卷积层和浅层卷积层之外的卷积层。
本实施例中,卷积神经网络模型的每一个卷积层之后还具有批归一化层;
传输单元403还用于使卷积神经网络模型执行下述步骤:使用批归一化层对特征进行批归一化处理。
在本实施例中,训练样本图像为经过预处理后的样本图像,其中预处理包括数据增强和/或数据清洗;传输单元403具体用于向卷积神经网络模型输入经过预处理后的样本图像。
第二获取单元402具体用于建立视觉几何组VGG网络,在VGG网络的基础上,增加一个或多个卷积层,得到卷积神经网络模型。
本实施例中,图像处理系统处理待检测图像所依赖的卷积神经网络模型是预先训练好的,卷积神经网络模型的训练是基于大量的训练样本图像而进行的。在卷积神经网络模型的训练过程中具体各单元所执行的操作与前述图2所示实施例中描述的类似,此处不再赘述。
下面对本申请实施例中的图像处理系统进行描述,请参阅图5,本申请实施例中图像处理系统一个实施例包括:
该图像处理系统500可以包括一个或一个以上中央处理器(central processingunits,CPU)501和存储器505,该存储器505中存储有一个或一个以上的应用程序或数据。
其中,存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块,每个模块可以包括对图像处理系统中的一系列指令操作。更进一步地,中央处理器501可以设置为与存储器505通信,在图像处理系统500上执行存储器505中的一系列指令操作。
图像处理系统500还可以包括一个或一个以上电源502,一个或一个以上有线或无线网络接口503,一个或一个以上输入输出接口504,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等。
该中央处理器501可以执行前述图1至图2所示实施例中图像处理系统所执行的操作,具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质,其中一个实施例包括:该计算机存储介质中存储有指令,该指令在计算机上执行时,使得该计算机执行前述图1至图2所示实施例中图像处理系统所执行的操作。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种图像处理方法,其特征在于,包括:
获取待检测图像,所述待检测图像为施工现场的图像;
获取预先训练好的卷积神经网络模型;
向所述卷积神经网络模型输入所述待检测图像,以得到所述卷积神经网络模型对所述待检测图像进行特征提取之后输出的待识别特征;
对所述待识别特征进行评分,得到所述待识别特征的评价分数;
判断所述待识别特征的评价分数是否在预设的分数范围内,所述分数范围为人员佩戴安全帽图案特征对应的评价分数的范围;
若是,则确定所述施工现场的人员有佩戴安全帽;
若否,则确定所述施工现场中有人员没有佩戴安全帽。
2.根据权利要求1所述的图像处理方法,其特征在于,所述卷积神经网络模型的训练过程,包括:
获取训练样本图像,所述训练样本图像包括具有人员佩戴安全帽图案的图像;
获取待训练的卷积神经网络模型;
向所述卷积神经网络模型输入所述训练样本图像,以使所述卷积神经网络模型中的卷积层输出特征,并由分类卷积层对所述特征进行分类处理,得到包含所述人员佩戴安全帽图案的目标特征以及多个不含所述人员佩戴安全帽图案的背景特征;
使用损失函数对所述目标特征以及多个所述背景特征进行计算,以训练卷积神经网络模型。
3.根据权利要求2所述的图像处理方法,其特征在于,所述得到包含所述人员佩戴安全帽图案的目标特征以及多个不含所述人员佩戴安全帽图案的背景特征之后,还使所述卷积神经网络模型执行下述步骤:
将所述目标特征中由深层卷积层输出的目标特征与由浅层卷积层输出的目标特征进行特征融合,得到融合目标特征;
将所述背景特征中由深层卷积层输出的背景特征与由浅层卷积层输出的背景特征进行特征融合,得到融合背景特征;
所述使用损失函数对所述目标特征以及多个所述背景特征进行计算,包括:
使用损失函数对所述融合目标特征、所述融合背景特征以及其他卷积层输出的目标特征和多个背景特征进行计算,其中所述其他卷积层为所述卷积层中除了所述深层卷积层和所述浅层卷积层之外的卷积层。
4.根据权利要求2所述的图像处理方法,其特征在于,所述卷积神经网络模型的每一个卷积层之后还具有批归一化层;
所述卷积神经网络模型中的卷积层输出特征之后,还使所述卷积神经网络模型执行下述步骤:
使用所述批归一化层对所述特征进行批归一化处理。
5.根据权利要求2至4任一项所述的图像处理方法,其特征在于,所述训练样本图像为经过预处理后的样本图像,其中所述预处理包括数据增强和/或数据清洗;
所述向所述卷积神经网络模型输入所述训练样本图像,包括:
向所述卷积神经网络模型输入所述经过预处理后的样本图像。
6.根据权利要求5所述的图像处理方法,其特征在于,所述获取待训练的卷积神经网络模型,包括:
建立视觉几何组VGG网络;
在所述VGG网络的基础上,增加一个或多个卷积层,得到所述卷积神经网络模型。
7.一种图像处理系统,其特征在于,包括:
第一获取单元,用于获取待检测图像,所述待检测图像为施工现场的图像;
第二获取单元,用于获取预先训练好的卷积神经网络模型;
传输单元,用于向所述卷积神经网络模型输入所述待检测图像,以得到所述卷积神经网络模型对所述待检测图像进行特征提取之后输出的待识别特征;
评分单元,用于对所述待识别特征进行评分,得到所述待识别特征的评价分数;
判断单元,用于判断所述待识别特征的评价分数是否在预设的分数范围内,所述分数范围为人员佩戴安全帽图案特征对应的评价分数的范围;
第一确定单元,用于当所述待识别特征的评价分数在所述分数范围内时,确定所述施工现场的人员有佩戴安全帽;
第二确定单元,用于当所述待识别特征的评价分数不在所述分数范围内时,确定所述施工现场中有人员没有佩戴安全帽。
8.根据权利要求7所述的图像处理系统,其特征在于,所述第一获取单元还用于获取训练样本图像,所述训练样本图像包括具有人员佩戴安全帽图案的图像;
所述第二获取单元还用于获取待训练的卷积神经网络模型;
所述传输单元还用于向所述卷积神经网络模型输入所述训练样本图像,以使所述卷积神经网络模型中的卷积层输出特征,并由分类卷积层对所述特征进行分类处理,得到包含所述人员佩戴安全帽图案的目标特征以及多个不含所述人员佩戴安全帽图案的背景特征;
所述图像处理系统还包括:
训练单元,用于使用损失函数对所述目标特征以及多个所述背景特征进行计算,以训练卷积神经网络模型。
9.根据权利要求8所述的图像处理系统,其特征在于,所述传输单元还用于使所述卷积神经网络模型执行下述步骤:
将所述目标特征中由深层卷积层输出的目标特征与由浅层卷积层输出的目标特征进行特征融合,得到融合目标特征;
将所述背景特征中由深层卷积层输出的背景特征与由浅层卷积层输出的背景特征进行特征融合,得到融合背景特征;
所述训练单元具体用于使用损失函数对所述融合目标特征、所述融合背景特征以及其他卷积层输出的目标特征和多个背景特征进行计算,其中所述其他卷积层为所述卷积层中除了所述深层卷积层和所述浅层卷积层之外的卷积层。
10.根据权利要求8所述的图像处理系统,其特征在于,所述卷积神经网络模型的每一个卷积层之后还具有批归一化层;
所述传输单元还用于使所述卷积神经网络模型执行下述步骤:
使用所述批归一化层对所述特征进行批归一化处理。
11.根据权利要求8至10任一项所述的图像处理系统,其特征在于,所述训练样本图像为经过预处理后的样本图像,其中所述预处理包括数据增强和/或数据清洗;
所述传输单元具体用于向所述卷积神经网络模型输入所述经过预处理后的样本图像。
12.根据权利要求11所述的图像处理系统,其特征在于,所述第二获取单元具体用于建立视觉几何组VGG网络,在所述VGG网络的基础上,增加一个或多个卷积层,得到所述卷积神经网络模型。
13.一种图像处理系统,其特征在于,包括:
处理器、存储器、总线、输入输出设备;
所述处理器与所述存储器、输入输出设备相连;
所述总线分别连接所述处理器、存储器以及输入输出设备;
所述输入输出设备用于获取待检测图像,所述待检测图像为施工现场的图像,获取预先训练好的卷积神经网络模型,向所述卷积神经网络模型输入所述待检测图像,以得到所述卷积神经网络模型对所述待检测图像进行特征提取之后输出的待识别特征;
所述处理器用于对所述待识别特征进行评分,得到所述待识别特征的评价分数,判断所述待识别特征的评价分数是否在预设的分数范围内,所述分数范围为人员佩戴安全帽图案特征对应的评价分数的范围,若是,则确定所述施工现场的人员有佩戴安全帽,若否,则确定所述施工现场中有人员没有佩戴安全帽。
14.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有指令,所述指令在计算机上执行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
CN201911274426.5A 2019-12-12 2019-12-12 图像处理方法、系统及计算机存储介质 Pending CN111062303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911274426.5A CN111062303A (zh) 2019-12-12 2019-12-12 图像处理方法、系统及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911274426.5A CN111062303A (zh) 2019-12-12 2019-12-12 图像处理方法、系统及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111062303A true CN111062303A (zh) 2020-04-24

Family

ID=70298976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911274426.5A Pending CN111062303A (zh) 2019-12-12 2019-12-12 图像处理方法、系统及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111062303A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及系统
CN112232307A (zh) * 2020-11-20 2021-01-15 四川轻化工大学 夜视环境下的安全帽佩戴检测方法
CN112861751A (zh) * 2021-02-22 2021-05-28 中国中元国际工程有限公司 一种机场行李房人员管理方法及装置
CN112990232A (zh) * 2021-04-14 2021-06-18 广东工业大学 面向多种高空作业施工现场的安全带佩戴识别与检测方法
CN113052137A (zh) * 2021-04-25 2021-06-29 烟台大迈物联科技有限公司 工地环境的识别判断方法
CN113792604A (zh) * 2021-08-16 2021-12-14 中科巨匠人工智能技术(广州)有限公司 基于人工智能特征图分割的老鼠检测算法
CN114595759A (zh) * 2022-03-07 2022-06-07 卡奥斯工业智能研究院(青岛)有限公司 一种护具识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN108319926A (zh) * 2018-02-12 2018-07-24 安徽金禾软件股份有限公司 一种工地现场的安全帽佩戴检测系统及检测方法
CN108647619A (zh) * 2018-05-02 2018-10-12 安徽大学 一种基于深度学习的视频中安全帽佩戴的检测方法及装置
US20190236370A1 (en) * 2018-01-29 2019-08-01 indus.al Inc Monitoring activities in industrial sites
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236370A1 (en) * 2018-01-29 2019-08-01 indus.al Inc Monitoring activities in industrial sites
CN108288075A (zh) * 2018-02-02 2018-07-17 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
CN108319926A (zh) * 2018-02-12 2018-07-24 安徽金禾软件股份有限公司 一种工地现场的安全帽佩戴检测系统及检测方法
JP2019157497A (ja) * 2018-03-13 2019-09-19 株式会社大林組 監視システム、監視方法及び監視プログラム
CN108647619A (zh) * 2018-05-02 2018-10-12 安徽大学 一种基于深度学习的视频中安全帽佩戴的检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张传雷 等: "《基于图像分析的植物及其病虫害识别方法研究》", 北京:中国经济出版社, pages: 202 - 203 *
李小伟: "轻量级深度学习目标检测算法研究及系统设计", pages 3 - 4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091069A (zh) * 2019-11-27 2020-05-01 云南电网有限责任公司电力科学研究院 一种盲图像质量评价引导的电网目标检测方法及系统
CN112232307A (zh) * 2020-11-20 2021-01-15 四川轻化工大学 夜视环境下的安全帽佩戴检测方法
CN112232307B (zh) * 2020-11-20 2022-07-05 四川轻化工大学 夜视环境下的安全帽佩戴检测方法
CN112861751A (zh) * 2021-02-22 2021-05-28 中国中元国际工程有限公司 一种机场行李房人员管理方法及装置
CN112861751B (zh) * 2021-02-22 2024-01-12 中国中元国际工程有限公司 一种机场行李房人员管理方法及装置
CN112990232A (zh) * 2021-04-14 2021-06-18 广东工业大学 面向多种高空作业施工现场的安全带佩戴识别与检测方法
CN112990232B (zh) * 2021-04-14 2023-06-23 广东工业大学 面向多种高空作业施工现场的安全带佩戴识别与检测方法
CN113052137A (zh) * 2021-04-25 2021-06-29 烟台大迈物联科技有限公司 工地环境的识别判断方法
CN113052137B (zh) * 2021-04-25 2022-11-01 烟台大迈物联科技有限公司 工地环境的识别判断方法
CN113792604A (zh) * 2021-08-16 2021-12-14 中科巨匠人工智能技术(广州)有限公司 基于人工智能特征图分割的老鼠检测算法
CN114595759A (zh) * 2022-03-07 2022-06-07 卡奥斯工业智能研究院(青岛)有限公司 一种护具识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111062303A (zh) 图像处理方法、系统及计算机存储介质
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN104063722B (zh) 一种融合hog人体目标检测和svm分类器的安全帽识别方法
CN110502965A (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN109034215A (zh) 一种基于深度卷积神经网络的安全帽佩戴检测方法
CN111241959A (zh) 一种通过工地视频流检测未佩戴安全帽人员的方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN105243386A (zh) 人脸活体判断方法以及系统
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN110136172A (zh) 一种矿工下井前防护设备佩戴的检测方法
CN115223249A (zh) 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN114662208B (zh) 一种基于Bim技术的施工可视化系统及方法
CN111325133A (zh) 一种基于人工智能识别的影像处理系统
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN111046817A (zh) 一种人员计数方法及相关设备
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN112989958A (zh) 基于YOLOv4与显著性检测的安全帽佩戴识别方法
CN115273150A (zh) 基于人体姿态估计的安全帽佩戴的新型识别方法及系统
CN112699745A (zh) 一种用于火灾现场的被困人员定位方法
CN111325132A (zh) 一种智能监控系统
CN106778679B (zh) 一种基于大数据机器学习的特定人群视频识别方法
CN114783000B (zh) 一种明厨亮灶场景下工作人员着装规范检测方法及装置
CN117475502B (zh) 基于矿用的虹膜和人脸融合识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination