CN113052124B - 一种起雾场景的识别方法、装置和计算机可读存储介质 - Google Patents

一种起雾场景的识别方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN113052124B
CN113052124B CN202110383091.1A CN202110383091A CN113052124B CN 113052124 B CN113052124 B CN 113052124B CN 202110383091 A CN202110383091 A CN 202110383091A CN 113052124 B CN113052124 B CN 113052124B
Authority
CN
China
Prior art keywords
picture
fogging
mirror image
scene
image expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110383091.1A
Other languages
English (en)
Other versions
CN113052124A (zh
Inventor
周涛
刘栋
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202110383091.1A priority Critical patent/CN113052124B/zh
Publication of CN113052124A publication Critical patent/CN113052124A/zh
Application granted granted Critical
Publication of CN113052124B publication Critical patent/CN113052124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种起雾场景的识别方法、装置和介质，获取待识别图片；依据待识别图片的尺寸与网络输入尺寸的比例关系，对待识别图片进行边缘镜像扩充；按照网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片。通过对待识别图片进行边缘镜像扩充，避免了对图片直接进行等比例缩放时发生形变的情况，使得等比例缩放后的图片更加接近于实际场景。利用训练好的卷积神经网络模型对标准输入图片进行分析，以得到起雾场景的识别结果。卷积神经网络模型具有较好的处理性能，可以更好的结合起雾场景特性提取标准输入图片的浅层特征，浅层特征与网络高层语义特征进行加权双向特征融合，提高了起雾场景识别的准确性。

Description

一种起雾场景的识别方法、装置和计算机可读存储介质
技术领域
本申请涉及图像分析技术领域，特别是涉及一种起雾场景的识别方法、装置和计算机可读存储介质。
背景技术
起雾天气使能见度出现不同程度的下降，在高速路段发生起雾现象会直接影响到行车安全甚至威胁人们生命。现阶段高速路段起雾情况通常由高速交警根据目视距离进行判定，然后采取相应的交通管制。起雾现象的发生以及薄雾到浓雾的转换通常在很短的时间内，而高速路段交错复杂且每段距离较长，何处起雾往往不能及时发现。
随着高速公路监控设备与抓拍设备安装数量的与日俱增，依靠机器视觉技术及时识别出高速公路各路段起雾情况成为可能。工程应用中，基于深度神经网络的图像分类方法已经能取得不错的效果。传统方式中基于深度神经网络对采集的图像进行分析时，可以先对输入图像采用多层1x1卷积生成类间差异显著的颜色通道模式，再对每个通道用独立的卷积核卷积，只在空间维度上抽取形状特征，最后使用最大池化统一各级特征图大小，然后拼合成1个C通道的特征。使用最大池化的方法统一各尺度特征图分辨率会导致信息严重丢失，尤其是分辨率较大的浅层特征。
可见，如何提升起雾场景识别的准确性，是本领域技术人员需要解决的问题。
发明内容
本申请实施例的目的是提供一种起雾场景的识别方法、装置和计算机可读存储介质，可以提升起雾场景识别的准确性。
为解决上述技术问题，本申请实施例提供一种起雾场景的识别方法，包括：
获取待识别图片；
依据所述待识别图片的尺寸与网络输入尺寸的比例关系，对所述待识别图片进行边缘镜像扩充；
按照所述网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片；
利用训练好的卷积神经网络模型对所述标准输入图片进行分析，以得到起雾场景的识别结果。
可选地，所述卷积神经网络模型的训练过程包括：
将不同地点真实起雾天气下的路段图片以及合成起雾图片作为初始训练集；
依据所述初始训练集中各图片的尺寸与网络输入尺寸的比例关系，对所述初始训练集中各图片进行边缘镜像扩充；
按照所述网络输入尺寸对扩充后的各图片进行等比例缩放，以得到标准训练集；
利用所述标准训练集对构建的卷积神经网络模型进行训练，直至起雾场景的识别准确率满足预设条件，得到训练好的卷积神经网络模型。
可选地，所述合成起雾图片的生成过程包括：
获取不同地点非起雾天气下的路段图片；
基于选定的浓雾图片和渐变权重矩阵构建出起雾模板；其中，所述浓雾图片的尺寸与所述不同地点非起雾天气下的路段图片的尺寸相同；所述渐变权重矩阵依据所述非起雾天气下的路段图片设置；
将所述起雾模板与所述非起雾天气下的路段图片进行融合，以得到合成起雾图片。
可选地，所述利用训练好的卷积神经网络模型对所述标准输入图片进行分析，以得到起雾场景的识别结果包括：
基于所述训练好的卷积神经网络模型的分组卷积子网络，对所述标准输入图片进行RGB三通道并行卷积处理，以得到三组特征数据；并将所述三组特征数据进行融合，以得到所述标准输入图片的浅层特征；
利用所述训练好的卷积神经网络模型对所述标准输入图片的浅层特征进行深度特征提取，以得到不同尺度的特征；
对所述不同尺度的特征进行融合，以得到深度融合后的特征；
对所述深度融合后的特征进行预测，以得到所述标准输入图片属于每个类别的概率值；其中，所述类别包括起雾场景和非起雾场景。
可选地，所述依据所述待识别图片的尺寸与网络输入尺寸的比例关系，对所述待识别图片进行边缘镜像扩充包括：
计算网络输入尺寸的第一宽高比，所述待识别图片的第二宽高比；计算所述第一宽高比与所述第二宽高比的比例值；
依据所述第一宽高比、所述第二宽高比以及所述比例值，从设定的边缘镜像扩充规则列表中查找相匹配的目标边缘镜像扩充规则；其中，所述边缘镜像扩充规则列表包括不同边缘镜像扩充规则及其各自对应的比值范围；
利用所述目标边缘镜像扩充规则，对所述待识别图片进行边缘镜像扩充。
本申请实施例还提供了一种起雾场景的识别装置，包括获取单元、扩充单元、缩放单元和分析单元；
所述获取单元，用于获取待识别图片；
所述扩充单元，用于依据所述待识别图片的尺寸与网络输入尺寸的比例关系，对所述待识别图片进行边缘镜像扩充；
所述缩放单元，用于按照所述网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片；
所述分析单元，用于利用训练好的卷积神经网络模型对所述标准输入图片进行分析，以得到起雾场景的识别结果。
可选地，针对于所述卷积神经网络模型的训练过程，所述装置包括作为单元和训练单元；
所述作为单元，用于将不同地点真实起雾天气下的路段图片以及合成起雾图片作为初始训练集；
所述扩充单元，用于依据所述初始训练集中各图片的尺寸与网络输入尺寸的比例关系，对所述初始训练集中各图片进行边缘镜像扩充；
所述缩放单元，用于按照所述网络输入尺寸对扩充后的各图片进行等比例缩放，以得到标准训练集；
所述训练单元，用于利用所述标准训练集对构建的卷积神经网络模型进行训练，直至起雾场景的识别准确率满足预设条件，得到训练好的卷积神经网络模型。
可选地，针对于所述合成起雾图片的生成过程，所述装置包括构建单元和融合单元；
所述获取单元，用于获取不同地点非起雾天气下的路段图片；
所述构建单元，用于基于选定的浓雾图片和渐变权重矩阵构建出起雾模板；其中，所述浓雾图片的尺寸与所述不同地点非起雾天气下的路段图片的尺寸相同；所述渐变权重矩阵依据所述非起雾天气下的路段图片设置；
所述融合单元，用于将所述起雾模板与所述非起雾天气下的路段图片进行融合，以得到合成起雾图片。
可选地，所述分析单元包括卷积处理子单元、融合子单元、深度学习子单元和预测子单元；
所述卷积处理子单元，用于基于所述训练好的卷积神经网络模型的分组卷积子网络，对所述标准输入图片进行RGB三通道并行卷积处理，以得到三组特征数据；
所述融合子单元，用于将所述三组特征数据进行融合，以得到所述标准输入图片的浅层特征；
所述深度学习子单元，用于利用所述训练好的卷积神经网络模型对所述标准输入图片的浅层特征进行深度特征提取，以得到不同尺度的特征；
对所述不同尺度的特征进行融合，以得到深度融合后的特征；
所述预测子单元，用于对所述深度融合后的特征进行预测，以得到所述标准输入图片属于每个类别的概率值；其中，所述类别包括起雾场景和非起雾场景。
可选地，所述扩充单元用于计算网络输入尺寸的第一宽高比，所述待识别图片的第二宽高比；计算所述第一宽高比与所述第二宽高比的比例值；依据所述第一宽高比、所述第二宽高比以及所述比例值，从设定的边缘镜像扩充规则列表中查找相匹配的目标边缘镜像扩充规则；其中，所述边缘镜像扩充规则列表包括不同边缘镜像扩充规则及其各自对应的比值范围；利用所述目标边缘镜像扩充规则，对所述待识别图片进行边缘镜像扩充。
本申请实施例还提供了一种起雾场景的识别装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任意一项所述起雾场景的识别方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权上述任一项所述起雾场景的识别方法的步骤。
由上述技术方案可以看出，获取待识别图片；依据待识别图片的尺寸与网络输入尺寸的比例关系，对待识别图片进行边缘镜像扩充；按照网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片。通过对待识别图片进行边缘镜像扩充，可以有效的避免对图片进行等比例缩放时发生形变的情况，使得等比例缩放后的图片更加接近于实际场景。利用训练好的卷积神经网络模型对标准输入图片进行分析，以得到起雾场景的识别结果。卷积神经网络模型具有较好的处理性能，可以更好的结合起雾场景特性提取标准输入图片的浅层特征，浅层特征与网络高层语义特征进行加权双向特征融合，显著提高了卷积神经网络模型对起雾场景识别的准确性。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种起雾场景的识别方法的流程图；
图2为本申请实施例提供的一种对待识别图片进行边缘镜像扩充的流程框图；
图3a为本申请实施例提供的一种待识别图片的示意图；
图3b为本申请实施例提供的一种对图3a的待识别图片进行边缘镜像扩充后的图片的示意图；
图4为本申请实施例提供的一种起雾场景的识别装置的结构示意图；
图5为本申请实施例提供的一种起雾场景的识别装置的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
接下来，详细介绍本申请实施例所提供的一种起雾场景的识别方法。图1为本申请实施例提供的一种起雾场景的识别方法的流程图，该方法包括：
S101：获取待识别图片。
在实际应用中，可以通过摄像设备采集监控区域的图片。通过对图片进行分析，可以识别当前监控区域是否出现起雾现象。在本申请实施例中，可以将采集的图片称作待识别图片。
S102：依据待识别图片的尺寸与网络输入尺寸的比例关系，对待识别图片进行边缘镜像扩充。
待识别图片的尺寸可以包括待识别图片的高度和宽度。网络输入尺寸可以包括卷积神经网络模型所要求输入图片的高度和宽度。
将待识别图片的尺寸与网络输入尺寸进行比较，可以了解待识别图片的尺寸与网络输入尺寸的偏差情况。为了有效的避免对图片进行等比例缩放时发生严重形变，在本申请实施例中，可以对图片进行边缘镜像扩充。
在实际应用中，可以计算网络输入尺寸的第一宽高比，待识别图片的第二宽高比；计算第一宽高比与第二宽高比的比例值；依据第一宽高比、第二宽高比以及比例值，从设定的边缘镜像扩充规则列表中查找相匹配的目标边缘镜像扩充规则；利用目标边缘镜像扩充规则，对待识别图片进行边缘镜像扩充。
其中，边缘镜像扩充规则列表可以包括不同边缘镜像扩充规则及其各自对应的比值范围。
举例说明，以Ho表示网络输入尺寸的高度，Wo表示网络输入尺寸的宽度，Hi表示待识别图片的高度，Wi表示待识别图片的宽度，Hnew表示边缘镜像扩充后图片的高度，Wnew表示边缘镜像扩充后图片的宽度，Padding_w表示单侧扩充的宽度，Padding_h表示单侧扩充的高度。
如图2所示为本申请实施例提供的一种对待识别图片进行边缘镜像扩充的流程框图，图2中Ho/Wo表示第一宽高比，Hi/Wi表示第二宽高比，结合图2的流程框图，可知对待识别图片进行边缘镜像扩充可以划分为六种情况。第一种情况，当Ho/Wo小于等于1，Hi/Wi大于等于1时，需要对待识别图片的宽度进行镜像扩充，此时Hnew仍为Hi，根据Hi/Ho＝Wnew/Wo，可得Wnew＝Hi/Ho*Wo，每一侧扩充的宽度Padding_w＝(Wnew-Wi)/2。第二种情况，当Ho/Wo小于等于1，Hi/Wi小于1，并且Ho/Wo小于等于Hi/Wi时，需要对待识别图片的宽度进行镜像扩充，此时Hnew仍为Hi，根据Hi/Ho＝Wnew/Wo，可得Wnew＝Hi/Ho*Wo，每一侧扩充的宽度Padding_w＝(Wnew-Wi)/2。第三种情况，当Ho/Wo小于等于1，Hi/Wi小于1，并且Ho/Wo大于Hi/Wi时，需要对待识别图片的高度进行镜像扩充，此时Wnew仍为Wi，根据Wi/Wo＝Hnew/Ho，可得Hnew＝Wi/Wo*Ho，每一侧扩充的高度Padding_h＝(Hnew-Hi)/2。第四种情况，当Ho/Wo大于1，Hi/Wi小于等于1时，需要对待识别图片的高度进行镜像扩充，此时Wnew仍为Wi，根据Wi/Wo＝Hnew/Ho，可得Hnew＝Wi/Wo*Ho，每一侧扩充的高度Padding_h＝(Hnew-Hi)/2。第五种情况，当Ho/Wo大于1，Hi/Wi大于1，并且Ho/Wo大于等于Hi/Wi时，需要对待识别图片的高度进行镜像扩充，此时Wnew仍为Wi，根据Wi/Wo＝Hnew/Ho，可得Hnew＝Wi/Wo*Ho，每一侧扩充的高度Padding_h＝(Hnew-Hi)/2。第六种情况，当Ho/Wo大于1，Hi/Wi大于1，并且Ho/Wo小于Hi/Wi时，需要对待识别图片的宽度进行镜像扩充，此时Hnew仍为Hi，根据Hi/Ho＝Wnew/Wo，可得Wnew＝Hi/Ho*Wo，每一侧扩充的宽度Padding_w＝(Wnew-Wi)/2。如图3a所示为本申请实施例提供的一种待识别图片的示意图，图3b为对图3a的待识别图片进行边缘镜像扩充后的图片的示意图。
S103：按照网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片。
在得到扩充后的待识别图片之后，可以将扩充后的待识别图片的宽度按照网络输入尺寸的宽度进行缩放，将扩充后的待识别图片的高度按照网络输入尺寸的高度进行缩放，从而得到标准输入图片。
S104：利用训练好的卷积神经网络模型对标准输入图片进行分析，以得到起雾场景的识别结果。
在实际应用中，可以将不同地点真实起雾天气下的路段图片以及合成起雾图片作为初始训练集；依据初始训练集中各图片的尺寸与网络输入尺寸的比例关系，对初始训练集中各图片进行边缘镜像扩充；按照网络输入尺寸对扩充后的各图片进行等比例缩放，以得到标准训练集；利用标准训练集对构建的卷积神经网络模型进行训练，直至起雾场景的识别准确率满足预设条件，得到训练好的卷积神经网络模型。
其中，对初始训练集中的各图片进行边缘镜像扩充以及等比例缩放的实现方式可以参见S102和S103，在此不再赘述。
对于合成起雾图片的生成过程，可以获取不同地点非起雾天气下的路段图片；基于选定的浓雾图片和渐变权重矩阵构建出起雾模板；其中，浓雾图片的尺寸与不同地点非起雾天气下的路段图片的尺寸相同；渐变权重矩阵依据非起雾天气下的路段图片设置；将起雾模板与非起雾天气下的路段图片进行融合，以得到合成起雾图片。
在具体实现中，浓雾图片可以是从起雾图片中截取不含背景信息的浓雾截图，然后将该浓雾截图缩放至与非起雾天气下的路段图片相同的尺寸。
在实际应用中，渐变权重矩阵可以设置为每列数值相同，从第一行到最后一行矩阵元素值由1到0.1均匀变化的矩阵。
在本申请实施例中，浓雾图片的尺寸与不同地点非起雾天气下的路段图片的尺寸相同；渐变权重矩阵与不同地点非起雾天气下的路段图片的尺寸一致，因此可以将渐变权重矩阵与浓雾图片对应的矩阵按元素相乘，生成起雾模板，模拟了随视角由远到近变化，视觉上起雾程度由浓到薄。
在进行起雾模板与非起雾天气下的路段图片的融合时，可以定义随机融合系数α，将非起雾天气下的路段图片与起雾模板按如下公式进行融合，
out＝image1*(1.0-α)+image2*α；
其中，image1表示非起雾天气下的路段图片、image2表示起雾模板，out为融合后输出的图片。定义与非起雾天气下的路段图片尺寸相同且每个元素值在0附近的一定范围内随机变化的像素随机偏移矩阵，按元素加到融合后的图片矩阵上，从而合成得到合成起雾图片。
在本申请实施例中，可以基于起雾场景的特点构建卷积神经网络模型。依据卷积神经网络模型所需实现的功能，可以将卷积神经网络模型划分为分组卷积子网络、残差单元、特征融合单元和预测单元。
考虑到起雾场景的特殊性在于图像中存在大面积白色区域，图像RGB三个通道的矩阵均会在起雾位置出现大范围像素值普遍偏高的现象，因此，在本申请实施例中分组卷积子网络结构可以通过多次分组卷积(卷积核分三组)在RGB三个通道上独立的进行特征提取并不断扩大感受视野，使网络更多的关注空间维度上起雾区域像素值的相似性，再通过1x1卷积在通道维度上融合特征，至此可以有效地提取出标准输入图片的浅层特征。浅层特征再与网络深层具有更多语义信息的特征进行加权双向特征融合。每个卷积层后均连接BN层并用LeakyRelu激活函数进行非线性映射，网络最终通过全局平均池化和全连接层输出各类别概率。
在实际应用中，可以基于训练好的卷积神经网络模型的分组卷积子网络，对标准输入图片进行RGB三通道并行卷积处理，以得到三组特征数据；并将三组特征数据通过1x1卷积进行通道维度的信息融合，以得到标准输入图片的浅层特征；利用训练好的卷积神经网络模型对标准输入图片的浅层特征进行深度特征提取，以得到不同尺度的特征；对不同尺度的特征进行融合，以得到深度融合后的特征；对深度融合后的特征进行预测，以得到标准输入图片属于每个类别的概率值；其中，类别包括起雾场景和非起雾场景。
其中，分组卷积子网络可以通过最大池化获取图像关键信息。在实际应用中，分组卷积子网络可以针对RGB三个通道进行4次分组卷积，每次分组卷积将卷积核分三组，通道数随网络层数递增。分组卷积子网络结构最后一层采用1x1卷积在通道上融合三组特征，更好的提取浅层特征。分组卷积子网络结构可以由3层步长为1的3x3分组卷积、一层步长为2的5x5分组卷积和一层步长为1的1x1卷积组成。分组卷积子网络结构在有效提取浅层特征的同时，降低了网络参数量和卷积核冗余程度。
在本申请实施例中，可以依次使用残差网络中的basic残差块和bottleneck残差块组成残差单元，残差单元的第一个3x3卷积层的步长等于2，进行下采样。残差单元共有三个，每个残差单元的网络结构相同，第一个残差单元的输入为分组卷积子网络的输出，后两个残差单元的输入分别为前一个残差单元的输出。残差单元输出通道数与分组卷积子网络结构的输出通道数相等，使得特征融合阶段待融合的特征在通道数上保持均衡。
在本申请实施例中，可以将分组卷积子网络的输出和各残差单元的输出作为待融合的特征。特征融合单元在PAN结构上进行加权，每个待融合的特征有一个加权系数，该加权系数为一个待学习值，初始化为1，保证每个待融合的特征在最开始拥有相同的权重。加权系数通过Relu激活函数保证其值恒不小于0并在训练过程中进行迭代更新，特征加权融合时对每个待融合特征的权重进行归一化。特征融合采用先在通道维度上进行特征叠加再使用深度可分离卷积进一步融合空间维度和通道维度信息的方法，降低了网络参数量的同时减少卷积核冗余。
加权特征融合过程可以参见如下公式，
Figure BDA0003013802350000111
其中P1 in、
Figure BDA0003013802350000112
表示待融合特征，w1、w2分别为两个待融合特征的加权系数，ε等于0.00001，DW_Conv表示深度可分离卷积，Pout为融合后的特征。
预测单元由一层卷积层、一层全局平均池化层和一层全连接层组成，输出图像属于每个类别的概率。
需要说明的是，卷积神经网络模型中残差单元、特征融合单元和预测单元的工作原理与常规技术中卷积神经网络结构中残差单元、特征融合单元和预测单元的工作原理类似，上述仅做简单说明，其具体实现方式可以参见现有技术。
由上述技术方案可以看出，获取待识别图片；依据待识别图片的尺寸与网络输入尺寸的比例关系，对待识别图片进行边缘镜像扩充；按照网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片。通过对待识别图片进行边缘镜像扩充，可以有效的避免对图片进行等比例缩放时发生形变的情况，使得等比例缩放后的图片更加接近于实际场景。利用训练好的卷积神经网络模型对标准输入图片进行分析，以得到起雾场景的识别结果。卷积神经网络模型具有较好的处理性能，可以更好的结合起雾场景特性提取标准输入图片的浅层特征，浅层特征与网络高层语义特征进行加权双向特征融合，显著提高了卷积神经网络模型对起雾场景识别的准确性。
图4为本申请实施例提供的一种起雾场景的识别装置的结构示意图，包括获取单元41、扩充单元42、缩放单元43和分析单元44；
获取单元41，用于获取待识别图片；
扩充单元42，用于依据待识别图片的尺寸与网络输入尺寸的比例关系，对待识别图片进行边缘镜像扩充；
缩放单元43，用于按照网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片；
分析单元44，用于利用训练好的卷积神经网络模型对标准输入图片进行分析，以得到起雾场景的识别结果。
可选地，针对于卷积神经网络模型的训练过程，装置包括作为单元和训练单元；
作为单元，用于将不同地点真实起雾天气下的路段图片以及合成起雾图片作为初始训练集；
扩充单元，用于依据初始训练集中各图片的尺寸与网络输入尺寸的比例关系，对初始训练集中各图片进行边缘镜像扩充；
缩放单元，用于按照网络输入尺寸对扩充后的各图片进行等比例缩放，以得到标准训练集；
训练单元，用于利用标准训练集对构建的卷积神经网络模型进行训练，直至起雾场景的识别准确率满足预设条件，得到训练好的卷积神经网络模型。
可选地，针对于起雾图片的生成过程，装置包括构建单元和融合单元；
获取单元，用于获取不同地点非起雾天气下的路段图片；
构建单元，用于基于选定的浓雾图片和渐变权重矩阵构建出起雾模板；其中，浓雾图片的尺寸与不同地点非起雾天气下的路段图片的尺寸相同；渐变权重矩阵依据非起雾天气下的路段图片设置；
融合单元，用于将起雾模板与非起雾天气下的路段图片进行融合，以得到合成起雾图片。
可选地，分析单元包括卷积处理子单元、融合子单元、深度学习子单元和预测子单元；
卷积处理子单元，用于基于训练好的卷积神经网络模型的分组卷积子网络，对标准输入图片进行RGB三通道并行卷积处理，以得到三组特征数据；
融合子单元，用于将三组特征数据进行融合，以得到标准输入图片的浅层特征；
深度学习子单元，用于利用训练好的卷积神经网络模型对标准输入图片的浅层特征进行深度特征提取，以得到不同尺度的特征；对不同尺度的特征进行融合，以得到深度融合后的特征；
预测子单元，用于对深度融合后的特征进行预测，以得到标准输入图片属于每个类别的概率值；其中，类别包括起雾场景和非起雾场景。
可选地，扩充单元用于计算网络输入尺寸的第一宽高比，待识别图片的第二宽高比；计算第一宽高比与第二宽高比的比例值；依据第一宽高比、第二宽高比以及比例值，从设定的边缘镜像扩充规则列表中查找相匹配的目标边缘镜像扩充规则；其中，边缘镜像扩充规则列表包括不同边缘镜像扩充规则及其各自对应的比值范围；利用目标边缘镜像扩充规则，对待识别图片进行边缘镜像扩充。
图4所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
由上述技术方案可以看出，获取待识别图片；依据待识别图片的尺寸与网络输入尺寸的比例关系，对待识别图片进行边缘镜像扩充；按照网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片。通过对待识别图片进行边缘镜像扩充，可以有效的避免对图片进行等比例缩放时发生形变的情况，使得等比例缩放后的图片更加接近于实际场景。利用训练好的卷积神经网络模型对标准输入图片进行分析，以得到起雾场景的识别结果。卷积神经网络模型具有较好的处理性能，可以更好的结合起雾场景特性提取标准输入图片的浅层特征，浅层特征与网络高层语义特征进行加权双向特征融合，显著提高了卷积神经网络模型对起雾场景识别的准确性。
图5为本申请实施例提供的一种起雾场景的识别装置50的硬件结构示意图，包括：
存储器51，用于存储计算机程序；
处理器52，用于执行计算机程序以实现如上述任意实施例所述的起雾场景的识别方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例所述的起雾场景的识别方法的步骤。
以上对本申请实施例所提供的一种起雾场景的识别方法、装置和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (5)

1.一种起雾场景的识别方法，其特征在于，包括：
获取待识别图片；
依据所述待识别图片的尺寸与网络输入尺寸的比例关系，对所述待识别图片进行边缘镜像扩充；
按照所述网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片；
利用训练好的卷积神经网络模型对所述标准输入图片进行分析，以得到起雾场景的识别结果；
所述依据所述待识别图片的尺寸与网络输入尺寸的比例关系，对所述待识别图片进行边缘镜像扩充包括：
计算网络输入尺寸的第一宽高比，所述待识别图片的第二宽高比；计算所述第一宽高比与所述第二宽高比的比例值；
依据所述第一宽高比、所述第二宽高比以及所述比例值，从设定的边缘镜像扩充规则列表中查找相匹配的目标边缘镜像扩充规则；其中，所述边缘镜像扩充规则列表包括不同边缘镜像扩充规则及其各自对应的比值范围；
利用所述目标边缘镜像扩充规则，对所述待识别图片进行边缘镜像扩充；
所述卷积神经网络模型的训练过程包括：
将不同地点真实起雾天气下的路段图片以及合成起雾图片作为初始训练集；
依据所述初始训练集中各图片的尺寸与网络输入尺寸的比例关系，对所述初始训练集中各图片进行边缘镜像扩充；
按照所述网络输入尺寸对扩充后的各图片进行等比例缩放，以得到标准训练集；
利用所述标准训练集对构建的卷积神经网络模型进行训练，直至起雾场景的识别准确率满足预设条件，得到训练好的卷积神经网络模型；
所述合成起雾图片的生成过程包括：
获取不同地点非起雾天气下的路段图片；
基于选定的浓雾图片和渐变权重矩阵构建出起雾模板；其中，所述浓雾图片的尺寸与所述不同地点非起雾天气下的路段图片的尺寸相同；所述渐变权重矩阵依据所述非起雾天气下的路段图片设置；
将所述起雾模板与所述非起雾天气下的路段图片进行融合，以得到合成起雾图片。
2.根据权利要求1所述的起雾场景的识别方法，其特征在于，所述利用训练好的卷积神经网络模型对所述标准输入图片进行分析，以得到起雾场景的识别结果包括：
基于所述训练好的卷积神经网络模型的分组卷积子网络，对所述标准输入图片进行RGB三通道并行卷积处理，以得到三组特征数据；并将所述三组特征数据进行融合，以得到所述标准输入图片的浅层特征；
利用所述训练好的卷积神经网络模型对所述标准输入图片的浅层特征进行深度特征提取，以得到不同尺度的特征；
对所述不同尺度的特征进行融合，以得到深度融合后的特征；
对所述深度融合后的特征进行预测，以得到所述标准输入图片属于每个类别的概率值；其中，所述类别包括起雾场景和非起雾场景。
3.一种起雾场景的识别装置，其特征在于，包括获取单元、扩充单元、缩放单元和分析单元；
所述获取单元，用于获取待识别图片；
所述扩充单元，用于依据所述待识别图片的尺寸与网络输入尺寸的比例关系，对所述待识别图片进行边缘镜像扩充；
所述缩放单元，用于按照所述网络输入尺寸对扩充后的待识别图片进行等比例缩放，以得到标准输入图片；
所述分析单元，用于利用训练好的卷积神经网络模型对所述标准输入图片进行分析，以得到起雾场景的识别结果；
所述扩充单元用于计算网络输入尺寸的第一宽高比，所述待识别图片的第二宽高比；计算所述第一宽高比与所述第二宽高比的比例值；依据所述第一宽高比、所述第二宽高比以及所述比例值，从设定的边缘镜像扩充规则列表中查找相匹配的目标边缘镜像扩充规则；其中，所述边缘镜像扩充规则列表包括不同边缘镜像扩充规则及其各自对应的比值范围；利用所述目标边缘镜像扩充规则，对所述待识别图片进行边缘镜像扩充；
针对于所述卷积神经网络模型的训练过程，所述装置包括作为单元和训练单元；
所述作为单元，用于将不同地点真实起雾天气下的路段图片以及合成起雾图片作为初始训练集；
所述扩充单元，用于依据所述初始训练集中各图片的尺寸与网络输入尺寸的比例关系，对所述初始训练集中各图片进行边缘镜像扩充；
所述缩放单元，用于按照所述网络输入尺寸对扩充后的各图片进行等比例缩放，以得到标准训练集；
所述训练单元，用于利用所述标准训练集对构建的卷积神经网络模型进行训练，直至起雾场景的识别准确率满足预设条件，得到训练好的卷积神经网络模型；
针对于所述合成起雾图片的生成过程，所述装置包括构建单元和融合单元；
所述获取单元，用于获取不同地点非起雾天气下的路段图片；
所述构建单元，用于基于选定的浓雾图片和渐变权重矩阵构建出起雾模板；其中，所述浓雾图片的尺寸与所述不同地点非起雾天气下的路段图片的尺寸相同；所述渐变权重矩阵依据所述非起雾天气下的路段图片设置；
所述融合单元，用于将所述起雾模板与所述非起雾天气下的路段图片进行融合，以得到合成起雾图片。
4.一种起雾场景的识别装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至2任意一项所述起雾场景的识别方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如 权利要求1至2任一项所述起雾场景的识别方法的步骤。
CN202110383091.1A 2021-04-09 2021-04-09 一种起雾场景的识别方法、装置和计算机可读存储介质 Active CN113052124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110383091.1A CN113052124B (zh) 2021-04-09 2021-04-09 一种起雾场景的识别方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110383091.1A CN113052124B (zh) 2021-04-09 2021-04-09 一种起雾场景的识别方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113052124A CN113052124A (zh) 2021-06-29
CN113052124B true CN113052124B (zh) 2023-02-10

Family

ID=76519435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110383091.1A Active CN113052124B (zh) 2021-04-09 2021-04-09 一种起雾场景的识别方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113052124B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460337A (zh) * 2018-01-30 2018-08-28 李家菊 基于自适应云模型的大雾场景空中图像融合识别方法
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN110443759A (zh) * 2019-07-09 2019-11-12 中山大学 一种基于深度学习的图像去雾方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780498A (zh) * 2016-11-30 2017-05-31 南京信息工程大学 基于逐像素点深度卷积网络上皮和基质组织自动分割方法
CN107563388A (zh) * 2017-09-18 2018-01-09 东北大学 一种基于深度信息预分割的卷积神经网络物体识别方法
CN109948714B (zh) * 2019-03-22 2022-11-29 华南理工大学 基于残差卷积和递归神经网络的中文场景文本行识别方法
CN110033045A (zh) * 2019-04-17 2019-07-19 内蒙古工业大学 一种训练识别图像雾化的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460337A (zh) * 2018-01-30 2018-08-28 李家菊 基于自适应云模型的大雾场景空中图像融合识别方法
CN109522819A (zh) * 2018-10-29 2019-03-26 西安交通大学 一种基于深度学习的火灾图像识别方法
CN110443759A (zh) * 2019-07-09 2019-11-12 中山大学 一种基于深度学习的图像去雾方法

Also Published As

Publication number Publication date
CN113052124A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN112052787B (zh) 基于人工智能的目标检测方法、装置及电子设备
CN107704857B (zh) 一种端到端的轻量级车牌识别方法及装置
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN110555433A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111126359A (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN111461213A (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN112183542A (zh) 基于文本图像的识别方法、装置、设备和介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN112949453A (zh) 烟火检测模型的训练方法、烟火检测方法及设备
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN113052124B (zh) 一种起雾场景的识别方法、装置和计算机可读存储介质
CN114170231A (zh) 基于卷积神经网络的图像语义分割方法、装置及电子设备
CN111815677A (zh) 目标追踪方法、装置、终端设备和可读存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN113033593B (zh) 基于深度学习的文本检测训练方法及装置
CN111967579A (zh) 使用卷积神经网络对图像进行卷积计算的方法和装置
CN116206114B (zh) 一种复杂背景下人像提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant