CN109035260A - 一种天空区域分割方法、装置和卷积神经网络 - Google Patents

一种天空区域分割方法、装置和卷积神经网络 Download PDF

Info

Publication number
CN109035260A
CN109035260A CN201810844647.0A CN201810844647A CN109035260A CN 109035260 A CN109035260 A CN 109035260A CN 201810844647 A CN201810844647 A CN 201810844647A CN 109035260 A CN109035260 A CN 109035260A
Authority
CN
China
Prior art keywords
image
characteristic image
sky
subelement
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810844647.0A
Other languages
English (en)
Inventor
陈冠男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810844647.0A priority Critical patent/CN109035260A/zh
Publication of CN109035260A publication Critical patent/CN109035260A/zh
Priority to US16/436,030 priority patent/US11151403B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供了一种天空区域分割方法、装置和卷积神经网络，涉及图像处理技术领域。该方法包括：图像输入层获取原始图像；第一卷积神经网络从原始图像中提取不同尺度的多个天空特征图像；级联的多个第二卷积神经网络对多个天空特征图像进行处理，输出目标特征图像；上采样层对目标特征图像进行上采样，获得上采样特征图像；天空区域确定层将上采样特征图像中灰度值大于等于预设灰度值的像素区域确定为天空区域。在本发明中，通过级联的多个第二卷积神经网络，能够从不同尺度的图像中，多层次提取天空语义特征，从而输出的目标特征图像中可包括各个尺度的天空特征，尤其有利于准确确定浓雾暗夜场景下的天空边界，从而对天空区域进行准确分割。

Description

一种天空区域分割方法、装置和卷积神经网络
技术领域
本发明涉及图像处理技术领域，特别是涉及一种天空区域分割方法、装置和卷积神经网络。
背景技术
图像分割技术是图像处理领域中一个非常重要的研究方向，其中，天空区域分割方法，是图像分割中的一个特定应用场景，其目的是准确识别天空区域，并将其与其他目标进行区分。目前，天空分割方法在无人机视觉，气象监测，娱乐软件等方面均有应用。
目前的天空区域分割方法主要是基于梯度统计技术进行天空区域的分割。例如梯度阈值结合亮度阈值的天空区域分割方法，可以分割白天场景下的天空区域，再例如梯度统计结合能量函数优化的天空区域分割方法，可以分割有云彩的场景下的天空区域，而上述天空区域分割方法在浓雾和暗夜等天空边界不清晰的场景下，分割天空区域的准确率较低，因而上述天空区域分割方法不适用于浓雾和暗夜场景下的天空区域分割。
发明内容
本发明提供一种天空区域分割方法、装置和卷积神经网络，以解决现有的天空区域分割方法对于浓雾和暗夜等天空特征不明显的场景无法适用的问题。
为了解决上述问题，本发明公开了一种基于卷积神经网络的天空区域分割方法，所述卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，所述方法包括：
所述图像输入层获取原始图像；
所述第一卷积神经网络从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
所述上采样层对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
所述天空区域确定层将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
可选地，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像，包括：
所述第一级第二卷积神经网络对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
所述第二级第二卷积神经网络对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
所述第三级第二卷积神经网络对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
可选地，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。
可选地，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。
可选地，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
可选地，所述残差卷积单元包括：
第一激活函数子单元，用于对输入的特征图像进行非线性处理；
第一卷积子单元，用于对所述第一激活函数子单元输出的特征图像进行卷积；
第一批量归一化子单元，用于对所述第一卷积子单元输出的特征图像进行正则化处理；
第二激活函数子单元，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；
第二卷积子单元，用于对所述第二激活函数子单元输出的特征图像进行卷积；
第二批量归一化子单元，用于对所述第二卷积子单元输出的特征图像进行正则化处理；
第一叠加子单元，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述多尺度融合单元包括：
第三卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较大的一者进行卷积；
第四卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较小的一者进行卷积；
上采样子单元，用于对所述第四卷积子单元输出的特征图像进行上采样；
第二叠加子单元，用于将所述第三卷积子单元输出的特征图像和所述上采样子单元输出的特征图像进行特征叠加。
可选地，所述链式残差池化单元包括：
第一池化子单元，用于对所述多尺度融合单元输出的特征图像进行池化处理；
第五卷积子单元，用于对所述第一池化子单元输出的特征图像进行卷积；
第三批量归一化子单元，用于对所述第五卷积子单元输出的特征图像进行正则化处理；
第三叠加子单元，用于对所述多尺度融合单元输出的特征图像和所述第三批量归一化子单元输出的特征图像进行特征叠加；
第二池化子单元，用于对所述第三批量归一化子单元输出的特征图像进行池化处理；
第六卷积子单元，用于对所述第二池化子单元输出的特征图像进行卷积；
第四批量归一化子单元，用于对所述第六卷积子单元输出的特征图像进行正则化处理；
第四叠加子单元，用于对所述第三叠加子单元输出的特征图像和所述第四批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述图像输入层获取原始图像之前，还包括：
利用天空场景的训练图像，通过随机梯度下降法对所述卷积神经网络进行训练。
可选地，所述随机梯度下降法的损失函数Loss为：
其中，所述H为所述训练图像的像素总行数，所述W为所述训练图像的像素总列数，所述i为所述训练图像的像素行数，所述j为所述训练图像的像素列数，所述Iij为所述训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，所述I′ij为迭代后的卷积神经网络输出的所述目标像素属于天空区域的输出结果。
为了解决上述问题，本发明还公开了一种用于分割天空区域的卷积神经网络，所述卷积神经网络包括：
图像输入层，用于获取原始图像；
第一卷积神经网络，用于从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
级联的多个第二卷积神经网络，用于对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
上采样层，用于对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
天空区域确定层，用于将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
可选地，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
第一级第二卷积神经网络，用于对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二级第二卷积神经网络，用于对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三级第二卷积神经网络，用于对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
可选地，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。
可选地，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。
可选地，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
可选地，所述残差卷积单元包括：
第一激活函数子单元，用于对输入的特征图像进行非线性处理；
第一卷积子单元，用于对所述第一激活函数子单元输出的特征图像进行卷积；
第一批量归一化子单元，用于对所述第一卷积子单元输出的特征图像进行正则化处理；
第二激活函数子单元，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；
第二卷积子单元，用于对所述第二激活函数子单元输出的特征图像进行卷积；
第二批量归一化子单元，用于对所述第二卷积子单元输出的特征图像进行正则化处理；
第一叠加子单元，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述多尺度融合单元包括：
第三卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较大的一者进行卷积；
第四卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较小的一者进行卷积；
上采样子单元，用于对所述第四卷积子单元输出的特征图像进行上采样；
第二叠加子单元，用于将所述第三卷积子单元输出的特征图像和所述上采样子单元输出的特征图像进行特征叠加。
可选地，所述链式残差池化单元包括：
第一池化子单元，用于对所述多尺度融合单元输出的特征图像进行池化处理；
第五卷积子单元，用于对所述第一池化子单元输出的特征图像进行卷积；
第三批量归一化子单元，用于对所述第五卷积子单元输出的特征图像进行正则化处理；
第三叠加子单元，用于对所述多尺度融合单元输出的特征图像和所述第三批量归一化子单元输出的特征图像进行特征叠加；
第二池化子单元，用于对所述第三批量归一化子单元输出的特征图像进行池化处理；
第六卷积子单元，用于对所述第二池化子单元输出的特征图像进行卷积；
第四批量归一化子单元，用于对所述第六卷积子单元输出的特征图像进行正则化处理；
第四叠加子单元，用于对所述第三叠加子单元输出的特征图像和所述第四批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述卷积神经网络还包括：
网络训练层，用于利用天空场景的训练图像，通过随机梯度下降法对所述卷积神经网络进行训练。
可选地，所述随机梯度下降法的损失函数Loss为：
其中，所述H为所述训练图像的像素总行数，所述W为所述训练图像的像素总列数，所述i为所述训练图像的像素行数，所述j为所述训练图像的像素列数，所述Iij为所述训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，所述I′ij为迭代后的卷积神经网络输出的所述目标像素属于天空区域的输出结果。
为了解决上述问题，本发明还公开了一种基于卷积神经网络的天空区域分割装置，所述装置包括处理器和存储器，所述处理器与所述存储器通过总线连接，所述存储器存储上述基于卷积神经网络的天空区域分割方法的执行指令，所述处理器用于执行所述执行指令；所述卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，所述处理器包括：
获取模块，用于控制所述图像输入层获取原始图像；
提取模块，用于控制所述第一卷积神经网络从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
处理模块，用于控制所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
上采样模块，用于控制所述上采样层对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
确定模块，用于控制所述天空区域确定层将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
可选地，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
所述处理模块包括：
第一特征处理子模块，用于控制所述第一级第二卷积神经网络对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二特征处理子模块，用于控制所述第二级第二卷积神经网络对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三特征处理子模块，用于控制所述第三级第二卷积神经网络对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
可选地，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
与现有技术相比，本发明包括以下优点：
在本发明实施例中，可以首先获取原始图像，并通过第一卷积神经网络，从原始图像中提取不同尺度的多个天空特征图像，然后可以通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，输出目标特征图像，进而可以对目标特征图像进行上采样，从而获得与原始图像尺度相同的上采样特征图像，然后可以将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。本发明实施例中，可以提取不同尺度的多个天空特征图像，并通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，能够从不同尺度的图像中，多层次的提取原始图像中的天空语义特征，从而输出的目标特征图像中可以包括各个尺度的天空特征，尤其有利于准确确定浓雾和暗夜场景下的天空边界，如此，能够对浓雾和暗夜场景下的天空区域进行准确分割。
附图说明
图1示出了本发明实施例一的一种天空区域分割方法的步骤流程图；
图2示出了本发明实施例二的一种天空区域分割方法的步骤流程图；
图3示出了本发明实施例三的一种用于分割天空区域的卷积神经网络的结构框图；
图4示出了本发明实施例三的一种第二卷积神经网络的结构框图；
图5示出了本发明实施例三的一种残差卷积单元的结构框图；
图6示出了本发明实施例三的一种链式残差池化单元的结构框图；
图7示出了本发明实施例四的一种基于卷积神经网络的天空区域分割装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参照图1，示出了本发明实施例一的一种基于卷积神经网络的天空区域分割方法的步骤流程图。该卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，本发明实施例的天空区域分割方法可以包括以下步骤：
步骤101：图像输入层获取原始图像。
在本发明实施例中，可以向卷积神经网络中的图像输入层输入一需要进行天空区域分割的原始图像，从而图像输入层可以获取到该原始图像。
步骤102：第一卷积神经网络从原始图像中提取不同尺度的多个天空特征图像；每个天空特征图像的尺度均小于原始图像的尺度。
在本发明实施例中，可以通过卷积神经网络中的第一卷积神经网络，从原始图像中提取不同尺度的多个天空特征图像。具体地，该第一卷积神经网络中可以包括能够提取浓雾和暗夜场景下的不同天空特征的多个卷积层，以及多个池化层，其中，一个或多个卷积层之后可以连接一池化层，可以将图像输入卷积层以进行浓雾和暗夜场景下的天空特征提取，进而输出天空特征图像，可以将图像输入池化层以进行下采样，从而可以提取图像的低频特征，并且减小天空特征图像的尺度，也即池化层的输出图像的尺度小于输入图像的尺度，例如1/2池化层的输出图像的尺度是输入图像的尺度的1/2。由于各个天空特征图像在输出之前经过池化层的数量不同，因此各个天空特征图像的尺度不同。
在本发明实施例中，可以将原始图像输入第一卷积神经网络中，并从中获得特定卷积层输出的天空特征图像，也即可以获得不同尺度的多个天空特征图像。由于各个天空特征图像在输出之前均会经过1/2池化层进行下采样，因此每个天空特征图像的尺度均小于原始图像的尺度。
步骤103：级联的多个第二卷积神经网络对多个天空特征图像进行处理，输出目标特征图像；目标特征图像的尺度与多个天空特征图像中的最大尺度相同。
在本发明实施例中，每个第二卷积神经网络均可以输入两个不同尺度的天空特征图像，从而可以对输入的两个天空特征图像分别进行特征处理，然后可以对特征处理后的两个特征图像中尺度较小的一者进行上采样，以增大该特征图像的尺度，从而获得尺度相同的两个特征图像，进而可以将尺度相同的两个特征图像中位置相同的像素点的像素值相加，从而进行特征融合，得到特征融合后的特征图像，之后可以对特征融合后的特征图像进行链式残差池化，以提取特征图像中的低频特征，然后可以对池化后的特征图像进行卷积，从而输出一个中间目标特征图像，每个第二卷积神经网络输出的中间目标特征图像可以作为下一个第二卷积神经网络的输入特征图像之一。
多个天空特征图像可以包括尺度依次增大的第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，相应的，多个第二卷积神经网络具体可以包含三级第二卷积神经网络。对于第一级第二卷积神经网络，其输入的特征图像为多个天空特征图像中尺度最小的两个，也即第一天空特征图像和第二天空特征图像。对于第二级第二卷积神经网络，其输入的特征图像为第一级第二卷积神经网络输出的中间目标特征图像，以及此时未输入的天空特征图像中尺度最小的一者，也即第三天空特征图像。对于第三级第二卷积神经网络，其输入的特征图像为第二级第二卷积神经网络输出的中间目标特征图像，以及此时未输入的天空特征图像，也即第四天空特征图像。
在本发明实施例中，可以从原始图像中提取尺度不同，且尺度均小于原始图像的多个天空特征图像，并通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，从而小尺度的特征通道会进行上采样并与大尺度的特征通道叠加，形成新的大尺度特征通道，能够多层次提取浓雾和暗夜场景下的天空语义特征，从而输出的目标特征图像中可以包括各个尺度的天空特征，有利于准确确定浓雾和暗夜场景下的天空边界，如此，能够对浓雾和暗夜场景下的天空区域进行准确分割。
步骤104：上采样层对目标特征图像进行上采样，获得与原始图像尺度相同的上采样特征图像。
在本发明实施例中，由于目标特征图像的尺度与尺度最大的天空特征图像的尺度相同，但目标特征图像的尺度仍小于原始图像的尺度，因此，处理设备可以对目标特征图像进行上采样，从而获得与原始图像尺度相同的上采样特征图像。由于上采样特征图像基于不同尺度的低频特征得到，因此，上采样特征图像中可以包括天空区域的低频特征。
步骤105：天空区域确定层将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
在本发明实施例中，获得上采样特征图像之后，处理设备可以将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域，从而可以分割出原始图像中的天空区域。
在本发明实施例中，可以首先获取原始图像，并通过第一卷积神经网络，从原始图像中提取不同尺度的多个天空特征图像，然后可以通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，输出目标特征图像，进而可以对目标特征图像进行上采样，从而获得与原始图像尺度相同的上采样特征图像，然后可以将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。本发明实施例中，可以提取不同尺度的多个天空特征图像，并通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，能够从不同尺度的图像中，多层次的提取原始图像中的天空语义特征，从而输出的目标特征图像中可以包括各个尺度的天空特征，尤其有利于准确确定浓雾和暗夜场景下的天空边界，如此，能够对浓雾和暗夜场景下的天空区域进行准确分割。
实施例二
参照图2，示出了本发明实施例二的一种天空区域分割方法的步骤流程图。本发明实施例的天空区域分割方法可以包括以下步骤：
步骤201：利用天空场景的训练图像，通过随机梯度下降法对卷积神经网络进行训练。
在本发明实施例中，首先可以获取待训练的卷积神经网络，以及各个天空场景的训练图像，然后每次可以从每个天空场景的训练图像中随机抽取预设数量的目标训练图像，进而将每次抽取的目标训练图像依次输入至卷积神经网络中进行梯度下降迭代训练，直至迭代次数达到预设次数，完成训练，获得训练好的卷积神经网络。
其中，各个天空场景的训练图像可以包括夜晚环境光线较好场景下的训练图像、夜晚环境光线差场景下的训练图像、白天浓雾场景下的训练图像、白天轻雾且有日光干扰场景下的训练图像等等，当然还可以包括晴天场景下的训练图像、晴天有云场景下的训练图像等等，本发明实施例对此不作限定。现有的skyFinder数据集中包括各种天空场景的图像，每个图像中均包含天空区域，因此skyFinder数据集可以用于训练卷积神经网络，skyFinder数据集可以在互联网上的专用数据库中下载得到，并存储在本方法的执行设备中，在需要训练卷积神经网络时，设备可以调用skyFinder数据集对卷积神经网络进行训练。skyFinder数据集有46个天空场景，8万余帧图片。skyFinder数据集中训练集与测试集的比例为9∶1，也即skyFinder数据集中90％的图像可以用于网络训练，10％的图像可以用于测试训练后的网络。
在本发明实施例中，可以对每个训练图像中的天空区域进行标定，从而为待训练的卷积神经网络提供真实分割结果以供学习。其中，对天空区域进行标定的步骤具体可以包括：将真实属于天空区域的像素点标定为1，非天空区域的像素点可以标定为0。
另外，在训练过程中，由于每个天空场景的训练图像在每次迭代时被随机抽取，因此某些训练图像会被抽取多次，而某些训练图像可能在多次迭代过程中不会被抽取，从而可以防止训练后的卷积神经网络出现过拟合的情况，进而提高了分割天空区域的准确度。
在本发明实施例中，在进行训练之前，首先可以设置随机梯度下降法的学习率，例如学习率可以为1e-4等等，以及定义随机梯度下降法的损失函数Loss，损失函数Loss可以为：
其中，在上述公式(1)中，H为训练图像的像素总行数，W为训练图像的像素总列数，i为训练图像的像素行数，j为训练图像的像素列数，Iij为训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，I′ij为迭代后的卷积神经网络输出的目标像素属于天空区域的输出结果。
其中，对于任一训练图像中的目标像素，当该目标像素实际属于天空区域时，真实结果Iij即为1，也即是天空区域的标定1，当该目标像素实际不属于天空区域时，真实结果Iij即为0，也即是非天空区域的标定1。当该目标像素经过迭代后的卷积神经网络后输出为天空区域的像素时，输出结果I′ij即为1，也即是天空区域的标定1，当目标像素经过迭代后的卷积神经网络后输出不为天空区域的像素时，输出结果I′ij即为0。
损失函数Loss可以用于评估每次迭代后的卷积神经网络的拟合程度。可以将一次抽取的训练图像，依次输入至包括待训练的卷积神经网络中，从而待训练的卷积神经网络可以对训练图像中标定的天空区域进行学习，其中，待训练的卷积神经网络中只有级联的多个第二卷积神经网络中的参数未确定，学习完毕后，可以更新级联的多个第二卷积神经网络中的各个参数，并确定此时损失函数Loss的取值，从而完成卷积网络的一次迭代训练。进而可以再一次随机抽取训练图像，然后可以将此次抽取的训练图像，输入至经过一次迭代训练的卷积神经网络中，从而经过一次迭代训练的卷积神经网络可以对此次抽取的训练图像中标定的天空区域进行学习，学习完毕后，可以再次更新经过一次迭代训练的级联的多个第二卷积神经网络中的各个参数，并再次确定此时损失函数Loss的取值，从而完成卷积神经网络的二次迭代训练。沿着损失函数Loss的梯度下降方向，损失函数Loss的取值会逐渐减小，以此类推，直至迭代次数达到预设次数时，损失函数Loss的取值变化很小，从而训练完成，可以选择使损失函数Loss到达最小取值时的各个参数，作为级联的多个第二卷积神经网络的最终参数，从而获得训练好的多个第二卷积神经网络，也即获得所有参数均确定的卷积神经网络。
在实际应用中，可以每次从每个天空场景类别中随机抽取20帧训练图像进行训练，也即进行一次迭代一共需要从46个场景中抽取920帧目标训练图像，总共可以进行100次迭代，如此，将有92000帧次图像参与训练。训练图像采用随机抽取的方式，可以防止卷积神经网络出现过拟合的情况，进而提高卷积神经网络分割天空区域的准确度。
在训练完成后，可以通过skyFinder数据集中的测试集，对卷积神经网络进行测试，该卷积神经网络的分割准确率可达98％。
还需要说明的是，在实际应用中，第一卷积神经网络可以为现有的VGG-19卷积神经网络，相应的，第一卷积神经网络可以直接导入现有VGG-19卷积神经网络中的预训练参数，也即第一卷积神经网络可以为已训练好的VGG-19卷积神经网络，因此在训练卷积神经网络的过程中，无需对第一卷积神经网络进行训练，从而可以节省训练时间。
步骤202：图像输入层获取原始图像。
在本发明实施例中，可以向卷积神经网络中的图像输入层输入一需要进行天空区域分割的原始图像，从而图像输入层可以获取到该原始图像。
步骤203：第一卷积神经网络从原始图像中提取不同尺度的多个天空特征图像；每个天空特征图像的尺度均小于原始图像的尺度。
在本发明实施例中，多个天空特征图像可以包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，其中，第一天空特征图像的尺度为第二天空特征图像尺度的1/2，第二天空特征图像的尺度为第三天空特征图像尺度的1/2，第三天空特征图像的尺度为第四天空特征图像尺度的1/2。
在实际应用中，第一卷积神经网络具体可以为VGG-19卷积神经网络，VGG-19卷积神经网络可以包括16个3×3卷积核的卷积层，以及3个全连接层，其中，第2卷积层、第4卷积层、第8卷积层、第12卷积层、第16卷积层之后分别连接一1/2池化层，从而可以对第2卷积层、第4卷积层、第8卷积层、第12卷积层、第16卷积层的输出图像进行1/2池化处理，也即可以将输出图像的尺度缩小一半。在本发明实施例中，第四天空特征图像为第一卷积神经网络中第4卷积层的输出图像，第三天空特征图像为第一卷积神经网络中第8卷积层的输出图像，第二天空特征图像为第一卷积神经网络中第12卷积层的输出图像，第一天空特征图像为第一卷积神经网络中第16卷积层的输出图像。
在本发明实施例中，可以将原始图像输入VGG-19卷积神经网络，并从中获得第4，8，12，16卷积层所输出的天空特征图像。其中，第4卷积层输出的第四天空特征图像经过一次1/2池化，因此第四天空特征图像的尺度为原始图像尺度的1/2，第8卷积层输出的第三天空特征图像经过两次1/2池化，因此第三天空特征图像的尺度为原始图像尺度的1/4，第12卷积层输出的第二天空特征图像经过1/2三次池化，因此第二天空特征图像的尺度为原始图像尺度的1/8，第16卷积层输出的第一天空特征图像经过四次1/2池化，因此第一天空特征图像的尺度为原始图像尺度的1/16。每个天空特征图像中包含原始图像在对应尺度下的卷积特征。
步骤204：第一级第二卷积神经网络对第一天空特征图像和第二天空特征图像进行特征处理，获得与第二天空特征图像尺度相同的第一中间目标特征图像。
在本发明实施例中，对应于4个不同尺度的天空特征图像，级联的多个第二卷积神经网络具体可以包含三级第二卷积神经网络，也即第一级第二卷积神经网络、第二级第二卷积神经网络和第三级第二卷积神经网络。其中，每级第二卷积神经网络均可以包括残差卷积单元、多尺度融合单元、链式残差池化单元和卷积输出单元。残差卷积单元可以用于对输入的特征图像进行全局特征提取，多尺度融合单元可以用于对残差卷积单元输出的特征图像进行特征融合，链式残差池化单元可以用于对多尺度融合单元输出的特征图像进行低频特征提取，卷积输出单元可以用于对链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
具体地，残差卷积单元可以包括第一激活函数子单元、第一卷积子单元、第一批量归一化(batch normalization，BN)子单元、第二激活函数子单元、第二卷积子单元、第二批量归一化子单元和第一叠加子单元。第一激活函数子单元可以用于对输入的特征图像进行非线性处理，第一卷积子单元可以用于对第一激活函数子单元输出的特征图像进行卷积，第一批量归一化子单元可以用于对第一卷积子单元输出的特征图像进行正则化处理，第二激活函数子单元可以用于对第一批量归一化子单元输出的特征图像进行非线性处理，第二卷积子单元可以用于对第二激活函数子单元输出的特征图像进行卷积，第二批量归一化子单元可以用于对第二卷积子单元输出的特征图像进行正则化处理，第一叠加子单元可以用于对输入第一激活函数子单元的特征图像和第二批量归一化子单元输出的特征图像进行特征叠加。
在本步骤中，可以将1/16尺度的第一天空特征图像输入第一激活函数子单元，从而第一激活函数子单元可以对第一天空特征图像进行非线性处理，输出具有非线性特征的特征图像，进而可以将该特征图像输入至第一卷积子单元，从而第一卷积子单元可以对第一激活函数子单元输出的特征图像进行卷积，输出具有卷积特征的特征图像，然后可以将该特征图像输入至第一批量归一化子单元，从而第一批量归一化子单元可以对第一卷积子单元输出的特征图像进行正则化处理，输出特征正则化的特征图像，之后可以将该特征图像输入至第二激活函数子单元，从而第二激活函数子单元可以对第一批量归一化子单元输出的特征图像进行非线性处理，输出具有非线性特征的特征图像，进而可以将该特征图像输入至第二卷积子单元，从而第二卷积子单元可以对第二激活函数子单元输出的特征图像进行卷积输出具有卷积特征的特征图像，然后可以将该特征图像输入至第二批量归一化子单元，从而第二批量归一化子单元可以对第二卷积子单元输出的特征图像进行正则化处理，输出特征正则化的特征图像，之后可以将该特征图像输入至第一叠加子单元，从而第一叠加子单元可以对输入第一激活函数子单元的第一天空特征图像和第二批量归一化子单元输出的特征图像进行特征叠加，输出具有叠加特征的特征图像。至此，可以对第一天空特征图像进行全局特征提取。
同样地，残差卷积单元也可以通过上述方式，对1/8尺度的第二天空特征图像进行全局特征提取。在实际应用中，每级第二卷积神经网络可以包括两个残差卷积单元，从而可以通过两个残差卷积单元同时对1/16尺度的第一天空特征图像，以及1/8尺度的第二天空特征图像进行全局特征提取。
需要说明的是，由于残差卷积单元中不存在缩小图像尺寸的子单元，因此，残差卷积单元中每个子单元输出的图像的尺度，均与输入残差卷积单元的特征图像的尺度相同。例如，将1/16尺度的第一天空特征图像输入残差卷积单元，则残差卷积单元输出图像的尺度为原始图像尺度的1/16，将1/8尺度的第二天空特征图像输入残差卷积单元，则残差卷积单元输出图像的尺度为原始图像尺度的1/8。
还需要说明的是，将两个特征图像进行特征融合的步骤具体是指，将两个特征图像中位置相同的像素点的像素值相加，从而利用各个位置的像素值之和，可以组成新的特征图像，也即对于新的特征图像中位置为(i，j)的像素点，该像素点的像素值等于第一个特征图像中(i，j)像素点的像素值与第二个特征图像中(i，j)像素点的像素值之和，从而实现两个特征图像的特征融合。其中，像素点的像素值具体指像素点的RGB(Red GreenBlue)值，也即可以将位置相同像素点的R分量相加，G分量相加，B分量相加，得到新像素点的RGB值。
残差卷积单元的主要作用是通过残差方式，对输入的天空特征图像进行进一步特征提取，残差卷积单元可以将输入图像与该层的最终卷积结果进行叠加，因此残差卷积单元的输出是全局的语义特征。
其中，第一激活函数子单元和第二激活函数子单元可以对输入的特征图像进行非线性处理，以增加深度网络的非线性，从而使深度网络的输出结果更符合真实结果的非线性规律。在实际应用中，第一激活函数子单元和第二激活函数子单元中的激活函数均可以为Relu函数。在实际应用中，第一卷积子单元和第二卷积子单元的卷积核均可以为3×3大小，或者其他大小。第一批量归一化子单元和第二批量归一化子单元可以对卷积后的特征图像进行正则化处理。通过在每个卷积子单元之后设置一个批量归一化子单元，能够避免在卷积神经网络的训练过程中，发生梯度爆炸的情况。
进一步地，多尺度融合单元可以包括第三卷积子单元、第四卷积子单元、上采样子单元和第二叠加子单元。第三卷积子单元可以用于对残差卷积单元输出的特征图像中尺度较大的一者进行卷积，第四卷积子单元可以用于对残差卷积单元输出的特征图像中尺度较小的一者进行卷积，上采样子单元可以用于对第四卷积子单元输出的特征图像进行上采样，第二叠加子单元可以用于将第三卷积子单元输出的特征图像和上采样子单元输出的特征图像进行特征叠加。
在本步骤中，可以将残差卷积单元输出的1/8尺度的特征图像输入至第三卷积子单元，从而第三卷积子单元可以对1/8尺度的特征图像进行卷积，输出具有卷积特征的特征图像，还可以将残差卷积单元输出的1/16尺度的特征图像输入至第四卷积子单元，从而第四卷积子单元可以对1/16尺度的特征图像进行卷积，输出具有卷积特征的特征图像，然后可以将第四卷积子单元输出的特征图像输入至上采样子单元，从而上采样子单元可以对第四卷积子单元输出的特征图像进行上采样，输出尺度扩大一倍的、1/8尺度的特征图像，进而可以将第三卷积子单元输出的1/8尺度特征图像，以及上采样子单元输出的1/8尺度特征图像输入至第二叠加子单元，从而第二叠加子单元可以对这两个1/8尺度的特征图像进行特征叠加，输出1/8尺度的、具有叠加特征的特征图像。至此，可以对残差卷积单元输出的特征图像进行特征融合。
进一步地，链式残差池化单元可以包括第一池化子单元、第五卷积子单元、第三叠加子单元、第三批量归一化子单元、第二池化子单元、第六卷积子单元、第四批量归一化子单元和第四叠加子单元。第一池化子单元可以用于对多尺度融合单元输出的特征图像进行池化处理，第五卷积子单元可以用于对第一池化子单元输出的特征图像进行卷积，第三批量归一化子单元可以用于对第五卷积子单元输出的特征图像进行正则化处理，第三叠加子单元可以用于对多尺度融合单元输出的特征图像和第三批量归一化子单元输出的特征图像进行特征叠加，第二池化子单元可以用于对第三批量归一化子单元输出的特征图像进行池化处理，第六卷积子单元可以用于对第二池化子单元输出的特征图像进行卷积，第四批量归一化子单元可以用于对第六卷积子单元输出的特征图像进行正则化处理，第四叠加子单元可以用于对第三叠加子单元输出的特征图像和第四批量归一化子单元输出的特征图像进行特征叠加。
在本步骤中，可以将多尺度融合单元输出的特征图像输入至第一池化子单元，从而第一池化子单元可以对多尺度融合单元输出的特征图像进行池化处理，经过池化后，特征图像尺寸缩小，可以在特征图像周边补充一圈或多圈像素值为(0，0，0)的像素，从而使得第一池化子单元输出的具有聚合特征的特征图像，与第一池化子单元输入图像的尺度相同，然后可以将第一池化子单元输出的特征图像输入至第五卷积子单元，从而第五卷积子单元可以对第一池化子单元输出的特征图像进行卷积，输出具有卷积特征的特征图像，之后可以将该特征图像输入至第三批量归一化子单元，从而第三批量归一化子单元可以对第五卷积子单元输出的特征图像进行正则化处理，输出特征正则化的特征图像，之后可以将该特征图像输入至第三叠加子单元，从而第三叠加子单元可以对多尺度融合单元输出的特征图像和第三批量归一化子单元输出的特征图像进行特征叠加，也即特征融合，输出具有叠加特征的特征图像，然后可以将该特征图像输入至第二池化子单元，从而第二池化子单元可以对第三批量归一化子单元输出的特征图像进行池化处理，经过池化后，特征图像尺寸缩小，可以在特征图像周边补充一圈或多圈像素值为(0，0，0)的像素，从而使得第二池化子单元输出的具有聚合特征的特征图像，与第一池化子单元输入图像的尺度相同，进而可以将第二池化子单元输出的特征图像输入至第六卷积子单元，从而第六卷积子单元可以对第二池化子单元输出的特征图像进行卷积，输出具有卷积特征的特征图像，之后可以将该特征图像输入至第四批量归一化子单元，从而第四批量归一化子单元可以对第六卷积子单元输出的特征图像进行正则化处理，输出特征正则化的特征图像，之后可以将该特征图像输入至第四叠加子单元，从而第四叠加子单元可以对第三叠加子单元输出的特征图像和第四批量归一化子单元输出的特征图像进行特征叠加，输出具有叠加特征的特征图像。至此，可以对多尺度融合单元输出的特征图像进行低频特征提取。
链式残差池化单元中的每个子单元输出的特征图像，其尺度均与输入链式残差池化单元的特征图像的尺度相同。多尺度融合单元输出的1/8尺度的特征图像输入至链式残差池化单元之后，链式残差池化单元可以输出1/8尺度的特征图像。
链式残差池化单元的主要作用，是通过池化过程获取输入特征图像中的低频语义特征，并通过残差卷方式与输入特征图像的特征融合，从而获得全局的低频语义特征。链式残差池化单元可以将输入特征图像与第一次卷积后的特征图像进行特征融合，再将特征融合后的特征图像与第二次卷积后的特征图像进行特征融合，从而可以获得全局的低频语义特征。
其中，第一池化子单元和第二池化子单元可以对输入的特征图像进行池化处理，在实际应用中，第一池化子单元和第二池化子单元的图像输入块可以为5×5大小，或者其他大小。在实际应用中，第五卷积子单元和第六卷积子单元的卷积核均可以为3×3大小，或者其他大小。第三批量归一化子单元和第四批量归一化子单元可以对卷积后的特征图像进行正则化处理。通过在每个卷积层之后设置一个批量归一化层，能够避免在深度网络的训练过程中，发生梯度爆炸的情况。
进一步地，在本步骤中，卷积输出单元具体可以包括第七卷积子单元，可以用于对链式残差池化单元输出的特征图像进行卷积，得到具有卷积特征的中间目标特征图像或目标特征图像。其中，第一级第二卷积神经网络的卷积输出单元可以输出第一中间目标特征图像，第二级第二卷积神经网络的卷积输出单元可以输出第二中间目标特征图像，第三级第二卷积神经网络的卷积输出单元可以输出目标特征图像。第一中间目标特征图像可以作为第二级第二卷积神经网络的其中一个输入图像，第二中间目标特征图像可以作为第三级第二卷积神经网络的其中一个输入图像。
由于卷积处理不改变特征图像的尺度，因此卷积输出单元输出的特征图像尺度与输入卷积输出单元的特征图像尺度相同。链式残差池化单元输出的1/8尺度的特征图像输入至卷积输出单元之后，卷积输出单元可以输出1/8尺度的特征图像。在实际应用中，卷积输出单元的卷积核可以为3×3大小，或者其他大小。
至此，可以通过第一级第二卷积神经网络获得第一个中间目标特征图像。
步骤205：第二级第二卷积神经网络对第一中间目标特征图像和第三天空特征图像进行特征处理，获得与第三天空特征图像尺度相同的第二中间目标特征图像。
在本发明实施例中，第二级第二卷积神经网络同样包括残差卷积单元、多尺度融合单元、链式残差池化单元和卷积输出单元，第二级第二卷积神经网络对第一中间目标特征图像和第三天空特征图像进行特征处理的过程，与步骤204中第一极第二卷积神经网络对第一天空特征图像和第二天空特征图像进行特征处理的过程相同，在此不做赘述。
在实际应用中，可以将1/8尺度的第一中间目标特征图像和1/4尺度的第三天空特征图像输入至第二级第二卷积神经网络中，从而第二级第二卷积神经网络可以对第一中间目标特征图像和第三天空特征图像进行特征处理，输出1/4尺度的第二中间目标特征图像，第二中间目标特征图像的尺度为原始图像尺度的1/4，其尺度与第三天空特征图像的尺度相同。
步骤206：第三级第二卷积神经网络对第二中间目标特征图像和第四天空特征图像进行特征处理，获得与第四天空特征图像尺度相同的目标特征图像。
在本发明实施例中，第三级第二卷积神经网络同样包括残差卷积单元、多尺度融合单元、链式残差池化单元和卷积输出单元，第三级第二卷积神经网络对第二中间目标特征图像和第四天空特征图像进行特征处理的过程，与步骤204中第一极第二卷积神经网络对第一天空特征图像和第二天空特征图像进行特征处理的过程相同，在此不做赘述。
在实际应用中，可以将1/4尺度的第二中间目标特征图像和1/2尺度的第四天空特征图像输入至第三级第二卷积神经网络中，从而第三级第二卷积神经网络可以对第二中间目标特征图像和第四天空特征图像进行特征处理，输出1/2尺度的目标特征图像，目标特征图像的尺度为原始图像尺度的1/2，其尺度与第四天空特征图像的尺度相同。
步骤207：上采样层对目标特征图像进行上采样，获得与原始图像尺度相同的上采样特征图像。
在本发明实施例中，通过级联的多个第二卷积神经网络获得目标特征图像之后，卷积神经网络中的上采样层可以对目标特征图像进行上采样，从而扩大目标特征图像的尺度，使扩大后的目标特征图像与原始图像的尺度相同，也即可以获得与原始图像尺度相同的上采样特征图像。
步骤208：天空区域确定层将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
在本发明实施例中，天空区域确定层具体可以为一二值化掩膜层，上采样特征图像输入至二值化掩膜层后，可以对上采样特征图像进行二值化处理，在经过二值化处理后得到的二值化掩膜图像中，灰度值大于或等于预设灰度值的像素区域均为白色像素点，其灰度值均为255，灰度值小于预设灰度值的像素区域均为黑色像素点，其灰度值均为0，进而处理设备可以将二值化掩膜图像中的白色像素区域确定为天空区域，从而实现原始图像的天空区域分割。
在本发明实施例中，可以首先利用天空场景的训练图像，通过随机梯度下降法对卷积神经网络进行训练，从而得到训练后的卷积神经网络，之后可以获取原始图像，并通过第一卷积神经网络，从原始图像中提取不同尺度的多个天空特征图像，然后可以通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，输出目标特征图像，进而可以对目标特征图像进行上采样，从而获得与原始图像尺度相同的上采样特征图像，然后可以将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。本发明实施例中，可以提取不同尺度的多个天空特征图像，并通过级联的多个第二卷积神经，对多个天空特征图像进行处理，能够从不同尺度的图像中，多层次的提取原始图像中的天空语义特征，从而输出的目标特征图像中可以包括各个尺度的天空特征，尤其有利于准确确定浓雾和暗夜场景下的天空边界，如此，能够对浓雾和暗夜场景下的天空区域进行准确分割。
实施例三
参照图3，示出了本发明实施例三的一种用于分割天空区域的卷积神经网络的结构框图，所述卷积神经网络30包括：
图像输入层31，用于获取原始图像；
第一卷积神经网络32，用于从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
级联的多个第二卷积神经网络33，用于对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
上采样层34，用于对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
天空区域确定层35，用于将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
可选地，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；参照图3，所述级联的多个第二卷积神经网络33包含三级第二卷积神经网络；
第一级第二卷积神经网络331，用于对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二级第二卷积神经网络332，用于对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三级第二卷积神经网络333，用于对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
可选地，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。
可选地，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。
可选地，参照图4，每级所述第二卷积神经网络均包括：
残差卷积单元3301，用于对输入的特征图像进行全局特征提取；
多尺度融合单元3302，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元3303，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元3304，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
可选地，参照图5，所述残差卷积单元3301包括：
第一激活函数子单元33011，用于对输入的特征图像进行非线性处理；
第一卷积子单元33012，用于对所述第一激活函数子单元输出的特征图像进行卷积；
第一批量归一化子单元33013，用于对所述第一卷积子单元输出的特征图像进行正则化处理；
第二激活函数子单元33014，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；
第二卷积子单元33015，用于对所述第二激活函数子单元输出的特征图像进行卷积；
第二批量归一化子单元33016，用于对所述第二卷积子单元输出的特征图像进行正则化处理；
第一叠加子单元33017，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。
可选地，参照图4，所述多尺度融合单元3302包括：
第三卷积子单元33021，用于对所述残差卷积单元输出的特征图像中尺度较大的一者进行卷积；
第四卷积子单元33022，用于对所述残差卷积单元输出的特征图像中尺度较小的一者进行卷积；
上采样子单元33023，用于对所述第四卷积子单元输出的特征图像进行上采样；
第二叠加子单元33024，用于将所述第三卷积子单元输出的特征图像和所述上采样子单元输出的特征图像进行特征叠加。
可选地，参照图6，所述链式残差池化单元3303包括：
第一池化子单元33031，用于对所述多尺度融合单元输出的特征图像进行池化处理；
第五卷积子单元33032，用于对所述第一池化子单元输出的特征图像进行卷积；
第三批量归一化子单元33033，用于对所述第五卷积子单元输出的特征图像进行正则化处理；
第三叠加子单元33034，用于对所述多尺度融合单元输出的特征图像和所述第三批量归一化子单元输出的特征图像进行特征叠加；
第二池化子单元33035，用于对所述第三批量归一化子单元输出的特征图像进行池化处理；
第六卷积子单元33036，用于对所述第二池化子单元输出的特征图像进行卷积；
第四批量归一化子单元33037，用于对所述第六卷积子单元输出的特征图像进行正则化处理；
第四叠加子单元33038，用于对所述第三叠加子单元输出的特征图像和所述第四批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述卷积神经网络30还包括：
网络训练层，用于利用天空场景的训练图像，通过随机梯度下降法对所述卷积神经网络进行训练。
可选地，所述随机梯度下降法的损失函数Loss为：
其中，所述H为所述训练图像的像素总行数，所述W为所述训练图像的像素总列数，所述i为所述训练图像的像素行数，所述j为所述训练图像的像素列数，所述Iij为所述训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，所述I′ij为迭代后的卷积神经网络输出的所述目标像素属于天空区域的输出结果。
在本发明实施例中，可以首先通过图像输入层获取原始图像，并通过第一卷积神经网络，从原始图像中提取不同尺度的多个天空特征图像，然后可以通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，输出目标特征图像，进而可以通过上采样层对目标特征图像进行上采样，从而获得与原始图像尺度相同的上采样特征图像，然后可以通过天空区域确定层，将上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。本发明实施例中，可以提取不同尺度的多个天空特征图像，并通过级联的多个第二卷积神经网络，对多个天空特征图像进行处理，能够从不同尺度的图像中，多层次的提取原始图像中的天空语义特征，从而输出的目标特征图像中可以包括各个尺度的天空特征，尤其有利于准确确定浓雾和暗夜场景下的天空边界，如此，能够对浓雾和暗夜场景下的天空区域进行准确分割。
实施例四
参照图7，示出了本发明实施例四的一种基于卷积神经网络的天空区域分割装置的结构框图，所述装置70包括处理器701和存储器702，所述处理器701与所述存储器702通过总线连接，所述存储器702存储如权利要求1-10任一项所述的基于卷积神经网络的天空区域分割方法的执行指令，所述处理器701用于执行所述执行指令；所述卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，所述处理器701包括：
获取模块，用于控制所述图像输入层获取原始图像；
提取模块，用于控制所述第一卷积神经网络从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
处理模块，用于控制所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
上采样模块，用于控制所述上采样层对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
确定模块，用于控制所述天空区域确定层将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
可选地，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
所述处理模块包括：
第一特征处理子模块，用于控制所述第一级第二卷积神经网络对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二特征处理子模块，用于控制所述第二级第二卷积神经网络对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三特征处理子模块，用于控制所述第三级第二卷积神经网络对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
可选地，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。
可选地，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。
可选地，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
可选地，所述残差卷积单元包括：
第一激活函数子单元，用于对输入的特征图像进行非线性处理；
第一卷积子单元，用于对所述第一激活函数子单元输出的特征图像进行卷积；
第一批量归一化子单元，用于对所述第一卷积子单元输出的特征图像进行正则化处理；
第二激活函数子单元，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；
第二卷积子单元，用于对所述第二激活函数子单元输出的特征图像进行卷积；
第二批量归一化子单元，用于对所述第二卷积子单元输出的特征图像进行正则化处理；
第一叠加子单元，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述多尺度融合单元包括：
第三卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较大的一者进行卷积；
第四卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较小的一者进行卷积；
上采样子单元，用于对所述第四卷积子单元输出的特征图像进行上采样；
第二叠加子单元，用于将所述第三卷积子单元输出的特征图像和所述上采样子单元输出的特征图像进行特征叠加。
可选地，所述链式残差池化单元包括：
第一池化子单元，用于对所述多尺度融合单元输出的特征图像进行池化处理；
第五卷积子单元，用于对所述第一池化子单元输出的特征图像进行卷积；
第三批量归一化子单元，用于对所述第五卷积子单元输出的特征图像进行正则化处理；
第三叠加子单元，用于对所述多尺度融合单元输出的特征图像和所述第三批量归一化子单元输出的特征图像进行特征叠加；
第二池化子单元，用于对所述第三批量归一化子单元输出的特征图像进行池化处理；
第六卷积子单元，用于对所述第二池化子单元输出的特征图像进行卷积；
第四批量归一化子单元，用于对所述第六卷积子单元输出的特征图像进行正则化处理；
第四叠加子单元，用于对所述第三叠加子单元输出的特征图像和所述第四批量归一化子单元输出的特征图像进行特征叠加。
可选地，所述天空区域分割装置还包括：
训练模块，用于控制网络训练层利用天空场景的训练图像，通过随机梯度下降法对所述卷积神经网络进行训练。
可选地，所述随机梯度下降法的损失函数Loss为：
其中，所述H为所述训练图像的像素总行数，所述W为所述训练图像的像素总列数，所述i为所述训练图像的像素行数，所述j为所述训练图像的像素列数，所述Iij为所述训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，所述I′ij为迭代后的卷积神经网络输出的所述目标像素属于天空区域的输出结果。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种天空区域分割方法、装置和卷积神经网络，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (23)

1.一种基于卷积神经网络的天空区域分割方法，其特征在于，所述卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，所述方法包括：
所述图像输入层获取原始图像；
所述第一卷积神经网络从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
所述上采样层对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
所述天空区域确定层将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
2.根据权利要求1所述的方法，其特征在于，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像，包括：
第一级第二卷积神经网络对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二级第二卷积神经网络对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三级第二卷积神经网络对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
3.根据权利要求2所述的方法，其特征在于，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。
4.根据权利要求2所述的方法，其特征在于，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。
5.根据权利要求1所述的方法，其特征在于，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
6.根据权利要求5所述的方法，其特征在于，所述残差卷积单元包括：
第一激活函数子单元，用于对输入的特征图像进行非线性处理；
第一卷积子单元，用于对所述第一激活函数子单元输出的特征图像进行卷积；
第一批量归一化子单元，用于对所述第一卷积子单元输出的特征图像进行正则化处理；
第二激活函数子单元，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；
第二卷积子单元，用于对所述第二激活函数子单元输出的特征图像进行卷积；
第二批量归一化子单元，用于对所述第二卷积子单元输出的特征图像进行正则化处理；
第一叠加子单元，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。
7.根据权利要求5所述的方法，其特征在于，所述多尺度融合单元包括：
第三卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较大的一者进行卷积；
第四卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较小的一者进行卷积；
上采样子单元，用于对所述第四卷积子单元输出的特征图像进行上采样；
第二叠加子单元，用于将所述第三卷积子单元输出的特征图像和所述上采样子单元输出的特征图像进行特征叠加。
8.根据权利要求5所述的方法，其特征在于，所述链式残差池化单元包括：
第一池化子单元，用于对所述多尺度融合单元输出的特征图像进行池化处理；
第五卷积子单元，用于对所述第一池化子单元输出的特征图像进行卷积；
第三批量归一化子单元，用于对所述第五卷积子单元输出的特征图像进行正则化处理；
第三叠加子单元，用于对所述多尺度融合单元输出的特征图像和所述第三批量归一化子单元输出的特征图像进行特征叠加；
第二池化子单元，用于对所述第三批量归一化子单元输出的特征图像进行池化处理；
第六卷积子单元，用于对所述第二池化子单元输出的特征图像进行卷积；
第四批量归一化子单元，用于对所述第六卷积子单元输出的特征图像进行正则化处理；
第四叠加子单元，用于对所述第三叠加子单元输出的特征图像和所述第四批量归一化子单元输出的特征图像进行特征叠加。
9.根据权利要求1所述的方法，其特征在于，所述图像输入层获取原始图像之前，还包括：
利用天空场景的训练图像，通过随机梯度下降法对所述卷积神经网络进行训练。
10.根据权利要求9所述的方法，其特征在于，所述随机梯度下降法的损失函数Loss为：
其中，所述H为所述训练图像的像素总行数，所述W为所述训练图像的像素总列数，所述i为所述训练图像的像素行数，所述j为所述训练图像的像素列数，所述Iij为所述训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，所述I′ij为迭代后的卷积神经网络输出的所述目标像素属于天空区域的输出结果。
11.一种用于分割天空区域的卷积神经网络，其特征在于，所述卷积神经网络包括：
图像输入层，用于获取原始图像；
第一卷积神经网络，用于从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
级联的多个第二卷积神经网络，用于对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
上采样层，用于对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
天空区域确定层，用于将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
12.根据权利要求11所述的卷积神经网络，其特征在于，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
第一级第二卷积神经网络，用于对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二级第二卷积神经网络，用于对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三级第二卷积神经网络，用于对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
13.根据权利要求12所述的卷积神经网络，其特征在于，所述第一卷积神经网络为VGG-19卷积神经网络；所述第四天空特征图像为所述第一卷积神经网络中第4卷积层的输出图像，所述第三天空特征图像为所述第一卷积神经网络中第8卷积层的输出图像，所述第二天空特征图像为所述第一卷积神经网络中第12卷积层的输出图像，所述第一天空特征图像为所述第一卷积神经网络中第16卷积层的输出图像。
14.根据权利要求12所述的卷积神经网络，其特征在于，所述第四天空特征图像的尺度为所述原始图像尺度的1/2，所述第三天空特征图像的尺度为所述原始图像尺度的1/4，所述第二天空特征图像的尺度为所述原始图像尺度的1/8，所述第一天空特征图像的尺度为所述原始图像尺度的1/16。
15.根据权利要求11所述的卷积神经网络，其特征在于，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
16.根据权利要求15所述的卷积神经网络，其特征在于，所述残差卷积单元包括：
第一激活函数子单元，用于对输入的特征图像进行非线性处理；
第一卷积子单元，用于对所述第一激活函数子单元输出的特征图像进行卷积；
第一批量归一化子单元，用于对所述第一卷积子单元输出的特征图像进行正则化处理；
第二激活函数子单元，用于对所述第一批量归一化子单元输出的特征图像进行非线性处理；
第二卷积子单元，用于对所述第二激活函数子单元输出的特征图像进行卷积；
第二批量归一化子单元，用于对所述第二卷积子单元输出的特征图像进行正则化处理；
第一叠加子单元，用于对输入所述第一激活函数子单元的特征图像和所述第二批量归一化子单元输出的特征图像进行特征叠加。
17.根据权利要求15所述的卷积神经网络，其特征在于，所述多尺度融合单元包括：
第三卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较大的一者进行卷积；
第四卷积子单元，用于对所述残差卷积单元输出的特征图像中尺度较小的一者进行卷积；
上采样子单元，用于对所述第四卷积子单元输出的特征图像进行上采样；
第二叠加子单元，用于将所述第三卷积子单元输出的特征图像和所述上采样子单元输出的特征图像进行特征叠加。
18.根据权利要求15所述的卷积神经网络，其特征在于，所述链式残差池化单元包括：
第一池化子单元，用于对所述多尺度融合单元输出的特征图像进行池化处理；
第五卷积子单元，用于对所述第一池化子单元输出的特征图像进行卷积；
第三批量归一化子单元，用于对所述第五卷积子单元输出的特征图像进行正则化处理；
第三叠加子单元，用于对所述多尺度融合单元输出的特征图像和所述第三批量归一化子单元输出的特征图像进行特征叠加；
第二池化子单元，用于对所述第三批量归一化子单元输出的特征图像进行池化处理；
第六卷积子单元，用于对所述第二池化子单元输出的特征图像进行卷积；
第四批量归一化子单元，用于对所述第六卷积子单元输出的特征图像进行正则化处理；
第四叠加子单元，用于对所述第三叠加子单元输出的特征图像和所述第四批量归一化子单元输出的特征图像进行特征叠加。
19.根据权利要求11所述的卷积神经网络，其特征在于，所述卷积神经网络还包括：
网络训练层，用于利用天空场景的训练图像，通过随机梯度下降法对所述卷积神经网络进行训练。
20.根据权利要求19所述的卷积神经网络，其特征在于，所述随机梯度下降法的损失函数Loss为：
其中，所述H为所述训练图像的像素总行数，所述W为所述训练图像的像素总列数，所述i为所述训练图像的像素行数，所述j为所述训练图像的像素列数，所述Iij为所述训练图像中像素行数为i，像素列数为j的目标像素属于天空区域的真实结果，所述I′ij为迭代后的卷积神经网络输出的所述目标像素属于天空区域的输出结果。
21.一种基于卷积神经网络的天空区域分割装置，其特征在于，所述装置包括处理器和存储器，所述处理器与所述存储器通过总线连接，所述存储器存储如权利要求1-10任一项所述的基于卷积神经网络的天空区域分割方法的执行指令，所述处理器用于执行所述执行指令；所述卷积神经网络包括图像输入层、第一卷积神经网络、级联的多个第二卷积神经网络、上采样层和天空区域确定层，所述处理器包括：
获取模块，用于控制所述图像输入层获取原始图像；
提取模块，用于控制所述第一卷积神经网络从所述原始图像中提取不同尺度的多个天空特征图像；每个所述天空特征图像的尺度均小于所述原始图像的尺度；
处理模块，用于控制所述级联的多个第二卷积神经网络对所述多个天空特征图像进行处理，输出目标特征图像；所述目标特征图像的尺度与所述多个天空特征图像中的最大尺度相同；
上采样模块，用于控制所述上采样层对所述目标特征图像进行上采样，获得与所述原始图像尺度相同的上采样特征图像；
确定模块，用于控制所述天空区域确定层将所述上采样特征图像中灰度值大于或等于预设灰度值的像素区域确定为天空区域。
22.根据权利要求21所述的装置，其特征在于，所述多个天空特征图像包括第一天空特征图像、第二天空特征图像、第三天空特征图像和第四天空特征图像，所述第一天空特征图像的尺度为所述第二天空特征图像尺度的1/2，所述第二天空特征图像的尺度为所述第三天空特征图像尺度的1/2，所述第三天空特征图像的尺度为所述第四天空特征图像尺度的1/2；所述级联的多个第二卷积神经网络包含三级第二卷积神经网络；
所述处理模块包括：
第一特征处理子模块，用于控制所述第一级第二卷积神经网络对所述第一天空特征图像和所述第二天空特征图像进行特征处理，获得与所述第二天空特征图像尺度相同的第一中间目标特征图像；
第二特征处理子模块，用于控制所述第二级第二卷积神经网络对所述第一中间目标特征图像和所述第三天空特征图像进行特征处理，获得与所述第三天空特征图像尺度相同的第二中间目标特征图像；
第三特征处理子模块，用于控制所述第三级第二卷积神经网络对所述第二中间目标特征图像和所述第四天空特征图像进行特征处理，获得与所述第四天空特征图像尺度相同的目标特征图像。
23.根据权利要求21所述的装置，其特征在于，每级所述第二卷积神经网络均包括：
残差卷积单元，用于对输入的特征图像进行全局特征提取；
多尺度融合单元，用于对所述残差卷积单元输出的特征图像进行特征融合；
链式残差池化单元，用于对所述多尺度融合单元输出的特征图像进行低频特征提取；
卷积输出单元，用于对所述链式残差池化单元输出的特征图像进行卷积，得到中间目标特征图像或目标特征图像。
CN201810844647.0A 2018-07-27 2018-07-27 一种天空区域分割方法、装置和卷积神经网络 Pending CN109035260A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810844647.0A CN109035260A (zh) 2018-07-27 2018-07-27 一种天空区域分割方法、装置和卷积神经网络
US16/436,030 US11151403B2 (en) 2018-07-27 2019-06-10 Method and apparatus for segmenting sky area, and convolutional neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810844647.0A CN109035260A (zh) 2018-07-27 2018-07-27 一种天空区域分割方法、装置和卷积神经网络

Publications (1)

Publication Number Publication Date
CN109035260A true CN109035260A (zh) 2018-12-18

Family

ID=64646257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810844647.0A Pending CN109035260A (zh) 2018-07-27 2018-07-27 一种天空区域分割方法、装置和卷积神经网络

Country Status (2)

Country Link
US (1) US11151403B2 (zh)
CN (1) CN109035260A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189264A (zh) * 2019-05-05 2019-08-30 深圳市华星光电技术有限公司 图像处理方法
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
CN110717910A (zh) * 2019-10-16 2020-01-21 姜通渊 Ct图像目标检测方法及ct扫描仪
CN111275721A (zh) * 2020-02-14 2020-06-12 北京推想科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111486571A (zh) * 2020-04-22 2020-08-04 珠海格力电器股份有限公司 一种风向调整方法、装置、存储介质及出风设备
CN112257569A (zh) * 2020-10-21 2021-01-22 青海城市云大数据技术有限公司 一种基于实时视频流的目标检测和识别方法
CN112560326A (zh) * 2019-09-26 2021-03-26 腾讯科技（深圳）有限公司 压力场的确定方法及装置
CN112581414A (zh) * 2019-09-30 2021-03-30 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
WO2022001372A1 (zh) * 2020-06-30 2022-01-06 华为技术有限公司 训练神经网络的方法、图像处理方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444365B (zh) * 2020-03-27 2023-12-05 Oppo广东移动通信有限公司 图像分类方法、装置、电子设备及存储介质
CN111563896B (zh) * 2020-07-20 2023-06-02 成都中轨轨道设备有限公司 一种用于接触网异常检测的图像处理方法
CN111898539A (zh) * 2020-07-30 2020-11-06 国汽(北京)智能网联汽车研究院有限公司 一种多目标检测方法、装置、系统、设备及可读存储介质
CN111915487B (zh) * 2020-08-04 2022-05-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN112101204B (zh) * 2020-09-14 2024-01-23 北京百度网讯科技有限公司 生成式对抗网络的训练方法、图像处理方法、装置和设备
CN112150363B (zh) * 2020-09-29 2023-07-07 中科方寸知微(南京)科技有限公司 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质
CN112365414B (zh) * 2020-11-04 2022-11-08 天津大学 一种基于双路残差卷积神经网络的图像去雾方法
CN113705575B (zh) * 2021-10-27 2022-04-08 北京美摄网络科技有限公司 一种图像分割方法、装置、设备及存储介质
CN115410074B (zh) * 2022-07-19 2023-08-29 中国科学院空天信息创新研究院 遥感影像云检测方法及装置
CN117409298B (zh) * 2023-12-15 2024-04-02 西安航空学院 针对路面车辆识别的多尺寸目标精确识别方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
US20170148222A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of art-styled ar/vr content
CN106934765A (zh) * 2017-03-14 2017-07-07 长沙全度影像科技有限公司 基于深度卷积神经网络与深度信息的全景图像融合方法
CN107564007A (zh) * 2017-08-02 2018-01-09 中国科学院计算技术研究所 融合全局信息的场景分割修正方法与系统
CN107590811A (zh) * 2017-09-29 2018-01-16 北京奇虎科技有限公司 基于场景分割的风景图像处理方法、装置及计算设备
CN107808386A (zh) * 2017-09-26 2018-03-16 上海大学 一种基于图像语义分割的海天线检测方法
CN107993238A (zh) * 2017-12-19 2018-05-04 中科视拓（北京）科技有限公司 一种基于注意力模型的头肩部分图像分割方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869174B (zh) 2016-04-20 2019-01-29 中国航空工业集团公司洛阳电光设备研究所 一种天空场景图像分割方法
CN109697441B (zh) * 2017-10-23 2021-02-12 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170148222A1 (en) * 2014-10-31 2017-05-25 Fyusion, Inc. Real-time mobile device capture and generation of art-styled ar/vr content
CN104794688A (zh) * 2015-03-12 2015-07-22 北京航空航天大学 基于深度信息分离天空区域的单幅图像去雾方法及装置
CN106934765A (zh) * 2017-03-14 2017-07-07 长沙全度影像科技有限公司 基于深度卷积神经网络与深度信息的全景图像融合方法
CN107564007A (zh) * 2017-08-02 2018-01-09 中国科学院计算技术研究所 融合全局信息的场景分割修正方法与系统
CN107808386A (zh) * 2017-09-26 2018-03-16 上海大学 一种基于图像语义分割的海天线检测方法
CN107590811A (zh) * 2017-09-29 2018-01-16 北京奇虎科技有限公司 基于场景分割的风景图像处理方法、装置及计算设备
CN107993238A (zh) * 2017-12-19 2018-05-04 中科视拓（北京）科技有限公司 一种基于注意力模型的头肩部分图像分割方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUOSHENG LIN 等: "RefineNet: Multi-Path RefiHigh-Resolution Semantic Segmentationnement Networks for High-Resolution Semantic Segmentation", 《ARXIV:1611.06612V3 [CS.CV] 25 NOV 2016》 *
JONATHAN LONG 等: "Fully Convolutional Networks for Semantic Segmentation", 《ARXIV:1411.4038V2 [CS.CV]》 *
WEIWEI SUN 等: "Fully Convolutional Networks for Semantic Segmentation of Very High Resolution Remotely Sensed Images Combined With DSM", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
ZHIMIN TANG 等: "A joint residual network with paired ReLUs activation for image super-resolution", 《NEUROCOMPUTING》 *
姜枫 等: "基于内容的图像分割方法综述", 《软件学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189264A (zh) * 2019-05-05 2019-08-30 深圳市华星光电技术有限公司 图像处理方法
CN110363171A (zh) * 2019-07-22 2019-10-22 北京百度网讯科技有限公司 天空区域预测模型的训练方法和识别天空区域的方法
CN112560326B (zh) * 2019-09-26 2023-07-18 腾讯科技（深圳）有限公司 压力场的确定方法及装置
CN112560326A (zh) * 2019-09-26 2021-03-26 腾讯科技（深圳）有限公司 压力场的确定方法及装置
CN112581414B (zh) * 2019-09-30 2024-04-23 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN112581414A (zh) * 2019-09-30 2021-03-30 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN110717910A (zh) * 2019-10-16 2020-01-21 姜通渊 Ct图像目标检测方法及ct扫描仪
CN110717910B (zh) * 2019-10-16 2020-09-08 太原华瑞星辰医药科技有限公司 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN111275721A (zh) * 2020-02-14 2020-06-12 北京推想科技有限公司 一种图像分割方法、装置、电子设备及存储介质
CN111486571B (zh) * 2020-04-22 2021-05-25 珠海格力电器股份有限公司 一种风向调整方法、装置、存储介质及出风设备
CN111486571A (zh) * 2020-04-22 2020-08-04 珠海格力电器股份有限公司 一种风向调整方法、装置、存储介质及出风设备
WO2022001372A1 (zh) * 2020-06-30 2022-01-06 华为技术有限公司 训练神经网络的方法、图像处理方法及装置
CN112257569A (zh) * 2020-10-21 2021-01-22 青海城市云大数据技术有限公司 一种基于实时视频流的目标检测和识别方法

Also Published As

Publication number Publication date
US11151403B2 (en) 2021-10-19
US20200034648A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
CN109934153B (zh) 基于门控深度残差优化网络的建筑物提取方法
CN112329658B (zh) 一种对于yolov3网络的检测算法改进方法
CN104834933B (zh) 一种图像显著性区域的检测方法和装置
CN109871830A (zh) 基于三维深度残差网络的空谱融合高光谱图像分类方法
CN108537824B (zh) 基于交替反卷积与卷积的特征图增强的网络结构优化方法
CN107784654A (zh) 图像分割方法、装置及全卷积网络系统
CN109785344A (zh) 基于特征重标定的双通路残差网络的遥感图像分割方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN109740451A (zh) 基于重要性加权的道路场景图像语义分割方法
CN110363770A (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN111832453A (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN109190666B (zh) 基于改进的深度神经网络的花卉图像分类方法
CN115222946B (zh) 一种单阶段实例图像分割方法、装置以及计算机设备
CN113887410A (zh) 一种基于深度学习的多类别食材识别系统及方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN113205103A (zh) 一种轻量级的文身检测方法
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法
CN109345604A (zh) 图片处理方法、计算机设备和存储介质
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218