CN106156781A - 排序卷积神经网络构建方法及其图像处理方法与装置 - Google Patents

排序卷积神经网络构建方法及其图像处理方法与装置 Download PDF

Info

Publication number
CN106156781A
CN106156781A CN201610545516.3A CN201610545516A CN106156781A CN 106156781 A CN106156781 A CN 106156781A CN 201610545516 A CN201610545516 A CN 201610545516A CN 106156781 A CN106156781 A CN 106156781A
Authority
CN
China
Prior art keywords
layer
sequence
output
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610545516.3A
Other languages
English (en)
Other versions
CN106156781B (zh
Inventor
陈小武
宋亚斐
李甲
赵沁平
王小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610545516.3A priority Critical patent/CN106156781B/zh
Publication of CN106156781A publication Critical patent/CN106156781A/zh
Priority to US15/448,546 priority patent/US10504209B2/en
Application granted granted Critical
Publication of CN106156781B publication Critical patent/CN106156781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种排序卷积神经网络构建方法及其图像处理方法与装置，该排序卷积神经网络中包括了排序层，排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层，使用该排序卷积神经网络能够通过自动学习来获取输入特征图对应的输出特征，相比于现有技术通过手工计算获取特征的方法，本发明的方法能够更好的反映真实场景素材蕴含的客观规律，将该方法应用于图像处理领域时，就能够使得图像处理的效果得到大幅提升。

Description

排序卷积神经网络构建方法及其图像处理方法与装置
技术领域
本发明涉及图像处理技术，尤其涉及一种排序卷积神经网络构建方法及其图像处理方法与装置。
背景技术
在图像处理领域，需要对一些呈现效果较差的图像进行处理，以获得呈现效果较佳的图像。例如，对于一幅雾霾图像，即在雾霾环境下所拍摄的图像，需要对其进行处理，以获得一幅清晰图像。
现有技术中，在进行雾霾图像处理时，首先通过手工计算的方式获取雾霾相关的特征，再通过手工计算获得的特征将雾霾图像恢复为清晰图像。
但是，使用手工计算来获取雾霾相关特征的方法，难以反映真实场景素材蕴含的客观规律，导致图像处理的效果差。
发明内容
本发明供一种排序卷积神经网络构建方法及其图像处理方法与装置，用于解决使用现有技术导致的图像处理效果差的问题。
本发明第一方面提供一种排序卷积神经网络构建方法，所述排序卷积神经网络中包括：排序层、卷积层、下采样层以及全连接层，其中，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层，所述方法包括：
接收输入特征图，所述输入特征图使用二维矩阵表示；
按照所述排序层、所述卷积层、所述下采样层以及所述全连接层在所述排序卷积神经网络中的预设顺序，对所述输入特征图执行排序操作、卷积操作、下采样操作以及全连接操作，获取所述输入特征图对应的输出特征，所述输出特征为一个特征向量，其中，所述排序操作在所述排序层中进行，所述卷积操作在所述卷积层中进行，所述下采样操作在所述下采样层中进行，所述全连接操作在所述全连接层中进行；
将所述输出特征输出。
进一步地，所述排序操作在所述排序层中进行，包括：
接收所述排序层的前一层所输出的第一特征图，所述第一特征图使用二维矩阵表示；
对所述第一特征图中的所有元素进行排序；
按照排序结果，将所述第一特征图中的元素逐个写入第二特征图中；
将所述第二特征图输出到所述排序层的后一层。
进一步地，所述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，所述第二卷积层的卷积核小于所述第一卷积层的卷积核，所述第三卷积层的卷积核小于所述第一卷积层的卷积核。
本发明第二方面提供一种图像处理方法，包括：
接收输入雾霾图像；
使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量，其中，所述排序卷积神经网络中包括排序层、卷积层、下采样层以及全连接层，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层；
将所述当前像素点的特征向量输入随机森林回归模型中，获取所述当前像素点的雾霾浓度；
根据所述雾霾浓度以及环境光信息，确定所述输入雾霾图像对应的清晰图像。
进一步地，所述使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量之前，还包括：
建立输出层特征向量与雾霾浓度之间的对应关系；
其中，所述输出层特征向量与雾霾浓度之间的对应关系为：对于输出层特征向量如果tΒ∈(i/10-0.1,i/10]，则否则其中，tΒ为雾霾浓度。
进一步地，所述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，所述第二卷积层的卷积核小于所述第一卷积层的卷积核，所述第三卷积层的卷积核小于所述第一卷积层的卷积核；
所述使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量，包括：
通过所述输入层确定所述当前像素点的输入特征图，所述输入特征图使用二维矩阵表示；
对所述输入特征图进行排序处理、卷积处理、下采样以及全连接处理；
将所述第二全连接层输出的特征向量作为所述当前像素点的特征向量。
进一步地，所述将所述当前像素点的特征向量输入随机森林回归模型中，获取所述当前像素点的雾霾浓度，包括：
从所述当前像素点的特征向量中选取预设数量个元素训练所述随机森林回归模型中的回归树，获取所述随机森林回归模型的输出值，将所述随机森林回归模型的输出值作为所述当前像素点的雾霾浓度。
进一步地，所述根据所述雾霾浓度以及环境光信息，确定所述输入雾霾图像对应的清晰图像之后，还包括：
使用公式J*＝λJ调整所述清晰图像的亮度，其中，Il(x)为输入雾霾图像的亮度，Jl(x)为清晰图像的亮度。
本发明第三方面提供一种排序卷积神经网络构建装置，所述排序卷积神经网络中包括：排序层、卷积层、下采样层以及全连接层，其中，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层，所述装置包括：
接收模块，用于接收输入特征图，所述输入特征图使用二维矩阵表示；
处理模块，用于按照所述排序层、所述卷积层、所述下采样层以及所述全连接层在所述排序卷积神经网络中的预设顺序，对所述输入特征图执行排序操作、卷积操作、下采样操作以及全连接操作，获取所述输入特征图对应的输出特征，所述输出特征为一个特征向量，其中，所述排序操作在所述排序层中进行，所述卷积操作在所述卷积层中进行，所述下采样操作在所述下采样层中进行，所述全连接操作在所述全连接层中进行；
输出模块，用于将所述输出特征输出。
进一步地，所述处理模块包括：
接收单元，用于接收排序层的前一层所输出的第一特征图，该第一特征图使用二维矩阵表示。
排序单元，用于对第一特征图中的所有元素进行排序。
写入单元，用于按照排序结果，将第一特征图中的元素逐个写入第二特征图中。
输出单元，用于将第二特征图输出到排序层的后一层。
进一步地，所述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，所述第二卷积层的卷积核小于所述第一卷积层的卷积核，所述第三卷积层的卷积核小于所述第一卷积层的卷积核。
本发明第四方面提供一种图像处理装置，包括：
接收模块，用于接收输入雾霾图像；
第一确定模块，用于使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量，其中，所述排序卷积神经网络中包括排序层、卷积层、下采样层以及全连接层，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层；
获取模块，用于将所述当前像素点的特征向量输入随机森林回归模型中，获取所述当前像素点的雾霾浓度；
计算模块，用于根据所述雾霾浓度以及环境光信息，计算所述输入雾霾图像对应的清晰图像。
进一步地，所述装置还包括：建立模块，用于建立输出层特征向量与雾霾浓度之间的对应关系；
其中，所述输出层特征向量与雾霾浓度之间的对应关系为：对于特征向量如果tΒ∈(i/10-0.1,i/10]，则否则其中，tΒ为雾霾浓度。
进一步地，排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，第二卷积层的卷积核小于第一卷积层的卷积核，第三卷积层的卷积核小于第一卷积层的卷积核。所述第一确定模块包括：
确定单元，用于通过输入层确定当前像素点的输入特征图，该输入特征图使用二维矩阵表示。
处理单元，用于对输入特征图进行排序处理、卷积处理、下采样以及全连接处理。
输出单元，用于将第二全连接层输出的特征向量作为当前像素点的特征向量。
进一步地，所述获取模块具体用于：
从当前像素点的特征向量中选取预设数量个元素训练随机森林回归模型中的回归树，获取随机森林回归模型的输出值，将随机森林回归模型的输出值作为当前像素点的雾霾浓度。
进一步地，所述装置还包括：调整模块，用于使用公式J*＝λJ调整所述清晰图像的亮度，其中，Il(x)为输入雾霾图像的亮度，Jl(x)为清晰图像的亮度。
本发明所提供的方法，通过构建排序卷积神经网络，该排序卷积神经网络能够通过自动学习来获取输入特征图对应的输出特征，相比与现有技术通过手工计算获取特征的方法，本发明的方法能够更好的反映真实场景素材蕴含的客观规律，将该方法应用于图像处理领域时，就能够使得图像处理的效果得到大幅提升。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的排序卷积神经网络构建方法实施例一的流程示意图；
图2为本发明提供的排序卷积神经网络构建方法实施例二的流程示意图；
图3为排序层进行排序处理的示例图；
图4为本发明提供的图像处理方法实施例一的流程示意图；
图5为本发明提供的图像处理方法实施例二的流程示意图；
图6为本发明提供的排序卷积神经网络构建装置实施例一的模块结构图；
图7为本发明提供的排序卷积神经网络构建装置实施例二的模块结构图；
图8为本发明提供的图像处理装置实施例一的模块结构图；
图9为本发明提供的图像处理装置实施例二的模块结构图；
图10为本发明提供的图像处理装置实施例三的模块结构图；
图11为本发明提供的图像处理装置实施例四的模块结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的排序卷积神经网络构建方法实施例一的流程示意图，该方法中的排序卷积神经网络中包括：排序层、卷积层、下采样层以及全连接层，其中，排序层用于对排序层的前一层的输出结果进行排序处理，按照排序结果生成排序层的输出结果，并将排序层的输出结果输出到排序层的后一层。如图1所示，该方法包括：
S101、接收输入特征图，该输入特征图使用二维矩阵表示。
根据应用场景的不同，输入特征图中的元素所表示的含义不同，例如，当该方法应用于图像处理领域中是，输入特征图中的每个元素表示一个像素值。
S102、按照排序层、卷积层、下采样层以及全连接层在排序卷积神经网络中的预设顺序，对输入特征图执行排序操作、卷积操作、下采样操作以及全连接操作，获取输入特征图对应的输出特征，该输出特征为一个特征向量，其中，排序操作在排序层中进行，卷积操作在卷积层中进行，下采样操作在下采样层中进行，全连接操作在全连接层中进行。
排序卷积神经网络的架构可以根据实际需要进行灵活设置，例如，可以在排序卷积神经网络中设置1个或多个卷积层。
将卷积神经网络应用于不同领域时，统计特征都具有重要的作用，但是现有的卷积神经网络中对于统计特征的表达不足，因此，本发明在现有的卷积神经网络的基础上增加了排序层，形成新的排序卷积神经网络，排序层的数量可以根据需要进行灵活设置。增加了排序层的排序卷积神经网络能够增强神经网络对统计特征的描述能力，更好的学习出与所应用的领域相关的特征。
S103、将输出特征输出。
本实施例中，提出一种排序卷积神经网络构建方法，所构建的排序卷积神经网络能够通过自动学习来获取输入特征图对应的输出特征，相比于现有技术通过手工计算获取特征的方法，本发明的方法能够更好的反映真实场景素材蕴含的客观规律，将该方法应用于图像处理领域时，就能够使得图像处理的效果得到大幅提升。同时，本发明在卷积神经网络中增加了排序层，形成排序卷积神经网络，能够增强神经网络对统计特征的描述能力，更好的学习出与所应用的领域相关的特征。
在上述实施例的基础上，本实施例涉及排序层进行排序操作的具体方法，即，图2为本发明提供的排序卷积神经网络构建方法实施例二的流程示意图，如图2所示，排序层进行排序处理的具体方法为：
S201、接收排序层的前一层所输出的第一特征图，第一特征图使用二维矩阵表示。
例如，假设排序层的前一层为下采样层，则下采样层会向排序层输出一个特征图，即第一特征图，该特征图使用二维矩阵表示。
S202、对第一特征图中的所有元素进行排序。
具体地，可以根据实际需要对第一特征图中的元素从小到大进行排序，或者从大到小进行排序。
S203、按照排序结果，将第一特征图中的元素逐个写入第二特征图中。
具体地，第二特征图的大小与第一特征图相同，例如，假设第一特征图对应的二维矩阵为m×n，第一特征图对应的二维矩阵也为m×n。按照排序结果，将各元素按照行优先的顺序逐个写入第二特征图中，即将排序结果中排在第一位的元素写入第二特征图中的第一行第一列中，排在第二位的元素写入第二特征图中的第一行第二列中，依次类推。
S204、将第二特征图输出到排序层的后一层。
例如，假设排序层的后一层为卷积层，则会将第二特征图输出到卷积层，以供卷积层进行卷积处理。
图3为排序层进行排序处理的示例图，如图3所示，多个特征图经过排序层处理之后，其中的元素进行了重新排列，形成了新的特征图。
作为本发明的一种可选的实施方式，上述排序卷积神经网络中包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，输出层也是一个全连接层。，第二卷积层的卷积核小于第一卷积层的卷积核，第三卷积层的卷积核小于第一卷积层的卷积核。以下以该十层排序卷积神经网络为例来说明上述步骤S102中排序卷积神经网络确定输出特征的过程，需要说明的而是，本示例中的数字仅是一种示例，不能作为对排序卷积神经网络的限制。
首先，收集400张清晰图像，并随机截取10万个20×20的清晰图像块。根据雾霾图像形成的物理过程及其数学描述，对于每个清晰图像块，假设环境光的RGB三个通道值均为1，随机选取10个雾霾浓度值，在清晰图像块上自动添加雾霾从而生成雾霾图像块，同时记录下每个雾霾图像块及其对应的雾霾浓度，共获得100万个训练图像块。
其次，输入层接收这100万个训练图像块，对于每个训练图像块，输入层会输出三个输入特征图，分别为训练图像块的R、G、B三个通道；第一卷积层接收输入特征图，并通过大小为5×5的卷积核进行卷积处理，输出32个16×16的特征图；第一下采样层采用2×2的采样窗口对32个16×16的特征图进行采样处理，输出32个8×8的特征图；排序层对32个8×8的特征图进行排序处，输出新的32个8×8的特征图；第二卷积层和第三卷积层的卷积核大小都为3×3，即比第一卷积层的卷积核小，通过第二卷积层和第三卷积层进行卷积处理之后，输出32个4×4的特征图；再经过第二下采样层使用2×2的采样窗口进行处理后，会输出32个2×2的特征图；第一全连接层和第二全连接层均为包含64维特征的全连接层，经过第一全连接层和第二全连接层的处理，会输出一个64维特征向量；最后，经过输出层处理后输出一个10维向量。
其中，第一卷积层、第二卷积层、第三卷积层以及第一全连接层使用了线性截断(Rectified linear unit，简称ReLU)激活函数，对于给定输入值x，ReLU激活函数的激活值为f(x)＝max(x,0)。
本发明采用反向传播梯度下降法训练定义的排序卷积神经网络，并采用Softmax损失函数，损失函数定义为其中NΒ为训练样本的真实类别标签，YΒ为神经网络的预测结果，j对应的需要进一步说明的是，排序网络按照前向传播时对应关系反向传播梯度值。
再次，经过前面两个步骤之后，即完成了排序卷积神经网络的一次训练过程，输出层在本次训练结束时输出的特征向量的含义即为雾霾浓度，将此雾霾浓度与第一步时所记录的雾霾浓度值进行比较，根据差异调整排序卷积神经网络中各卷积层的卷积核的元素值以及各全连接层的中的特征矩阵，并使用新的卷积核和新的特征矩阵进行下一次的训练，依次类推，直到某次训练所输出的特征值与第一步时所记录的雾霾浓度值的差异在理想范围内，则完成了排序卷积神经网络的构建。
图4为本发明提供的图像处理方法实施例一的流程示意图，如图4所示，该方法包括：
S301、接收输入雾霾图像。
输入雾霾图像即为在雾霾环境下所拍摄的图像。
S302、使用排序卷积神经网络确定输入雾霾图像的当前像素点的特征向量。
其中，上述排序卷积神经网络中包括排序层、卷积层、下采样层以及全连接层，排序层用于对排序层的前一层的输出结果进行排序处理，按照排序结果生成排序层的输出结果，并将排序层的输出结果输出到排序层的后一层。
需要说明的是，对于一副输入雾霾图像中的每个像素点，都需要执行S302至S304的操作，即本发明是按照输入雾霾图像中的像素点逐个进行处理的。
S303、将当前像素点的特征向量输入随机森林回归模型中，获取当前像素点的雾霾浓度。
随机森林回归模型用于表示特征向量与雾霾浓度之间的映射关系，即对于特定的特征向量，通过在随即森林回归模型中进行训练，会得到与其对应的雾霾浓度。
优选地，在通过随机森林回归模型获取到雾霾浓度之后，需要通过引导滤波对雾霾浓度进行优化。
S304、根据雾霾浓度以及环境光信息，确定输入雾霾图像对应的清晰图像。
对于一副输入雾霾图像，每个像素点的雾霾浓度都可能不同，但是环境光在整副雾霾图像中都是相同的，因此容易估计得到。可选地，首先计算输入雾霾图像的暗黑通道，依据每个像素点的暗黑通道值，选取最亮的0.1％像素点，计算这些像素点的颜色平均值作为输入雾霾图像的环境光。
本实施例中，通过排序卷积神经网络来获取输入雾霾图像的特征向量，并通过随机森林回归模型确定特征向量对应的雾霾浓度，由于排序卷积神经网络能够自动学习出输入雾霾图像的特征，因此，能够更好的反映真实场景素材蕴含的客观规律，从而使得雾霾图像处理的效果得到大幅提升。
作为上述排序卷积神经网络的一种可选的实施方式，上述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，输出层也是一个全连接层，其中，第二卷积层的卷积核小于第一卷积层的卷积核，第三卷积层的卷积核小于第一卷积层的卷积核。
图5为本发明提供的图像处理方法实施例二的流程示意图，如图5所示，基于该十层排序卷积神经网络来确定输入雾霾图像的特征向量的具体方法为：
S401、通过输入层确定所述像素点的输入特征图，该输入特征图使用二维矩阵表示。
当前像素点包括3个通道，对于3个通道会分别确定出一个输入特征图，即，本实施例所示的方法都是针对每个像素点的每个通道来逐个进行处理。
S402、对输入特征图进行排序处理、卷积处理、下采样以及全连接处理。
具体的方法可以参考前述排序卷积神经网络构建方法中的对应实施例，此处不再赘述。
S403、将第二全连接层输出的特征向量作为当前像素点的特征向量。
当训练排序卷积神经网络时，输出层输出的为一个特征向量，这个特征向量的含义即为雾霾浓度，但是，本发明还需要使用随机森林回归模型进行处理，如果直接将输出层所输出的特征向量输入到随机森林回归模型中，就不能有效地训练随机森林回归模型，因此，本发明构建一个十分类问题，将雾霾浓度值等分为10个区间，每个类别对应雾霾浓度值的一个区间，并通过训练排序卷积神经网络判别雾霾浓度属于哪个区间。即在训练排序卷积神经网络时，建立特征向量与雾霾浓度之间的对应关系，其中，特征向量与雾霾浓度之间的对应关系为：对于特征向量如果tΒ∈(i/10-0.1,i/10]，则否则其中，tΒ为雾霾浓度。
建立特征向量和雾霾浓度之间的对应关系之后，在本实施例中，就将输出层的前一层，即第二全连接层所输出的特征向量，作为排序卷积神经网络的特征向量，并基于特征向量和雾霾浓度之间的对应关系对随机森林回归模型进行训练，从而得到特征向量对应的雾霾浓度值。
另一实施例中，上述步骤S303中将当前像素点的特征向量输入随机森林回归模型中，获取当前像素点的雾霾浓度的具体方法为：
从当前像素点的特征向量中选取预设数量个元素训练随机森林回归模型中的回归树，获取随机森林回归模型的输出值，将随机森林回归模型的输出值作为当前像素点的雾霾浓度。
例如，假设随机森林回归模型中包括200棵回归树，则从第二全连接层的64维向量中随机选取21维特征来训练每棵回归树，随机森林回归模型输出的即为雾霾浓度。
需要说明的是，在训练排序卷积神经网络时，所使用的训练样本具有R、G、B三个通道均为1的环境光，因此在使用排序卷积神经网络确定输入雾霾图像的特征向量之前，需要分别在每个通道上将输入雾霾图像除以环境光进行归一化，从而使得进行归一化之后的输入雾霾图像的环境光R、G、B三个通道均为1。
当使用前述方法得到输入雾霾图像的雾霾浓度和环境光之后，即可根据雾霾图像形成的物理过程及其数学公式I(x)＝J(x)t(x)+A(1-t(x))，反向计算去除雾霾后的清晰图像其中，J(x)表示清晰图像，I(x)表示输入雾霾图像，t(x)表示雾霾浓度，A表示环境光。
得到的清晰图像J的亮度常常较低，因此，在得到清晰图像之后，还需要调整清晰图像的亮度，得到最终的清晰图像。
具体地，调整公式为J*＝λJ，其中Il(x)为输入雾霾图像I(x)的亮度，Jl(x)为清晰图像J(x)的亮度。
图6为本发明提供的排序卷积神经网络构建装置实施例一的模块结构图，该排序卷积神经网络中包括：排序层、卷积层、下采样层以及全连接层，其中，排序层用于对排序层的前一层的输出结果进行排序处理，按照排序结果生成排序层的输出结果，并将排序层的输出结果输出到排序层的后一层。如图6所示，该装置包括：
接收模块501，用于接收输入特征图，该输入特征图使用二维矩阵表示。
处理模块502，用于按照排序层、卷积层、下采样层以及全连接层在排序卷积神经网络中的预设顺序，对输入特征图执行排序操作、卷积操作、下采样操作以及全连接操作，获取输入特征图对应的输出特征，该输出特征为特征向量，其中，排序操作在排序层中进行，卷积操作在卷积层中进行，下采样操作在下采样层中进行，全连接操作在全连接层中进行。
输出模块503，用于将输出特征输出。
该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
图7为本发明提供的排序卷积神经网络构建装置实施例二的模块结构图，如图7所示，处理模块502包括：
接收单元5021，用于接收排序层的前一层所输出的第一特征图，该第一特征图使用二维矩阵表示。
排序单元5022，用于对第一特征图中的所有元素进行排序。
写入单元5023，用于按照排序结果，将第一特征图中的元素逐个写入第二特征图中。
输出单元5024，用于将第二特征图输出到排序层的后一层。
另一实施例中，所述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，所述第二卷积层的卷积核小于所述第一卷积层的卷积核，所述第三卷积层的卷积核小于所述第一卷积层的卷积核。
图8为本发明提供的图像处理装置实施例一的模块结构图，如图8所示，该装置包括：
接收模块601，用于接收输入雾霾图像。
第一确定模块602，用于使用排序卷积神经网络确定输入雾霾图像的当前像素点的特征向量，其中，排序卷积神经网络中包括排序层、卷积层、下采样层以及全连接层，排序层用于对排序层的前一层的输出结果进行排序处理，按照排序结果生成排序层的输出结果，并将排序层的输出结果输出到排序层的后一层。
获取模块603，用于将当前像素点的特征向量输入随机森林回归模型中，获取当前像素点的雾霾浓度。
计算模块604，用于根据雾霾浓度以及环境光信息，计算输入雾霾图像对应的清晰图像。
该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
图9为本发明提供的图像处理装置实施例二的模块结构图，如图9所示，在图8的基础上，该装置还包括：
建立模块605，用于建立所述特征向量与雾霾浓度之间的对应关系；
其中，所述特征向量与雾霾浓度之间的对应关系为：对于特征向量如果tΒ∈(i/10-0.1,i/10]，则否则其中，tΒ为雾霾浓度。
另一实施例中，排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，输出层也是一个全连接层，其中，第二卷积层的卷积核小于第一卷积层的卷积核，第三卷积层的卷积核小于第一卷积层的卷积核。
图10为本发明提供的图像处理装置实施例三的模块结构图，如图10所示，基于上述十层排序卷积神经网络，第一确定模块602包括：
确定单元6021，用于通过输入层确定当前像素点的输入特征图，该输入特征图使用二维矩阵表示。
处理单元6022，用于对输入特征图进行排序处理、卷积处理、下采样以及全连接处理。
输出单元6023，用于将第二全连接层输出的特征向量作为当前像素点的
特征向量。
另一实施例中，获取模块603具体用于：
从当前像素点的特征向量中选取预设数量个元素训练随机森林回归模型中的回归树，获取随机森林回归模型的输出值，将随机森林回归模型的输出值作为当前像素点的雾霾浓度。
图11为本发明提供的图像处理装置实施例四的模块结构图，如图11所示，在图9的基础上，该装置还包括：
调整模块606，用于使用公式J*＝λJ调整所述清晰图像的亮度，其中，Il(x)为输入雾霾图像的亮度，Jl(x)为清晰图像的亮度。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种排序卷积神经网络构建方法，其特征在于，所述排序卷积神经网络中包括：排序层、卷积层、下采样层以及全连接层，其中，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层，所述方法包括：
接收输入特征图，所述输入特征图使用二维矩阵表示；
按照所述排序层、所述卷积层、所述下采样层以及所述全连接层在所述排序卷积神经网络中的预设顺序，对所述输入特征图执行排序操作、卷积操作、下采样操作以及全连接操作，获取所述输入特征图对应的输出特征，所述输出特征为一个特征向量，其中，所述排序操作在所述排序层中进行，所述卷积操作在所述卷积层中进行，所述下采样操作在所述下采样层中进行，所述全连接操作在所述全连接层中进行；
将所述输出特征输出。
2.根据权利要求1所述的方法，其特征在于，所述排序操作在所述排序层中进行，包括：
接收所述排序层的前一层所输出的第一特征图，所述第一特征图使用二维矩阵表示；
对所述第一特征图中的所有元素进行排序；
按照排序结果，将所述第一特征图中的元素逐个写入第二特征图中；
将所述第二特征图输出到所述排序层的后一层。
3.根据权利要求1或2所述的方法，其特征在于，所述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，所述第二卷积层的卷积核小于所述第一卷积层的卷积核，所述第三卷积层的卷积核小于所述第一卷积层的卷积核。
4.一种图像处理方法，其特征在于，包括：
接收输入雾霾图像；
使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量，其中，所述排序卷积神经网络中包括排序层、卷积层、下采样层以及全连接层，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层；
将所述当前像素点的特征向量输入随机森林回归模型中，获取所述当前像素点的雾霾浓度；
根据所述雾霾浓度以及环境光信息，确定所述输入雾霾图像对应的清晰图像。
5.根据权利要求4所述的方法，其特征在于，所述使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量之前，还包括：
建立输出层特征向量与雾霾浓度之间的对应关系；
其中，所述输出层特征向量与雾霾浓度之间的对应关系为：对于输出层特征向量如果tB∈(i/10-0.1,i/10]，则否则其中，tB为雾霾浓度。
6.根据权利要求4或5所述的方法，其特征在于，所述排序卷积神经网络包括十层，依次为：输入层、第一卷积层、第一下采样层、排序层、第二卷积层、第三卷积层、第二下采样层、第一全连接层、第二全连接层以及输出层，其中，所述第二卷积层的卷积核小于所述第一卷积层的卷积核，所述第三卷积层的卷积核小于所述第一卷积层的卷积核；
所述使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量，包括：
通过所述输入层确定所述当前像素点的输入特征图，所述输入特征图使用二维矩阵表示；
对所述输入特征图进行排序处理、卷积处理、下采样以及全连接处理；
将所述第二全连接层输出的特征向量作为所述当前像素点的特征向量。
7.根据权利要求4所述的方法，其特征在于，所述将所述当前像素点的特征向量输入随机森林回归模型中，获取所述当前像素点的雾霾浓度，包括：
从所述当前像素点的特征向量中选取预设数量个元素训练所述随机森林回归模型中的回归树，获取所述随机森林回归模型的输出值，将所述随机森林回归模型的输出值作为所述当前像素点的雾霾浓度。
8.根据权利要求4所述的方法，其特征在于，所述根据所述雾霾浓度以及环境光信息，确定所述输入雾霾图像对应的清晰图像之后，还包括：
使用公式J*＝λJ调整所述清晰图像的亮度，其中，Il(x)为输入雾霾图像的亮度，Jl(x)为清晰图像的亮度。
9.一种排序卷积神经网络构建装置，其特征在于，所述排序卷积神经网络中包括：排序层、卷积层、下采样层以及全连接层，其中，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层，所述装置包括：
接收模块，用于接收输入特征图，所述输入特征图使用二维矩阵表示；
处理模块，用于按照所述排序层、所述卷积层、所述下采样层以及所述全连接层在所述排序卷积神经网络中的预设顺序，对所述输入特征图执行排序操作、卷积操作、下采样操作以及全连接操作，获取所述输入特征图对应的输出特征，所述输出特征为一个特征向量，其中，所述排序操作在所述排序层中进行，所述卷积操作在所述卷积层中进行，所述下采样操作在所述下采样层中进行，所述全连接操作在所述全连接层中进行；
输出模块，用于将所述输出特征输出。
10.一种图像处理装置，其特征在于，包括：
接收模块，用于接收输入雾霾图像；
第一确定模块，用于使用排序卷积神经网络确定所述输入雾霾图像的当前像素点的特征向量，其中，所述排序卷积神经网络中包括排序层、卷积层、下采样层以及全连接层，所述排序层用于对所述排序层的前一层的输出结果进行排序处理，按照排序结果生成所述排序层的输出结果，并将所述排序层的输出结果输出到所述排序层的后一层；
获取模块，用于将所述当前像素点的特征向量输入随机森林回归模型中，获取所述当前像素点的雾霾浓度；
计算模块，用于根据所述雾霾浓度以及环境光信息，计算所述输入雾霾图像对应的清晰图像。
CN201610545516.3A 2016-07-12 2016-07-12 排序卷积神经网络构建方法及其图像处理方法与装置 Active CN106156781B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610545516.3A CN106156781B (zh) 2016-07-12 2016-07-12 排序卷积神经网络构建方法及其图像处理方法与装置
US15/448,546 US10504209B2 (en) 2016-07-12 2017-03-02 Image dehazing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610545516.3A CN106156781B (zh) 2016-07-12 2016-07-12 排序卷积神经网络构建方法及其图像处理方法与装置

Publications (2)

Publication Number Publication Date
CN106156781A true CN106156781A (zh) 2016-11-23
CN106156781B CN106156781B (zh) 2019-09-10

Family

ID=58061355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610545516.3A Active CN106156781B (zh) 2016-07-12 2016-07-12 排序卷积神经网络构建方法及其图像处理方法与装置

Country Status (2)

Country Link
US (1) US10504209B2 (zh)
CN (1) CN106156781B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295516A (zh) * 2016-07-25 2017-01-04 天津大学 基于图像的雾霾pm2.5值估计方法
CN106779070A (zh) * 2016-12-09 2017-05-31 中国科学技术大学 有效提升卷积神经网络稳健性的方法
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN107066553A (zh) * 2017-03-24 2017-08-18 北京工业大学 一种基于卷积神经网络与随机森林的短文本分类方法
CN107909084A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于卷积‑线性回归网络的雾霾浓度预测方法
CN108229525A (zh) * 2017-05-31 2018-06-29 商汤集团有限公司 神经网络训练及图像处理方法、装置、电子设备和存储介质
CN109657586A (zh) * 2018-12-10 2019-04-19 华中师范大学 一种基于排序卷积神经网络的人脸表情分析方法及系统
CN109754359A (zh) * 2017-11-01 2019-05-14 腾讯科技（深圳）有限公司 一种应用于卷积神经网络的池化处理的方法及系统
CN109872275A (zh) * 2017-12-04 2019-06-11 北京金山安全软件有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2019119301A1 (zh) * 2017-12-20 2019-06-27 华为技术有限公司 在卷积神经网络模型中确定特征图像的方法和装置
CN110494892A (zh) * 2017-05-31 2019-11-22 三星电子株式会社 用于处理多通道特征图图像的方法和装置
CN110516761A (zh) * 2019-09-03 2019-11-29 成都容豪电子信息科技有限公司 基于深度学习的目标检测系统、方法、存储介质及终端
US10504209B2 (en) 2016-07-12 2019-12-10 Beihang University Image dehazing method
CN110971834A (zh) * 2019-12-09 2020-04-07 维沃移动通信有限公司 闪光灯控制方法及电子设备
CN112053308A (zh) * 2020-10-22 2020-12-08 润联软件系统(深圳)有限公司 一种图像去模糊方法、装置、计算机设备及存储介质
CN110473137B (zh) * 2019-04-24 2021-09-14 华为技术有限公司 图像处理方法和装置
CN113396425A (zh) * 2019-03-25 2021-09-14 杭州飞步科技有限公司 加速方法、装置和片上系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121013A1 (en) 2016-12-29 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for detecting objects in images
CN110543884B (zh) * 2018-05-29 2022-04-12 国际关系学院 一种基于图像的网络攻击组织溯源方法
CN108960301B (zh) * 2018-06-20 2021-09-10 西南大学 一种基于卷积神经网络的古彝文识别方法
CN109740407B (zh) * 2018-08-27 2023-04-18 广州麦仑信息科技有限公司 一种基于图网络的掌静脉特征提取方法
CN109543606B (zh) * 2018-11-22 2022-09-27 中山大学 一种加入注意力机制的人脸识别方法
CN113902921B (zh) * 2018-11-30 2022-11-25 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN111711817B (zh) * 2019-03-18 2023-02-10 四川大学 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN110188595A (zh) * 2019-04-12 2019-08-30 淮阴工学院 一种基于ar和cnn算法的动物园游览系统及游览方法
CN111008924B (zh) * 2019-12-02 2023-09-12 西安交通大学深圳研究院 一种图像处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916334A (zh) * 2010-08-16 2010-12-15 清华大学 一种皮肤状况预测方法及其预测系统
CN103679211A (zh) * 2013-12-05 2014-03-26 河海大学 基于神经网络敏感性的特征选择方法及其装置
CN103902972A (zh) * 2014-03-21 2014-07-02 哈尔滨工程大学 一种水面移动平台视觉系统图像分析处理方法
CN104217404A (zh) * 2014-08-27 2014-12-17 华南农业大学 雾霾天视频图像清晰化处理方法及其装置
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
CN105528516A (zh) * 2015-12-01 2016-04-27 三门县人民医院 基于主元分析与超限学习机相结合的临床病理数据分类方法
CN105719247A (zh) * 2016-01-13 2016-06-29 华南农业大学 基于特征学习的单幅图像去雾方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762894B2 (en) * 2015-03-27 2020-09-01 Google Llc Convolutional neural networks
WO2017015947A1 (en) * 2015-07-30 2017-02-02 Xiaogang Wang A system and a method for object tracking
CN106156781B (zh) 2016-07-12 2019-09-10 北京航空航天大学 排序卷积神经网络构建方法及其图像处理方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916334A (zh) * 2010-08-16 2010-12-15 清华大学 一种皮肤状况预测方法及其预测系统
CN103679211A (zh) * 2013-12-05 2014-03-26 河海大学 基于神经网络敏感性的特征选择方法及其装置
CN103902972A (zh) * 2014-03-21 2014-07-02 哈尔滨工程大学 一种水面移动平台视觉系统图像分析处理方法
CN104217404A (zh) * 2014-08-27 2014-12-17 华南农业大学 雾霾天视频图像清晰化处理方法及其装置
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
CN105528516A (zh) * 2015-12-01 2016-04-27 三门县人民医院 基于主元分析与超限学习机相结合的临床病理数据分类方法
CN105719247A (zh) * 2016-01-13 2016-06-29 华南农业大学 基于特征学习的单幅图像去雾方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504209B2 (en) 2016-07-12 2019-12-10 Beihang University Image dehazing method
CN106295516A (zh) * 2016-07-25 2017-01-04 天津大学 基于图像的雾霾pm2.5值估计方法
CN106779070A (zh) * 2016-12-09 2017-05-31 中国科学技术大学 有效提升卷积神经网络稳健性的方法
CN106779070B (zh) * 2016-12-09 2019-08-27 中国科学技术大学 有效提升卷积神经网络稳健性的方法
CN106780612B (zh) * 2016-12-29 2019-09-17 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN106780612A (zh) * 2016-12-29 2017-05-31 浙江大华技术股份有限公司 一种图像中的物体检测方法及装置
CN107066553A (zh) * 2017-03-24 2017-08-18 北京工业大学 一种基于卷积神经网络与随机森林的短文本分类方法
CN107066553B (zh) * 2017-03-24 2021-01-01 北京工业大学 一种基于卷积神经网络与随机森林的短文本分类方法
CN110494892B (zh) * 2017-05-31 2023-10-03 三星电子株式会社 用于处理多通道特征图图像的方法和装置
CN108229525A (zh) * 2017-05-31 2018-06-29 商汤集团有限公司 神经网络训练及图像处理方法、装置、电子设备和存储介质
CN110494892A (zh) * 2017-05-31 2019-11-22 三星电子株式会社 用于处理多通道特征图图像的方法和装置
CN109754359A (zh) * 2017-11-01 2019-05-14 腾讯科技（深圳）有限公司 一种应用于卷积神经网络的池化处理的方法及系统
US11537857B2 (en) 2017-11-01 2022-12-27 Tencent Technology (Shenzhen) Company Limited Pooling processing method and system applied to convolutional neural network
US11734554B2 (en) 2017-11-01 2023-08-22 Tencent Technology (Shenzhen) Company Limited Pooling processing method and system applied to convolutional neural network
CN107909084A (zh) * 2017-11-15 2018-04-13 电子科技大学 一种基于卷积‑线性回归网络的雾霾浓度预测方法
CN107909084B (zh) * 2017-11-15 2021-07-13 电子科技大学 一种基于卷积-线性回归网络的雾霾浓度预测方法
CN109872275A (zh) * 2017-12-04 2019-06-11 北京金山安全软件有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109872275B (zh) * 2017-12-04 2023-05-23 北京金山安全软件有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2019119301A1 (zh) * 2017-12-20 2019-06-27 华为技术有限公司 在卷积神经网络模型中确定特征图像的方法和装置
CN109657586A (zh) * 2018-12-10 2019-04-19 华中师范大学 一种基于排序卷积神经网络的人脸表情分析方法及系统
CN109657586B (zh) * 2018-12-10 2022-02-18 华中师范大学 一种基于排序卷积神经网络的人脸表情分析方法及系统
CN113396425B (zh) * 2019-03-25 2023-08-22 杭州飞步科技有限公司 加速方法、装置和片上系统
CN113396425A (zh) * 2019-03-25 2021-09-14 杭州飞步科技有限公司 加速方法、装置和片上系统
CN110473137B (zh) * 2019-04-24 2021-09-14 华为技术有限公司 图像处理方法和装置
CN110516761A (zh) * 2019-09-03 2019-11-29 成都容豪电子信息科技有限公司 基于深度学习的目标检测系统、方法、存储介质及终端
CN110971834B (zh) * 2019-12-09 2021-09-10 维沃移动通信有限公司 闪光灯控制方法及电子设备
CN110971834A (zh) * 2019-12-09 2020-04-07 维沃移动通信有限公司 闪光灯控制方法及电子设备
CN112053308A (zh) * 2020-10-22 2020-12-08 润联软件系统(深圳)有限公司 一种图像去模糊方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20180018539A1 (en) 2018-01-18
US10504209B2 (en) 2019-12-10
CN106156781B (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN106156781A (zh) 排序卷积神经网络构建方法及其图像处理方法与装置
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN107527337B (zh) 一种基于深度学习的视频对象移除篡改检测方法
CN104834933B (zh) 一种图像显著性区域的检测方法和装置
CN108021938A (zh) 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN107403141A (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN108052881A (zh) 一种实时检测施工现场图像中多类实体对象的方法及设备
CN111242127A (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN106530284A (zh) 基于图像识别的焊点类型检测和装置
CN105590099B (zh) 一种基于改进卷积神经网络的多人行为识别方法
CN110569814B (zh) 视频类别识别方法、装置、计算机设备及计算机存储介质
CN109614973A (zh) 水稻秧苗及苗期杂草图像语义分割方法、系统、设备和介质
CN113689382B (zh) 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN114663662B (zh) 超参数搜索方法、装置、计算机设备和存储介质
CN110674925B (zh) 基于3d卷积神经网络的无参考vr视频质量评价方法
CN110458047A (zh) 一种基于深度学习的越野环境场景识别方法及系统
CN110443789A (zh) 一种免疫固定电泳图自动识别模型的建立及使用方法
CN109978074A (zh) 基于深度多任务学习的图像美感和情感联合分类方法及系统
CN109977762A (zh) 一种文本定位方法及装置、文本识别方法及装置
CN107133631A (zh) 一种识别电视台图标的方法及装置
CN111739037A (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN107590804A (zh) 基于通道特征和卷积神经网络的屏幕图像质量评价方法
CN109801224A (zh) 一种图片处理方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant