CN108734667B - 一种图像处理方法及系统 - Google Patents
一种图像处理方法及系统 Download PDFInfo
- Publication number
- CN108734667B CN108734667B CN201710244337.0A CN201710244337A CN108734667B CN 108734667 B CN108734667 B CN 108734667B CN 201710244337 A CN201710244337 A CN 201710244337A CN 108734667 B CN108734667 B CN 108734667B
- Authority
- CN
- China
- Prior art keywords
- neural network
- image
- target image
- distortion
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 105
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 abstract description 34
- 238000005286 illumination Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 8
- 238000003062 neural network model Methods 0.000 description 6
- 230000001976 improved effect Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- WSNMPAVSZJSIMT-UHFFFAOYSA-N COc1c(C)c2COC(=O)c2c(O)c1CC(O)C1(C)CCC(=O)O1 Chemical compound COc1c(C)c2COC(=O)c2c(O)c1CC(O)C1(C)CCC(=O)O1 WSNMPAVSZJSIMT-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种图像处理方法及系统，所述方法包括：当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像。本发明基于全卷积神经网络阵列对复杂光照条件下的终端设备拍摄图像的失真类型进行判定并调整，有效地解决了传统方法针对性差和效率低问题，并丰富和完善了第二类方法针对复杂场景下的图像处理的解决方案，改善了复杂场景下图像的视觉效果。
Description
技术领域
本发明涉及终端设备技术领域，特别涉及一种图像处理方法及系统。
背景技术
近年来，以手机为代表的移动便携式电子产品已经成为普通消费者的日常“标配”，这导致“拍摄”已经成为了用户在日常生活与工作中很重要的一部分。但是，现有终端设备拍摄图像存储失真的现实，例如，在低光照情况下，感光元件无法得到足够多的来自物体表面反射的光线，导致最后图像成像质量较差，不能准确反映物体的真实情况。
为了解决这个问题，现有提高终端设备拍摄图像质量的方法大致可以分成两类。第一类是传统方法，通过手动设定参数后利用高斯滤波，中值滤波，或BM3D等方法对图像质量进行恢复的方式。这类方法的效果不明显，并且往往只对某一种或几种图像失真类型有改善效果。第二类是基于数据驱动的图像质量提升的方法。这一类方法主要是将含有失真的图像和目标图像作监督学习，通过深度学习来提取图像特征表达，进而获得预设调整模型。但是，第二类方法在针对移动端的复杂场景下的图像提升还是缺乏针对性和高效性。
因而现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种图像处理方法，改善复杂场景下终端设备拍摄图像的视觉效果。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种图像处理方法，其中其包括：
当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
根据所述失真类型对所述目标图片进行相应调整，并输出调整后的目标图像。
所述图像处理方法，其中，所述当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型具体包括：
当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
采用所述预设失真分类模型的第一级第一卷积神经网络对所述目标图像进行识别；
若识别结果为失真类型，则输出所述失真类型；
若识别结果为其他，则采用下一级第一卷积神经网络对所述目标进行识别，依次执行至最后一级第一卷积神经网络；
若最后一级第一卷积神经网络识别结果为其他，则判定所述目标图像的图像质量符合人眼视觉需求。
所述图像处理方法，其中，所述第一卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干全连接层。
所述图像处理方法，其中，所述根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像具体包括：
根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
采用所述第二卷积神经网络对所述目标图像进行调整，并输出调整后的目标图像。
所述图像处理方法，其中，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。
一种图像处理系统，其包括：
确定模块，用于当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
调整模块，用于根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像。
所述图像处理系统，其中，所述确定模块具体包括：
输入单元，用于当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
第一识别单元，用于采用所述预设失真分类模型的第一级第一卷积神经网络对所述目标图像进行识别；
输出单元，用于当识别结果为失真类型时，输出所述失真类型；
第二识别单元，用于当识别结果为其他时，采用下一级第一卷积神经网络对所述目标进行识别，依次执行至最后一级第一卷积神经网络；
判定单元，用于当最后一级第一卷积神经网络识别结果为其他，判定所述目标图像的图像质量符合人眼视觉需求。
所述图像处理系统，其中，所述第一卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干全连接层。
所述图像处理系统，其中，所述调整模块包括：
选取单元，用于根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
调整单元，用于采用所述第二卷积神经网络对所述目标图像进行调整，并输出调整后的目标图像。
所述图像处理系统，其中，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。
有益效果：与现有技术相比，本发明提供了一种图像处理方法及系统，所述方法包括：当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像。本发明基于全卷积神经网络阵列对复杂光照条件下的终端设备拍摄图像的失真类型进行判定并调整，有效地解决了传统方法针对性差和效率低问题，并丰富和完善了第二类方法针对复杂场景下的图像处理的解决方案，改善了复杂场景下图像的视觉效果。
附图说明
图1为本发明提供的图像处理方法较佳实施的流程图。
图2为本发明提供的图像处理中失真分类模型的流程图。
图3为本发明提供的图像处理方法的一个实施例的流程图。
图4为本发明提供的图像处理系统的结构原理图。
图5为本发明提供的图像处理系统另一实施例的结构原理图。
具体实施方式
本发明提供一种图像处理方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，模块”、“部件”或“单元”可以混合地使用。
终端设备可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的终端设备以及诸如数字TV、台式计算机等等的固定终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
请参照图1和图2所示，图1为本发明提供的图像处理方法的较佳实施例的流程图，图2为本发明提供的图像处理方法中失真分类模型识别流程图。所述方法包括：
S100、当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
S200、根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像。
本实施例提供了一种图像处理方法，其利用由若干独立的第一卷积神经网络以级联结构组成的失真分类模型分辨不同光照条件下的图像失真类型，并根据所述失真类型进行相应的增强处理，明显有著地改善了复杂场景下终端设备拍摄图像的视觉效果，进而提高了终端设备拍摄图像的质量。
具体的来说，在所述步骤S100中，所述目标图像为所述终端设备其配置的设置拍摄的图像。所述目标图像可以是所述终端设备在负责场景下拍摄的图像，例如，在低光照情况下拍摄的图像、高光照噪声下拍摄的图像等。
所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列，所述第一卷积神经网络为全卷积神经网络。所述第一卷积神经网络阵列可以仅包含一个第一卷积神经网络，也可以包含多个独立的第一卷积神经网络。当所述第一卷积神经网络阵列包含多个独立的第一卷积神经网络时，所述多个独立的第一卷积神经网络之间通过级联方式连接。也就是说，所述第一卷积神经网络阵列包括若干用于识别不同失真类型的独立第一卷积神经网络，分别记为第一级第一卷积神经网络，第二级第一卷积神经网络，....，第n级第一卷积神经网络；所述若干独立第一卷积神经网络之间通过级联方式连接，并且每一级第一卷积神经网络都是相互独立的，每一级第一卷积神经网络用于识别一种失真类型。
在本实施例中，所述第一卷积神经网络阵列级联的独立的网络模型可以根据其识别的内容而扩展。也就是说，当存在新的失真类型需要识别时，为所述失真类型独立训练一个新的第一卷积神经网络模型，并将所述新的第一卷积神经网络模型级联于现有的第一卷积神经网络阵列上，作为最后一级第一卷积神经网络。这样可以不需要对已存在的训练模型结果进行重新训练以准确识别新目标，同时解决了神经网络只在有限个数的目标时才能保证准确率的问题，并且实现了第一卷积神经网络阵列的可扩展性。例如，如图2所示，第一级第一卷积神经网络模型用来识别一类图像失真类型，其中相近的不同失真子类型（比如低光照度图像和高光照度图像）可被归为一个大类，记为I类失真类型(CNN_I)；若有新的图像失真类别集需要识别时，独立训练一个新的卷积网络模型，记为II类失真类型(CNN_II)；然后，将新的卷积网络模型CNN_II级联在原有神经网络组CNN_I之后；最后，新的卷积网络阵列(例如包含CNN_I到CNN_II)可联合地用于终端设备拍摄图像的失真类型识别。
相应的，如图2所示，所述当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型具体包括：
S101、当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
S102、采用所述预设失真分类模型的第一级第一卷积神经网络CNN_I对所述目标图像进行识别;
S103、若识别结果为失真类型，则输出所述失真类型至图像质量的增强模型；
S104、若识别结果为其他，则采用下一级第一卷积神经网络CNN_II对所述目标进行识别，依次执行至最后一级第一卷积神经网络CNN_N；
S105、若最后一级第一卷积神经网络CNN_N的识别结果为其他，则判定所述目标图像的图像质量符合人眼视觉需求。
具体地，当拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型，采用第一级第一卷积神经网络模型进行识别，若识别结果若为“其他”，则进入下一级第一卷积神经网络模型，否则输出所述第一卷积神经网络模型对应的失真类型，以此类推直至最后一级第一卷积神经网络模型。也就是说，首先从第一级开始，重复此过程直至最后一级第一卷积神经网络模型；而当进行到最后一级第一卷积神经网络模型的识别结果为“其他”时，则认为当前图像质量符合人眼视觉需求。
在本实施例中，所述第一卷积神经网络的前端和中端可以是任意多个卷积层(Convolutional Layer)，空间批量正则化层(Spatial Batch Normalization layer), 纠正线性单元层(Rectified Linear Units Connection layer)，空间最大池化层(spatialmax pooling)的组合，其后端为任意多个全连接层(Fully Connected Layer)。
在本实施例中，所述第一卷积神经网络可以包括：
第一层，卷积层，卷积核为3x3，卷积步长为2；
第二层，卷积层，卷积核为3x3，卷积步长为1；
第三层，最大池化层，池化区间为2；
子网络结构 I:
第四层，卷积层，卷积核为3x3，卷积步长为1；
第五层，全连接层（子网络I结束）。
子网络结构 II:
第四层，卷积层，卷积核为3x3，卷积步长为1；
第五层，全连接层（子网络II结束）。
在上述第一卷积神经网络中，每个卷积层之后紧接着一个空间批量正则化层，一个纠正线性单元层和一个空间最大池化层。卷积层的作用是将输入图像或者特征映射(Feature map)通过一系列线性变换后作为新的特征映射，其可作为网络的下一层的输入。空间批量正则化的作用是归一化数据分布用于加速训练过程并提高网络的表达能力。纠正线性单元将输入的结果按照近似人类视觉反应做变化后，输出结果。池化层的作用是聚合特征并降低特征数量，降低网络复杂度。
进一步，所述终端设备拍摄目标图像后可以先对所述目标图像进行预设处理，之后确定所述目标图像的失真类型。相应的，所述当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型具体可以包括：
当终端设备通过其配置的摄像头拍摄目标图像时，对所述图像进行预处理；
采用预设失真分类模型确定所述预处理后的目标图像的失真类型。
具体地，所述预处理指的是对终端设备的图像进行缩放，裁剪，颜色归一化等等的处理。
在本发明的一个实施例中，所述若最后一级第一卷积神经网络识别结果为其他之后，判定所述目标图像的图像质量符合人眼视觉需求之前包括：
S1051、检测所述图像是否携带未识别的失真现象；
S1052、当检测到未识别的失真现象时，根据所述目标图像独立训练用于识别所述目标图像对应的失真现象的新的第一卷积神经网络；
S1053、将所述新的第一卷积神经网络级联于所述最后一级第一卷积神经网络之后，以形成新的失真分类模型，并采用所述新的失真分类模型进行识别；
S1054、当未检测到未识别的失真现象时，判定所述目标图像的图像质量符合人眼视觉需求。
具体地，所述检测所述图像是否携带为识别的失真现象指的是判断所述目标图像是否还存在的失真情况。也就是说，检测是否需要独立训练第一卷积神经网络的失真情况，以提高判断的准确性。
在所述步骤S200中，所述对所述目标图片进行相应的调整也可以采用预设调整模型进行调整，所述预设调整模型可更新的基于全卷积神经网络的移动端拍摄图像质量的预设调整模型，即所述预设调整模型可以根据失真类型对每种失真类型的恢复模型进行独立更新。在本实施例中，所述预设调整模型可以为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列。并且，所述第二卷积神经网阵列包含的第二卷积神经网络与所述第一卷积神经网阵列包含的第一卷积神经网络一一对应。也就是说，所述第二卷积神经网阵列中的每一个第二卷积神经网络调整的失真类型均与第一卷积神经网阵列中一个第一卷积神经网络识别的失真类型相对应。这样可以使得失真类型识别到的失真类型第二卷积神经网阵列均可调整。
相应的，所述根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像具体包括：
S201、根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
S202、采用所述第二卷积神经网络对所述目标图像进行调整，并输出调整后的目标图像。
具体地，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。例如，对于低光照失真类型的第二卷积神经网络具体结构可以为：
第一层，卷积层，卷积核为3x3，卷积步长为2；
第二层，卷积层，卷积核为3x3，卷积步长为1；
第三层，卷积层，卷积核为3x3，卷积步长为1；
第四层，卷积层，卷积核为3x3，卷积步长为1；
第五层，卷积层，卷积核为3x3，卷积步长为1；
第六层，反卷积层，卷积核为4x4，卷积步长为2；
第七层，反卷积层，卷积核为4x4，卷积步长为2；
在本实施例中，每个卷积层之后紧接着一个空间批量正则化层和一个纠正线性单元层，而反卷积层为单独层网络。所述卷积神经网络采用随机梯度下降法进行权重参数的学习。迭代次数可以视数据集的大小灵活变化。相关的配置参数如下：初始学习速率0.001，之后每20轮迭代更新为原来的1/2。为了有效地扩大图片数据集，随机旋转正负-5度至+5度，随机50%~150%的大小变化扰动，随机左右旋转。在本实施例中，通过以上方法扩充的数据集被用来对卷积网络进行训练。当然，所述卷积网络也可以采用其他方式进行训练，在这里就不一一详述。
本发明的另一实施例中，所述图像处理方法，如图3所示，其还可以包括：
S10、通过终端设备的摄像头拍摄目标图像；
S20、对所述目标图像进行预处理；
S30、将预处理后的目标图像作为输入参数输入至所述失真分类模型进行识别；
S40、将所述预处理后的目标图像作为输入参数输入至图像质量的预设调整模型，并采用所述识别到的失真类型对应的次级卷积神经网络进行调整；
S50、输出调整后的目标图像。
具体地，所述失真分类模型的识别结果具体可以为“其他”，“失真类型I”，“失真类型II”，……，“失真类型N”，其中，所述“其他”指不需要处理的图像，“失真类型N”指第N种特定的失真类型。
所述次级卷积神经网络指的是基于全卷积神经网络模型的网络模型，所述网络模块用于预先通过监督学习获得的特征表达，对所述失真类型进行调整，并输出调整后的目标图像。所述输出调整后的目标图像指的是将调整后的目标图像保存到用户终端相册中或者是用户自行指定的储存位置。
为了进一步说明卷积神经网络阵列对目标图像识别过程，下面给出几个具体实施例加以说明。
实施例一
采用本发明对终端设备的摄像头拍摄的图像进行失真分类和图像质量调整处理时，首先从用户终端设备获取需要处理的图像，在获取需要处理的图像之后，将其送到图像失真分类模型中，然后根据输出结果判断下一步的操作。如果输出结果为“其他”，则说明图像无需进一步处理，直接输出结果。如果失真分类模型的输出结果是该图像存在某一个类型的失真，则将该图像送到预设调整模型中，对图像进行调整，并输出调整后的目标图像处理。
例如手机拍摄的一张图像A，该图像为手机在光线不足条件下拍摄的带有低光照噪声的失真图像。首先将图像A送到图像失真分类模型中进行识别失真类型的处理，随后得到识别结果为“低光照噪声”，则将图像A送到预设调整模型中进行处理。预设调整模型会根据判断结果，将其送入到针对低光照噪声的次级网络中进行图像质量增强处理，最后输出结果。
实施例二
采用本发明在已经得知失真类型的情况下对图像进行处理时，可以选择不激活系统中的图像失真分类模型，而是直接将待处理的图像送入到预设调整模型中，直接利用针对该失真类型的次级网络进行处理。具体处理过程如下：在获取需要处理的图像之后，根据已知失真类型将该图像送到相对应的预设调整模型中，对图像进行调整，最后输出调整后的目标图像。
假如手机拍摄的一张图像B，该图像为手机在光线不足条件下拍摄的带有低光照噪声的失真图像。因为用户已经得知失真的具体类型，所以将图像B送入到针对低光照噪声的次级网络中进行图像质量增强处理，最后输出结果。
实施例三
在采用本发明对终端设备的摄像头拍摄的图像进行失真分类和图像质量增强处理时，如果对于图像增强质量有不同的要求，可以增加图像的处理流程，达到相对应的提升目的。具体处理过程如下：在获取需要处理的图像之后，将其送到图像失真分类模型中，然后根据输出结果判断下一步的操作。如果输出结果为“其他”，则说明图像无需处理，可以直接输出。如果输出结果是某一个类型的失真，则将该图像送到预设调整模型中，对图像进行调整，并输出调整后的目标图像。处理完成之后，将图像再一次输入至失真类型分类模型中，再进行一次失真类型识别，根据识别结果对图像进行相对应处理。最后输出结果。
假如手机拍摄的一张图像C，该图像为手机在光线不足条件下拍摄的带有低光照噪声的失真图像。首先将图像C送到图像失真分类模型中，随后得到判断结果为“低光照噪声”，则将图像C送到预设调整模型中。预设调整模型会根据识别结果，将图像C送入到针对低光照噪声的次级网络中进行图像质量增强处理。然后将处理完的图像C再一次送入到图像失真分类模型中，随后得到识别结果为“低光照噪声”。接着将图像C送入到针对低光照噪声的次级网络中进行处理，最后输出结果。
本发明还提供了一种图像处理系统，如图4所示，其包括：
确定模块100，用于当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
调整模块200，用于根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像。
所述图像处理系统，其中，所述确定模块具体包括：
输入单元，用于当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
第一识别单元，用于采用所述预设失真分类模型的第一级第一卷积神经网络对所述目标图像进行识别；
输出单元，用于当识别结果为失真类型时，输出所述失真类型至图像质量的增强模型；
第二识别单元，用于当识别结果为其他时，采用下一级第一卷积神经网络对所述目标进行识别，依次执行至最后一级第一卷积神经网络；
判定单元，用于当最后一级第一卷积神经网络识别结果为其他，判定所述目标图像的图像质量符合人眼视觉需求。
所述图像处理系统，其中，所述第一卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干全连接层。
所述图像处理系统，其中，所述调整模块包括：
选取单元，用于根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
调整单元，用于采用所述第二卷积神经网络对所述目标图像进行调整，并输出调整后的目标图像。
所述图像处理系统，其中，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。
在本发明的另一个实施例中，如图5所示，所述系统包括：终端设备1000和服务器2000；
所述终端设备1000包括获取模块1001和发送模块1002；
所述获取模块1001，用于通过终端设备配置的摄像头拍摄目标图像；
所述发送模块1002，用于将所述目标图像发送至服务器；
所述服务器2000包括：收发模块2001、确定模块2002和调整模块2003；
所述收发模块2001，用于接收终端设备发送的目标图像以及将调整后的目标图像发送至终端设备；
所述确定模块2002，用于采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
所述调整模块2003，用于根据所述失真类型对所述目标图片相应调整。
所述图像处理系统，其中，所述确定模块具体包括：
输入单元，用于当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
第一识别单元，用于采用所述预设失真分类模型的第一级第一卷积神经网络对所述目标图像进行识别；
输出单元，用于当识别结果为失真类型时，输出所述失真类型至图像质量的增强模型；
第二识别单元，用于当识别结果为其他时，采用下一级第一卷积神经网络对所述目标进行识别，依次执行至最后一级第一卷积神经网络；
判定单元，用于当最后一级第一卷积神经网络识别结果为其他，判定所述目标图像的图像质量符合人眼视觉需求。
所述图像处理系统，其中，所述第一卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干全连接层。
所述图像处理系统，其中，所述调整模块包括：
选取单元，用于根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
调整单元，用于采用所述第二卷积神经网络对所述目标图像进行调整。
所述图像处理系统，其中，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。
上述图像处理系统的各个模块在上述方法中已经详细说明，在这里就不再一一陈述。
在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种图像处理方法，其特征在于，其包括：
当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
根据所述失真类型对所述目标图片进行相应调整，并输出调整后的目标图像；
其中，所述根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像具体包括：
根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
采用所述第二卷积神经网络对所述目标图像进行调整，并输出调整后的目标图像。
2.根据权利要求1所述图像处理方法，其特征在于，所述当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型具体包括：
当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
采用所述预设失真分类模型的第一级第一卷积神经网络对所述目标图像进行识别；
若识别结果为失真类型，则输出所述失真类型至图像质量的增强模型；
若识别结果为其他，则采用下一级第一卷积神经网络对所述目标进行识别，依次执行至最后一级第一卷积神经网络；
若最后一级第一卷积神经网络识别结果为其他，则判定所述目标图像的图像质量符合人眼视觉需求。
3.根据权利要求1-2任一所述图像处理方法，其特征在于，所述第一卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干全连接层。
4.根据权利要求1所述图像处理方法，其特征在于，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。
5.一种图像处理系统，其特征在于，其包括：
确定模块，用于当终端设备拍摄目标图像时，采用预设失真分类模型确定所述目标图像的失真类型，其中，所述预设失真分类模型为由若干独立的第一卷积神经网络以级联结构组成的第一卷积神经网阵列；
调整模块，用于根据所述失真类型对所述目标图片相应调整，并输出调整后的目标图像；
其中，所述调整模块包括：
选取单元，用于根据所述失真类型在预设调整模型中选取相应的第二卷积神经网络；其中，所述预设调整模型为由若干独立的第二卷积神经网络以级联结构组成的第二卷积神经网阵列；
调整单元，用于采用所述第二卷积神经网络对所述目标图像进行调整，并输出调整后的目标图像。
6.根据权利要求5所述图像处理系统，其特征在于，所述确定模块具体包括：
输入单元，用于当终端设备拍摄目标图像时，将所述目标图像作为输入参数输入至预设失真分类模型；
第一识别单元，用于采用所述预设失真分类模型的第一级第一卷积神经网络对所述目标图像进行识别；
输出单元，用于当识别结果为失真类型时，输出所述失真类型至图像质量的增强模型；
第二识别单元，用于当识别结果为其他时，采用下一级第一卷积神经网络对所述目标进行识别，依次执行至最后一级第一卷积神经网络；
判定单元，用于当最后一级第一卷积神经网络识别结果为其他，判定所述目标图像的图像质量符合人眼视觉需求。
7.根据权利要求5-6任一 项所述图像处理系统，其特征在于，所述第一卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干全连接层。
8.根据权利要求5所述图像处理系统，其特征在于，所述第二卷积神经网络的前端和中端由若干卷积层，空间批量正则化层，纠正线性单元层和最大池化层组成；其后端包括若干反卷积层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710244337.0A CN108734667B (zh) | 2017-04-14 | 2017-04-14 | 一种图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710244337.0A CN108734667B (zh) | 2017-04-14 | 2017-04-14 | 一种图像处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108734667A CN108734667A (zh) | 2018-11-02 |
| CN108734667B true CN108734667B (zh) | 2022-01-18 |
Family
ID=63924946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710244337.0A Active CN108734667B (zh) | 2017-04-14 | 2017-04-14 | 一种图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108734667B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109348086B (zh) * | 2018-11-05 | 2020-09-15 | 重庆大学 | 智能无线摄影机图像同步识别与压缩方法 |
| CN111815529B (zh) * | 2020-06-30 | 2023-02-07 | 上海电力大学 | 一种基于模型融合和数据增强的低质图像分类增强方法 |
| CN112102192A (zh) * | 2020-09-15 | 2020-12-18 | 遵义师范学院 | 一种图像白平衡方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101272489B (zh) * | 2007-03-21 | 2011-08-10 | 中兴通讯股份有限公司 | 视频图像质量增强的编解码装置与编解码方法 |
| JP5105286B2 (ja) * | 2008-05-07 | 2012-12-26 | 国立大学法人東京工業大学 | 画像復元装置、画像復元方法及び画像復元プログラム |
| US20150032449A1 (en) * | 2013-07-26 | 2015-01-29 | Nuance Communications, Inc. | Method and Apparatus for Using Convolutional Neural Networks in Speech Recognition |
| CN104008370B (zh) * | 2014-05-19 | 2017-06-13 | 清华大学 | 一种视频人脸识别方法 |
| CN105825484B (zh) * | 2016-03-23 | 2018-06-22 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN105979253B (zh) * | 2016-05-06 | 2017-11-28 | 浙江科技学院 | 基于广义回归神经网络的无参考立体图像质量评价方法 |
| CN106204468B (zh) * | 2016-06-27 | 2019-04-26 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
| CN106226050B (zh) * | 2016-07-15 | 2019-02-01 | 北京航空航天大学 | 一种基于卷积神经网络的tfds故障图像自动识别方法 |
| CN106530227B (zh) * | 2016-10-27 | 2019-08-06 | 北京小米移动软件有限公司 | 图像复原方法及装置 |
| CN106488313A (zh) * | 2016-10-31 | 2017-03-08 | Tcl集团股份有限公司 | 一种台标识别方法及系统 |
-
2017
- 2017-04-14 CN CN201710244337.0A patent/CN108734667B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108734667A (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151723B2 (en) | Image segmentation method, apparatus, and fully convolutional network system | |
| Ignatov et al. | Dslr-quality photos on mobile devices with deep convolutional networks | |
| CN109241880B (zh) | 图像处理方法、图像处理装置、计算机可读存储介质 | |
| CN108305240B (zh) | 图像质量检测方法及装置 | |
| US20220138454A1 (en) | Training method and training apparatus for a neural network for object recognition | |
| CN111209970B (zh) | 视频分类方法、装置、存储介质及服务器 | |
| US11508038B2 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
| CN108734667B (zh) | 一种图像处理方法及系统 | |
| CN111935479B (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
| CN108200337B (zh) | 拍照处理的方法、装置、终端及存储介质 | |
| CN110717058B (zh) | 信息推荐方法及装置、存储介质 | |
| CN113313661A (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| WO2020048359A1 (en) | Method, system, and computer-readable medium for improving quality of low-light images | |
| CN110245573B (zh) | 一种基于人脸识别的签到方法、装置及终端设备 | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| CN115496668A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111028276A (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| CN108446688B (zh) | 人脸图像性别判断方法、装置、计算机设备及存储介质 | |
| CN112614110B (zh) | 评估图像质量的方法、装置及终端设备 | |
| CN107609561A (zh) | 一种大数据图像处理方法 | |
| CN109118441B (zh) | 一种低照度图像及视频增强方法、计算机装置及存储介质 | |
| CN112087556B (zh) | 一种暗光成像方法、装置、可读存储介质及终端设备 | |
| CN113554035A (zh) | 基于光流的特征匹配方法、智能终端及计算机存储介质 | |
| CN113129252A (zh) | 一种图像评分方法及电子设备 | |
| CN110909696A (zh) | 一种场景检测方法、装置、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province Applicant after: TCL Technology Group Co.,Ltd. Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District Applicant before: TCL Corp. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |