CN110648326A - 一种构建图像质量评估卷积神经网络的方法及装置 - Google Patents
一种构建图像质量评估卷积神经网络的方法及装置 Download PDFInfo
- Publication number
- CN110648326A CN110648326A CN201910935025.3A CN201910935025A CN110648326A CN 110648326 A CN110648326 A CN 110648326A CN 201910935025 A CN201910935025 A CN 201910935025A CN 110648326 A CN110648326 A CN 110648326A
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- neural network
- image
- convolutional neural
- training image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 254
- 238000012360 testing method Methods 0.000 claims abstract description 93
- 238000004458 analytical method Methods 0.000 claims description 59
- 230000009466 transformation Effects 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 36
- 230000006835 compression Effects 0.000 claims description 28
- 238000007906 compression Methods 0.000 claims description 28
- 239000013598 vector Substances 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 16
- 230000001131 transforming effect Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 238000001303 quality assessment method Methods 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种构建图像质量评估卷积神经网络的方法及装置，该方法包括：先对训练图像集中的各训练图像以及测试图像集中的各测试图像进行从时域到频域的变换，以频域训练图像集中的每一训练图像作为卷积神经网络的输入，以该训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练，最后将频域测试图像集中的测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络，通过将频域图像特征输入卷积神经网络中进行训练，降低了噪声对卷积神经网络算法性能的影响，通过修正浅层的卷积神经网络的各项参数便能保证算法的精度，降低了卷积神经网络的复杂度。
Description
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种构建图像质量评估卷积神经网络的方法及装置。
背景技术
数字图像在采集、压缩、存储或其他图像处理过程中通常会受到不同程度和不同类型的图像失真影响。为评估图像的失真情况，现有技术常将卷积神经网络(Convolutional Neural Networks，CNN)应用在图像质量评估方法中。
这种图像质量评估方法主要是先采集各种清晰和模糊的图像，并对图像进行标注，以区分出清晰和模糊的图像；将标注的图像划分为训练数据集和测试数据集；然后将训练数据集加入卷积神经网络中进行训练，训练完后再利用测试数据集测试算法的性能。
但这种方法容易受到很多噪声的污染，比如椒盐噪声和高斯噪声等，噪声的污染对算法的精度造成影响，因此为了提高算法精度，大多需要增加卷积神经网络的深度，但是采用这种方式又会导致卷积神经网络的复杂度大大增加。
发明内容
有鉴于此，本申请的目的在于提供一种构建图像质量评估卷积神经网络的方法及装置，以降低卷积神经网络的复杂度。
第一方面，本申请提供了一种构建图像质量评估卷积神经网络的方法，所述构建图像质量评估卷积神经网络的方法包括：
对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，以及，对测试图像集中的各测试图像进行从时域到频域的变换，得到频域测试图像集；
针对所述频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练；
提取所述频域测试图像集中的频域测试图像，将该频域测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。
进一步地，所述方法还包括对训练图像集和测试图像集中的各图像分别进行清晰度标记，所述对训练图像集和测试图像集中的各图像分别进行清晰度标记，具体包括：
从所述训练图像集和所述测试图像集中滤除不完整的图像；
针对滤除图像的训练图像集和测试图像集中的每一图像，标记表征清晰的为1或表征不清晰的为0。
进一步地，所述对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，具体包括：
针对所述训练图像集中的每一训练图像，提取所述训练图像的所有像素点，并将提取到的所有像素点进行傅里叶变换，得到所述训练图像的频域训练图像；
依据各所述频域训练图像，得到频域训练图像集。
进一步地，所述卷积神经网络包括三个卷积层单元、第一全连接层单元以及第二全连接层单元，其中，每个所述卷积层单元包括依次连接的卷积层、第一线性变换层和池化层，第一全连接层单元包括依次连接的第一全连接层、第二线性变换层和脱落层，第二全连接层单元包括依次连接的第二全连接层、压缩层和分析层；所述针对所述频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练，具体包括：
将所述频域训练图像以及分析层输出的分析结果分别输入到三个卷积层单元中，针对每一卷积层单元，卷积层通过对所述频域训练图像进行卷积处理，输出至第一线性变换层，第一线性变换层对卷积处理的频域训练图像进行线性变换，并将线性变换结果输出至池化层，池化层对线性变换结果进行池化处理，得到所述频域训练图像的频域训练图像特征；
将三个卷积层单元输出的所述频域训练图像特征输入到第一全连接层单元，第一全连接层对所述频域训练图像特征以及分析层输出的分析结果进行线性组合处理，得到频域训练图像组合特征，输出至第二线性变换层，第二线性变换层对所述频域训练图像组合特征进行线性变换后输出至脱落层，脱落层对线性变换的所述频域训练图像组合特征进行筛除处理，得到频域训练图像特征向量；
第二全连接层对所述频域训练图像特征向量以及分析层输出的分析结果进行线性组合处理后输出至压缩层，压缩层对进行线性组合处理后的频域训练图像特征向量进行压缩处理，得到频域训练图像特征压缩向量并输出至分析层，分析层对所述频域训练图像特征压缩向量进行分析处理，得到分析结果；
若所述分析结果与所述频域训练图像对应的清晰度标记相一致，确认对所述频域训练图像的训练完成，停止将所述分析结果反馈至第二全连接层单元、第一全连接层单元和三个卷积层单元。
进一步地，所述依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络包括：
统计输出结果与该输出结果对应的测试图像的清晰度标记相一致的一致个数；
计算所述一致个数与所述输出结果的总个数的比值，若该比值大于预先设置的阈值，确认训练完的卷积神经网络达到预先设置的精度。
进一步地，所述方法还包括：
获取目标图像，对所述目标图像进行从时域到频域的变换，得到频域目标图像；
将所述频域目标图像输入至所述图像质量评估卷积神经网络，得到所述目标图像的清晰度标记。
第二方面，本申请还提供一种构建图像质量评估卷积神经网络的装置，所述构建图像质量评估卷积神经网络的装置包括：
变换模块，用于对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，以及，对测试图像集中的各测试图像进行从时域到频域的变换，得到频域测试图像集；
训练模块，用于针对所述频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练；
确认模块，用于提取所述频域测试图像集中的频域测试图像，将该频域测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。
进一步地，所述装置还包括标记模块，所述标记模块用于对训练图像集和测试图像集中的各图像分别进行清晰度标记；
所述标记模块具体包括：
滤除单元，用于从所述训练图像集和所述测试图像集中滤除不完整的图像；
清晰度标记单元，用于针对滤除图像的训练图像集和测试图像集中的每一图像，标记表征清晰的为1或表征不清晰的为0。
进一步地，所述确认模块还包括：
统计单元，用于统计输出结果与该输出结果对应的测试图像的清晰度标记相一致的一致个数；
计算单元，用于计算所述一致个数与所述输出结果的总个数的比值，若该比值大于预先设置的阈值，确认训练完的卷积神经网络达到预先设置的精度。
进一步地，所述构建图像质量评估卷积神经网络的装置还包括：
获取模块，用于获取目标图像，对所述目标图像进行从时域到频域的变换，得到频域目标图像；
执行模块，用于将所述频域目标图像输入至所述图像质量评估卷积神经网络，得到所述目标图像的清晰度标记。
第三方面，本申请还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述构建图像质量评估卷积神经网络的方法中的步骤。
第四方面，本申请还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述构建图像质量评估卷积神经网络的方法中的步骤。
本申请实施例提供的构建图像质量评估卷积神经网络的方法及装置，其中，方法包括先对训练图像集中的各训练图像以及测试图像集中的各测试图像进行从时域到频域的变换，以频域训练图像集中的每一训练图像作为卷积神经网络的输入，以该训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练，最后将频域测试图像集中的测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。与现有技术将卷积神经网络应用在图像质量评估中容易受到很多噪声污染的问题以及卷积神经网络较复杂的问题相比，本申请实施例通过将频域图像特征输入卷积神经网络中进行训练，降低了噪声对卷积神经网络算法性能的影响，通过修正浅层的卷积神经网络的各项参数便能保证算法的精度，降低了卷积神经网络的复杂度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种构建图像质量评估卷积神经网络的方法的流程图；
图2示出了本申请实施例所提供的一种卷积神经网络的结构示意图；
图3示出了本申请实施例所提供的一种测试训练集的图像损失分析结果图；
图4示出了本申请实施例所提供的一种构建图像质量评估卷积神经网络的装置的结构示意图；
图5示出了本申请实施例所提供的一种电子设备的结构示意图。
图标：40-构建图像质量评估卷积神经网络的装置；401-变换模块；402-训练模块；403-确认模块；50-电子设备；501-处理器；502-存储介质；503-总线。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到现有技术的构建图像质量评估卷积神经网络的方法容易受到很多噪声的污染，比如椒盐噪声和高斯噪声等，噪声的污染对算法的精度造成影响，因此为了提高算法精度，大多需要增加卷积神经网络的深度，但是采用这种方式又会导致卷积神经网络的复杂度大大增加；基于此，本申请实施例提供了一种构建图像质量评估卷积神经网络的方法及装置，以降低卷积神经网络的复杂度，下面通过具体实施例进行描述。
实施例一
如图1所示，为本申请实施例所提供的一种构建图像质量评估卷积神经网络的方法的流程图，所述构建图像质量评估卷积神经网络的方法包括：
S101、对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，以及，对测试图像集中的各测试图像进行从时域到频域的变换，得到频域测试图像集。
该步骤中，针对训练图像集中的每一训练图像，提取训练图像的时域下的所有像素点(x，y)，并将提取到的所有像素点(x，y)进行傅里叶变换，傅里叶变换的函数为：
得到频域下的所有像素点(u，v)，进而得到训练图像的频域训练图像；再依据各频域训练图像，整合得到频域训练图像集。同理，测试图像集的各测试图像也进行相同的变换过程。其中，x和y表示时域下的像素点的空间位置，u和v表示频域下的像素点的空间位置，N为正整数，表示第N个像素点；
f(x，y)表示二维空间图像，F(u，v)表示变换系数阵列之元素。
具体地，采用离散余弦变换将训练图像集和测试图像集中的原始图片从时域转换为频域，图片格式不变，依旧为Joint Photographic Experts Group(JPG)，将得到的频域训练图像和频域测试图像进行压缩，分别得到频域训练图像集和频域测试图像集，其中，频域训练图像集和频域测试图像集均以Hierarchical Data Format(HDF5)格式保存，因为HDF5文件为可以存储不同类型的图像和数码数据的文件格式。
在步骤S101之前，还包括对训练图像集和测试图像集中的各图像分别进行清晰度标记。
具体地，从训练图像集和测试图像集中滤除不完整的图像；针对滤除图像的训练图像集和测试图像集中的每一图像，标记表征清晰的为1或表征不清晰的为0。
该步骤中，将训练图像集和测试图像集的图像清晰度分为五个等级，分别为：清晰、一般清晰、无法鉴别、一般不清晰和不清晰，对于清晰度无法鉴别的图像需要滤除，当滤除无法鉴别的图像后，在剩下的图像中将清晰和一般清晰的图像的清晰度统一标记为清晰，将不清晰和一般不清晰的图像的清晰度统一标记为不清晰，此处，标记表征清晰的为1，标记表征不清晰的为0。
S102、针对频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练。
实际应用中，训练图像集和测试图像集的图像样本较多，如果一幅图像训练一次，计算量太大，为简化训练过程，将训练图像集和测试图像集的图像以图组的形式输入神经网络中；例如：训练图像集包括2000幅图像，将2000幅图像分成63个图组，前62个图组中，每个图组包括32幅图像，第63个图组中包括16幅图像，将训练图像集的图像以图组的形式输入到神经网络中进行训练，可以减少神经网络的训练次数；同理，测试图像集包括1000幅图像，将1000幅图像分成32个图组，前31个图组中，每个图组包括32幅图像，第32个图组中包括8幅图像，进而，测试图像集的图像以图组的形式输入神经网络中，验证神经网络的准确度。
如图2所示，为本申请实施例所提供的一种卷积神经网络的结构示意图；本申请实施例的卷积神经网络采用浅层的卷积神经网络，进而，卷积神经网络包括三个卷积层单元、第一全连接层单元以及第二全连接层单元，其中，每个卷积层单元包括依次连接的卷积层(convolutional layer，conv)、第一线性变换层(rectified linear unit，relu)和池化层(pooling layer，pool)，第一全连接层单元包括依次连接的第一全连接层(fullyconnected layer，fc)、第二线性变换层和脱落层(dropout layer，drop)，第二全连接层单元包括依次连接的第二全连接层、压缩层和分析层，其中，压缩层采用Sigmoid函数(S型函数)，分析层采用损失函数(loss function，loss)。
该方案中，将频域训练图像以及分析层输出的分析结果分别输入到三个卷积层单元中，针对每一卷积层单元，卷积层通过对频域训练图像进行卷积处理，输出至第一线性变换层，第一线性变换层对卷积处理的频域训练图像进行线性变换，并将线性变换结果输出至池化层，池化层对线性变换结果进行池化处理，得到频域训练图像的频域训练图像特征；
将三个卷积层单元输出的频域训练图像特征输入到第一全连接层单元，第一全连接层对频域训练图像特征以及分析层输出的分析结果进行线性组合处理，得到频域训练图像组合特征，输出至第二线性变换层，第二线性变换层对频域训练图像组合特征进行线性变换后输出至脱落层，脱落层对线性变换的频域训练图像组合特征进行筛除处理，得到频域训练图像特征向量；
第二全连接层对频域训练图像特征向量以及分析层输出的分析结果进行线性组合处理后输出至压缩层，压缩层对进行线性组合处理后的频域训练图像特征向量进行压缩处理，得到频域训练图像特征压缩向量并输出至分析层，分析层对频域训练图像特征压缩向量进行分析处理，得到分析结果；
若分析结果与频域训练图像对应的清晰度标记相一致，确认对频域训练图像的训练完成，停止将分析结果反馈至第二全连接层单元、第一全连接层单元和三个卷积层单元。
其中，relu也称为线性修正单元层，采用修正函数对神经网络中的参数进行修正，通过该修正函数能够避免梯度爆炸和梯度消失问题，其中，修正函数如下：
其中，压缩层采用S型函数，对部分频域训练图像特征对应的向量进行压缩处理，使得这些频域训练图像特征的清晰度值处于0至1的范围内；分析层采用loss函数对经过S型函数压缩后的频域训练图像特征的清晰度结果计算梯度，进行误差分析，并将误差反向求导计算，在从后往前反馈回卷积神经网络中，如此反复循环，不断减少误差且不断的减少梯度，以获得训练好的卷积神经网络。其中，标记训练图像集的图像表征清晰的为1，标记训练图像集的图像表征不清晰的为0；但是经过卷积神经网络输出的结果则是图像的清晰度值，清晰度值的范围在0至1之间，类似于回归问题；loss函数将分类问题转换为回归问题对目标结果进行预测，常将定义的图像清晰度的标签值与卷积神经网络输出的清晰度值进行偏差平方求和，若结果越小，则证明卷积神经网络的精度越高。
如图3所示，为本申请实施例所提供的一种测试训练集的图像损失分析结果图，其中，横坐标表示迭代次数，纵坐标表示测试集上的图像损失分析结果；实际训练过程中，测试训练集的图像在训练完的卷积神经网络中进行训练时的loss函数的图线逐渐趋于平缓且收敛在某一个值附近，最终经过10000次的迭代(iteration)训练，损失分析结果得到了较好的收敛效果。
S103、提取频域测试图像集中的频域测试图像，将该频域测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。
该步骤中，统计输出结果与该输出结果对应的测试图像的清晰度标记相一致的一致个数；计算一致个数与输出结果的总个数的比值，若该比值大于预先设置的阈值，确认训练完的卷积神经网络达到预先设置的精度。
将频域测试图像输入训练完的卷积神经网络进行检测，最终计算得到的准确率能够达到98％。
进一步地，构建图像质量评估卷积神经网络的方法还包括：获取目标图像，对目标图像进行从时域到频域的变换，得到频域目标图像；将频域目标图像输入至图像质量评估卷积神经网络，得到目标图像的清晰度标记。
该方案中，将要检测的目标图像先进行从时域到频域的变换后再输入已经训练完的卷积神经网络中，进而得到目标图像的清晰度标记。
图像的清晰度是衡量图像质量优劣的重要指标，它能够较好的与人的主观感受相对应，图像的清晰度主要受到对比度、亮度、色调、边界、模糊和噪声的影响，图像的清晰度不高表现出图像较为模糊。进而，将本申请实施例的构建图像质量评估卷积神经网络的方法用于对人脸图像进行清晰度评估，并能够直接得出一幅人脸图像的清晰度值。通过结合图像的频域特征和卷积神经网络的深度学习技术，利用卷积神经网络对频域图像进行特征提取，以达到评估图像质量的目的。
本申请实施例提供的构建图像质量评估卷积神经网络的方法，先对训练图像集中的各训练图像以及测试图像集中的各测试图像进行从时域到频域的变换，以频域训练图像集中的每一训练图像作为卷积神经网络的输入，以该训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练，最后将频域测试图像集中的测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。本申请实施例通过将频域图像特征输入卷积神经网络中进行训练，降低了噪声对卷积神经网络算法性能的影响，通过修正浅层的卷积神经网络的各项参数便能保证算法的精度，降低了卷积神经网络的复杂度；除此之外，卷积神经网络的模型简化了，可以较容易的应用在实际场景中。
实施例二
基于相同的技术构思，本申请实施例还提供一种构建图像质量评估卷积神经网络的装置，具体可参见以下实施例。
如图4所示，为本申请实施例所提供的一种构建图像质量评估卷积神经网络的装置的结构示意图，构建图像质量评估卷积神经网络的装置40包括：
变换模块401，用于对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，以及，对测试图像集中的各测试图像进行从时域到频域的变换，得到频域测试图像集；
训练模块402，用于针对频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练；
确认模块403，用于提取频域测试图像集中的频域测试图像，将该频域测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。
具体地，构建图像质量评估卷积神经网络的装置40还包括标记模块，用于对训练图像集和测试图像集中的各图像分别进行清晰度标记；
标记模块包括：
滤除单元，用于从训练图像集和测试图像集中滤除不完整的图像；
清晰度标记单元，用于针对滤除图像的训练图像集和测试图像集中的每一图像，标记表征清晰的为1或表征不清晰的为0。
进一步地，变换模块401包括：
提取变换单元，用于针对训练图像集中的每一训练图像，提取训练图像的所有像素点，并将提取到的所有像素点进行傅里叶变换，得到训练图像的频域训练图像；
整合单元，用于依据各频域训练图像，得到频域训练图像集。
进一步地，卷积神经网络包括三个卷积层单元、第一全连接层单元以及第二全连接层单元，其中，每个卷积层单元包括依次连接的卷积层、第一线性变换层和池化层，第一全连接层单元包括依次连接的第一全连接层、第二线性变换层和脱落层，第二全连接层单元包括依次连接的第二全连接层、压缩层和分析层。
具体地，训练模块402包括：
第一训练单元，用于将频域训练图像以及分析层输出的分析结果分别输入到三个卷积层单元中，针对每一卷积层单元，卷积层通过对频域训练图像进行卷积处理，输出至第一线性变换层，第一线性变换层对卷积处理的频域训练图像进行线性变换，并将线性变换结果输出至池化层，池化层对线性变换结果进行池化处理，得到频域训练图像的频域训练图像特征；
第二训练单元，用于将三个卷积层单元输出的频域训练图像特征输入到第一全连接层单元，第一全连接层对频域训练图像特征以及分析层输出的分析结果进行线性组合处理，得到频域训练图像组合特征，输出至第二线性变换层，第二线性变换层对频域训练图像组合特征进行线性变换后输出至脱落层，脱落层对线性变换的所述频域训练图像组合特征进行筛除处理，得到频域训练图像特征向量；
第三训练单元，用于使第二全连接层对频域训练图像特征向量以及分析层输出的分析结果进行线性组合处理后输出至压缩层，压缩层对进行线性组合处理后的频域训练图像特征向量进行压缩处理，得到频域训练图像特征压缩向量并输出至分析层，分析层对所述频域训练图像特征压缩向量进行分析处理，得到分析结果；
校验单元，用于将分析结果与频域训练图像对应的清晰度的标记进行校验，若标记相一致，确认对频域训练图像的训练完成，停止将分析结果反馈至第二全连接层单元、第一全连接层单元和三个卷积层单元。
具体地，确认模块403还包括：
统计单元，用于统计输出结果与该输出结果对应的测试图像的清晰度标记相一致的一致个数；
计算单元，用于计算所述一致个数与输出结果的总个数的比值，若该比值大于预先设置的阈值，确认训练完的卷积神经网络达到预先设置的精度。
进一步地，构建图像质量评估卷积神经网络的装置40还包括：
获取模块，用于获取目标图像，对目标图像进行从时域到频域的变换，得到频域目标图像；
执行模块，用于将频域目标图像输入至图像质量评估卷积神经网络，得到目标图像的清晰度标记。
本实施例中的构建图像质量评估卷积神经网络的装置，可以实现如图1所示实施例中的构建图像质量评估卷积神经网络的方法的全部方法步骤，并可以达到相同的效果，在此不做赘述。
实施例三
如图5所示，为本申请实施例所提供的一种电子设备50的结构示意图，该电子设备50包括：处理器501、存储器和总线503，存储器存储有处理器501可执行的机器可读指令，当电子设备50运行时，处理器501与存储器之间通过总线503通信，处理器501执行机器可读指令，以执行上述如图1所示的构建图像质量评估卷积神经网络的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质502，该计算机可读存储介质502上存储有计算机程序，该计算机程序被处理器501运行时执行上述如图1所示的构建图像质量评估卷积神经网络的方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种构建图像质量评估卷积神经网络的方法，其特征在于，所述方法包括：
对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，以及，对测试图像集中的各测试图像进行从时域到频域的变换，得到频域测试图像集；
针对所述频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练；
提取所述频域测试图像集中的频域测试图像，将该频域测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括对训练图像集和测试图像集中的各图像分别进行清晰度标记；
所述对训练图像集和测试图像集中的各图像分别进行清晰度标记，具体包括：
从所述训练图像集和所述测试图像集中滤除不完整的图像；
针对滤除图像的训练图像集和测试图像集中的每一图像，标记表征清晰的为1或表征不清晰的为0。
3.根据权利要求1所述的方法，其特征在于，所述对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，具体包括：
针对所述训练图像集中的每一训练图像，提取所述训练图像的所有像素点，并将提取到的所有像素点进行傅里叶变换，得到所述训练图像的频域训练图像；
依据各所述频域训练图像，得到频域训练图像集。
4.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括三个卷积层单元、第一全连接层单元以及第二全连接层单元，其中，每个所述卷积层单元包括依次连接的卷积层、第一线性变换层和池化层，第一全连接层单元包括依次连接的第一全连接层、第二线性变换层和脱落层，第二全连接层单元包括依次连接的第二全连接层、压缩层和分析层；所述针对所述频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练，具体包括：
将所述频域训练图像以及分析层输出的分析结果分别输入到三个卷积层单元中，针对每一卷积层单元，卷积层通过对所述频域训练图像进行卷积处理，输出至第一线性变换层，第一线性变换层对卷积处理的频域训练图像进行线性变换，并将线性变换结果输出至池化层，池化层对线性变换结果进行池化处理，得到所述频域训练图像的频域训练图像特征；
将三个卷积层单元输出的所述频域训练图像特征输入到第一全连接层单元，第一全连接层对所述频域训练图像特征以及分析层输出的分析结果进行线性组合处理，得到频域训练图像组合特征，输出至第二线性变换层，第二线性变换层对所述频域训练图像组合特征进行线性变换后输出至脱落层，脱落层对线性变换的所述频域训练图像组合特征进行筛除处理，得到频域训练图像特征向量；
第二全连接层对所述频域训练图像特征向量以及分析层输出的分析结果进行线性组合处理后输出至压缩层，压缩层对进行线性组合处理后的频域训练图像特征向量进行压缩处理，得到频域训练图像特征压缩向量并输出至分析层，分析层对所述频域训练图像特征压缩向量进行分析处理，得到分析结果；
若所述分析结果与所述频域训练图像对应的清晰度标记相一致，确认对所述频域训练图像的训练完成，停止将所述分析结果反馈至第二全连接层单元、第一全连接层单元和三个卷积层单元。
5.根据权利要求2所述的方法，其特征在于，所述依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络，包括：
统计输出结果与该输出结果对应的测试图像的清晰度标记相一致的一致个数；
计算所述一致个数与所述输出结果的总个数的比值，若该比值大于预先设置的阈值，确认训练完的卷积神经网络达到预先设置的精度。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
获取目标图像，对所述目标图像进行从时域到频域的变换，得到频域目标图像；
将所述频域目标图像输入至所述图像质量评估卷积神经网络，得到所述目标图像的清晰度标记。
7.一种构建图像质量评估卷积神经网络的装置，其特征在于，所述装置包括：
变换模块，用于对训练图像集中的各训练图像进行从时域到频域的变换，得到频域训练图像集，以及，对测试图像集中的各测试图像进行从时域到频域的变换，得到频域测试图像集；
训练模块，用于针对所述频域训练图像集中的每一频域训练图像，以该频域训练图像作为卷积神经网络的输入，以该频域训练图像的标记作为卷积神经网络的输出，对卷积神经网络进行训练；
确认模块，用于提取所述频域测试图像集中的频域测试图像，将该频域测试图像输入至训练完的卷积神经网络，依据输出结果确认训练完的卷积神经网络达到预先设置的精度，得到图像质量评估卷积神经网络。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括标记模块，所述标记模块用于对训练图像集和测试图像集中的各图像分别进行清晰度标记；
所述标记模块具体包括：
滤除单元，用于从所述训练图像集和所述测试图像集中滤除不完整的图像；
清晰度标记单元，用于针对滤除图像的训练图像集和测试图像集中的每一图像，标记表征清晰的为1或表征不清晰的为0。
9.根据权利要求8所述的装置，其特征在于，所述确认模块还包括：
统计单元，用于统计输出结果与该输出结果对应的测试图像的清晰度标记相一致的一致个数；
计算单元，用于计算所述一致个数与所述输出结果的总个数的比值，若该比值大于预先设置的阈值，确认训练完的卷积神经网络达到预先设置的精度。
10.根据权利要求7至9任一项所述的装置，其特征在于，所述构建图像质量评估卷积神经网络的装置还包括：
获取模块，用于获取目标图像，对所述目标图像进行从时域到频域的变换，得到频域目标图像；
执行模块，用于将所述频域目标图像输入至所述图像质量评估卷积神经网络，得到所述目标图像的清晰度标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935025.3A CN110648326A (zh) | 2019-09-29 | 2019-09-29 | 一种构建图像质量评估卷积神经网络的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910935025.3A CN110648326A (zh) | 2019-09-29 | 2019-09-29 | 一种构建图像质量评估卷积神经网络的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110648326A true CN110648326A (zh) | 2020-01-03 |
Family
ID=68993305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910935025.3A Pending CN110648326A (zh) | 2019-09-29 | 2019-09-29 | 一种构建图像质量评估卷积神经网络的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648326A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114818A1 (zh) * | 2020-06-30 | 2021-06-17 | 平安科技（深圳）有限公司 | 基于傅里叶变换的oct图像质量评估方法、系统及装置 |
| CN116128854A (zh) * | 2023-02-03 | 2023-05-16 | 深圳市儿童医院 | 一种基于卷积神经网络的髋关节超声图像质量评估方法 |
| CN117994636A (zh) * | 2024-04-03 | 2024-05-07 | 华中科技大学同济医学院附属协和医院 | 基于交互学习的穿刺目标识别方法、系统及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
| CN104091340A (zh) * | 2014-07-18 | 2014-10-08 | 厦门美图之家科技有限公司 | 一种模糊图像的快速检测方法 |
| CN106709916A (zh) * | 2017-01-19 | 2017-05-24 | 泰康保险集团股份有限公司 | 图像质量评估方法及装置 |
| CN106920224A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种评估拼接图像清晰度的方法 |
| CN107679487A (zh) * | 2017-09-29 | 2018-02-09 | 中国科学院福建物质结构研究所 | 失踪人口鉴别方法和系统 |
| CN109948532A (zh) * | 2019-03-19 | 2019-06-28 | 桂林电子科技大学 | 基于深度卷积神经网络的超宽带雷达人体动作识别方法 |
| CN110264447A (zh) * | 2019-05-30 | 2019-09-20 | 浙江省北大信息技术高等研究院 | 一种注塑件的表面缺陷检测方法、装置、设备和存储介质 |
-
2019
- 2019-09-29 CN CN201910935025.3A patent/CN110648326A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102137271A (zh) * | 2010-11-04 | 2011-07-27 | 华为软件技术有限公司 | 一种图像质量评价方法及装置 |
| CN104091340A (zh) * | 2014-07-18 | 2014-10-08 | 厦门美图之家科技有限公司 | 一种模糊图像的快速检测方法 |
| CN106709916A (zh) * | 2017-01-19 | 2017-05-24 | 泰康保险集团股份有限公司 | 图像质量评估方法及装置 |
| CN106920224A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种评估拼接图像清晰度的方法 |
| CN107679487A (zh) * | 2017-09-29 | 2018-02-09 | 中国科学院福建物质结构研究所 | 失踪人口鉴别方法和系统 |
| CN109948532A (zh) * | 2019-03-19 | 2019-06-28 | 桂林电子科技大学 | 基于深度卷积神经网络的超宽带雷达人体动作识别方法 |
| CN110264447A (zh) * | 2019-05-30 | 2019-09-20 | 浙江省北大信息技术高等研究院 | 一种注塑件的表面缺陷检测方法、装置、设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021114818A1 (zh) * | 2020-06-30 | 2021-06-17 | 平安科技（深圳）有限公司 | 基于傅里叶变换的oct图像质量评估方法、系统及装置 |
| CN116128854A (zh) * | 2023-02-03 | 2023-05-16 | 深圳市儿童医院 | 一种基于卷积神经网络的髋关节超声图像质量评估方法 |
| CN116128854B (zh) * | 2023-02-03 | 2023-11-10 | 深圳市儿童医院 | 一种基于卷积神经网络的髋关节超声图像质量评估方法 |
| CN117994636A (zh) * | 2024-04-03 | 2024-05-07 | 华中科技大学同济医学院附属协和医院 | 基于交互学习的穿刺目标识别方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | Just noticeable defocus blur detection and estimation | |
| Manjón et al. | MRI noise estimation and denoising using non-local PCA | |
| KR101871098B1 (ko) | 이미지 처리 방법 및 장치 | |
| CN108805840B (zh) | 图像去噪的方法、装置、终端及计算机可读存储介质 | |
| Ciancio et al. | No-reference blur assessment of digital pictures based on multifeature classifiers | |
| Guan et al. | No-reference blur assessment based on edge modeling | |
| CN110648326A (zh) | 一种构建图像质量评估卷积神经网络的方法及装置 | |
| CN106570862B (zh) | 一种超分辨率重建质量的评价方法及装置 | |
| CN108416343B (zh) | 一种人脸图像识别方法及装置 | |
| CN105761216A (zh) | 一种图像去噪处理方法及装置 | |
| CN110782413B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| Mosleh et al. | Explicit ringing removal in image deblurring | |
| Liu et al. | Adaptive sparse coding on PCA dictionary for image denoising | |
| Li et al. | Blur identification based on kurtosis minimization | |
| Gong et al. | Combining sparse representation and local rank constraint for single image super resolution | |
| Wang et al. | Blurred image restoration using knife-edge function and optimal window Wiener filtering | |
| CN109934789A (zh) | 图像去噪方法、装置及电子设备 | |
| CN109697442B (zh) | 一种字符识别模型的训练方法和装置 | |
| John et al. | A review on application of fourier transform in image restoration | |
| Askari Javaran et al. | [Retracted] Using a Blur Metric to Estimate Linear Motion Blur Parameters | |
| CN112488137A (zh) | 样本获取方法、装置、电子设备及机器可读存储介质 | |
| Wang et al. | A new method estimating linear gaussian filter kernel by image PRNU noise | |
| Fry et al. | Validation of modulation transfer functions and noise power spectra from natural scenes | |
| Fang et al. | Quality assessment for image super-resolution based on energy change and texture variation | |
| Mittal et al. | Automatic parameter prediction for image denoising algorithms using perceptual quality features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201222 Address after: A108, 1 / F, curling hall, winter training center, 68 Shijingshan Road, Shijingshan District, Beijing 100041 Applicant after: Beijing second hand Artificial Intelligence Technology Co.,Ltd. Address before: Room 9014, 9 / F, building 3, yard 30, Shixing street, Shijingshan District, Beijing Applicant before: ADMASTER TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200103 |