CN111311543A - 图像清晰度检测方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像清晰度检测方法、系统、设备及存储介质，所述方法包括：首先从待检测图像中提取多个预设大小的子图像块；将所述子图像块进行合并，得到合并图像；然后将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。通过采用本发明，由于在清晰度检测之前首先对图像提取指定大小的子图像块并进行合并，对待检测图像的原分辨率没有限定，从而可以适用于不同分辨率的图像的清晰度检测，此外，通过采用本发明，对图像进行检测时无需缩放图像，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测。

Description

图像清晰度检测方法、系统、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像清晰度检测方法、系统、设备及存储介质。

背景技术

图像作为信息的主要载体，包含了大量有用信息。在图像的获取、压缩、传输等过程中不可避免会存在一些异常干扰因素,如噪声、模糊、偏色以及数据丢失等,这些都会造成图像质量的下降(降质、失真)，从而导致其中包含信息的丢失。

图像质量评价可以分为主观评价方法和客观评价方法。主观评价由观察者对图像质量进行主观评分,一般采用平均主观得分(Mean opin-ion score,MO)或平均主观得分差异(

opinion score,DMOS)(即人眼对无失真图像和有失真图像评价得分的差异)表示,但主观评价工作量大、耗时长,使用起来很不方便。客观评价方法是由计算机根据一定算法计算得到图像的质量指标,根据评价时是否需要参考图像又可以分为全参考(Full reference,FR)、半参考(部分参考)(Reduced reference,RR)和无参考(Norefer-ence,NR)等三类评价方法。

图像的清晰度是衡量图像纹理细节丰富程度，图像是否能达到所能表示的分辨率的程度，可以作为衡量图像质量优劣的重要指标，它能够较好的与人的主观感受相对应。图像清晰度低的表现为图像模糊。

在实际应用中，图像清晰度的衰减可能来自于传输和压缩，如果要对图像的清晰度衰减程度进行评价，可以通过和压缩传输前的图像进行比对来衡量其衰减程度。然而，还有一些情况，需要对聚焦错误造成的清晰度衰减程度进行评价，此时，图像的来源即摄像机端的图像已经失真，没有无失真图像可供参考，因此只能采用无参考图像质量评价方法。

无参考图像质量评价方法是一种无需原始图像任何信息，直接对目标图像进行质量评价的方法，是目前在实际应用中最广泛的评价方法。现有的无参考图像质量评价方法一般采用基于人工特征提取的方法，该种方法对于单一摄像机或者网上公开的图像质量数据集如Live，TID2008/TID2013等上面取得了较好的效果，在实际应用中效果并不理想。基于人工特征提取的方法主要存在模型容量小，无法考虑到摄像机的多样性，以及在实际使用中场景的复杂性，对实际场景泛化能力差。

此外，现有的基于深度学习的图像质量评价方法中，将整张图输入深度学习模型则评价速度很慢，并且取多个子图像块求平均无法判断背景虚化的图像，准确性差。因为，背景虚化的图像一般是用大光圈的摄像机拍摄，将焦点聚焦在前景上，前景清晰而背景模糊，目的是突出前景，如果取多个子图像块，则部分子图像块是模糊的，求平均值则会拉低整幅图像的评分值，是不正确的。如果对图像缩放到一定大小(例如224x224的分辨率)后输入深度学习模型则测试结果不准确，因为缩放已经丢失了部分清晰度信息，无法对分辨率超过缩放分辨率的图像正确评价清晰度。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种图像清晰度检测方法、系统、设备及存储介质，适用于不同图像的清晰度准确检测。

本发明实施例提供一种图像清晰度检测方法，包括如下步骤：

从待检测图像中提取多个预设大小的子图像块；

将所述子图像块进行合并，得到合并图像；

将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。

可选地，所述从待检测图像中提取多个预设大小的子图像块的步骤，包括从待检测图像中提取M×N个子图像块，所述子图像块沿第一方向排列成N列，沿第二方向排列成M行，且每个子图像块沿第一方向的长度均为w，沿第二方向的长度均为h。

可选地，所述M×N个预设大小的子图像块中，沿第一方向相邻两个子图像块的间距均为一相同的S_w值，且沿第二方向相邻两个子图像块的间距均为一相同的S_h值。

可选地，将所述子图像块进行合并，包括将所述子图像块沿所述第二方向进行合并，得到合并图像，所述合并图像沿第一方向的长度为w，沿第二方向的长度为M×N×h。

可选地，所述从待检测图像中提取M×N个子图像块，包括如下步骤：

确定沿第一方向第1个、沿第二方向第1个子图像块的起始位置坐标(O_w，O_h)；

计算沿第一方向相邻两个子图像块的间距S_w和沿第二方向相邻两个子图像块的间距S_h；

确定沿第一方向第j个、沿第二方向第i个子图像块的起始坐标(P_j,P_i)，j∈(1,N)，i∈(1,M)；

在所述待检测图像中，从每个子图像块的起始位置起，提取沿第一方向长度为w、沿第二方向长度为h的区域，作为对应的子图像块；

将所述子图像块进行合并，得到合并图像，包括采用如下步骤计算所述合并图像中各个像素点(x′,y′)的像素值，x′∈(1,w)，y′∈(1,M×N×h)：

计算所述合并图像中各个像素点(x′,y＇)所对应的子图像块沿第一方向的序号j和沿第二方向的序号i；

计算所述合并图像中各个像素点(x＇,y′)的像素值I′(x′,y′)。

可选地，所述清晰度检测模型包括输入层、特征提取层和全连接层，所述特征提取层为M×N个，所述特征提取层的输出连接所述全连接层的输入；

将所述合并图像输入训练好的清晰度检测模型，包括将所述合并图像输入所述清晰度检测模型，所述输入层将所述合并图像拆分为M×N个子图像块，各个所述子图像块分别输入一个所述特征提取层，得到所述全连接层输出的清晰度值。

可选地，所述方法还包括采用如下步骤训练所述清晰度检测模型：

采集多个训练用图像和各个训练用图像的清晰度值标记；

从每个训练用图像中提取多个预设大小的子图像块；

将每个训练用图像的子图像块进行合并，得到每个训练用图像对应的合并图像；

将每个训练用图像对应的合并图像和对应的清晰度值标记加入训练集中，采用所述训练集训练所述清晰度检测模型。

通过采用本发明的图像清晰度检测方法，由于在清晰度检测之前首先对待检测图像提取指定大小的子图像块并进行合并，然后将合并图像而非待检测图像输入清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测；此外，通过采用本发明，对图像进行检测时无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。

本发明实施例还提供一种图像清晰度检测系统，应用于所述的图像清晰度检测方法，所述系统包括：

子图像块分割模块，用于从待检测图像中提取多个预设大小的子图像块；

子图像块合并模块，用于将所述子图像块进行合并，得到合并图像；

清晰度检测模块，用于将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。

通过采用本发明的图像清晰度检测系统，由于子图像块分割模块对待检测图像提取指定大小的子图像块并由子图像块合并模块进行合并，清晰度检测模块将合并图像而非待检测图像输入清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测；此外，通过采用本发明，对图像进行检测时无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。

本发明实施例还提供一种图像清晰度检测设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像清晰度检测方法的步骤。

通过采用本发明的图像清晰度检测设备，其处理器在执行存储器中的可执行指令来执行所述的图像清晰度检测方法的步骤时，由于在清晰度检测之前首先对待检测图像提取指定大小的子图像块并进行合并，然后将合并图像而非待检测图像输入清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测；此外，通过采用本发明，对图像进行检测时无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的图像清晰度检测方法的步骤。

通过采用本发明的计算机可读存储介质，存储介质中的程序被执行而实现所述的图像清晰度检测方法的步骤时，由于在清晰度检测之前首先对待检测图像提取指定大小的子图像块并进行合并，然后将合并图像而非待检测图像输入清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测；此外，通过采用本发明，对图像进行检测时无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的图像清晰度检测方法的流程图；

图2是本发明一实施例的清晰度检测模型训练的流程图；

图3是本发明一实施例的从图像中提取子图像块并合并的示意图；

图4和图5是本发明一实施例的高清图像与合并图像的示意图；

图6和图7是本发明一实施例的轻微模糊图像与合并图像的示意图；

图8和图9是本发明一实施例的严重模糊图像与合并图像的示意图；

图10为本发明一实施例的在待检测图像中建立坐标系的示意图；

图11是本发明一实施例的图像清晰度检测系统的结构示意图；

图12是本发明一实施例的图像清晰度检测设备的结构示意图；

图13是本发明一实施例的计算机存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

为了解决现有技术的技术问题，本发明实施例提供一种图像清晰度检测方法，可以适用于各种分辨率的图像清晰度检测，并且可以提高检测准确度。

如图1所示，所述图像清晰度检测方法包括如下步骤：

S110：从待检测图像中提取多个预设大小的子图像块；

S120：将所述子图像块进行合并，得到合并图像；

S130：将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。

本发明首先通过步骤S110和S120，在清晰度检测之前首先对图像提取指定大小的子图像块并进行合并，然后再通过步骤S130将合并图像输入训练好的清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测。并且，在采用本发明的方法进行图像清晰度检测时，无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，提高了图像清晰度检测的准确度；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。进一步地，由于合并图像相比于原图像来说，尺寸更小，因此，也减少了清晰度检测模型中进行特征提取的负担，降低了图像清晰度检测方法的运行系统的损耗，提高了图像清晰度检测的效率。

如图2所示，在该实施例中，所述图像清晰度检测方法还包括采用如下步骤训练所述清晰度检测模型：

S210：采集多个训练用图像和各个训练用图像的清晰度值标记；

首先，采集一批数量较大的图像，且其中一部分为模糊的图像，并且根据图像的清晰度，给每张图像标注一个清晰度值，例如，采集2000张图像，其中包括至少500张模糊的图像，具体图像的数量可以根据需要选择，并且模糊的图像可以设定为清晰度值小于预设阈值的图像；

S220：从每个训练用图像中提取多个预设大小的子图像块；此处子图像块的数量和大小与采用所述清晰度检测模型进行图像检测时从待检测图像中提取的子图像块的数量和大小相同；

S230：将每个训练用图像的子图像块进行合并，得到每个训练用图像对应的合并图像；

S240：将每个训练用图像对应的合并图像和对应的清晰度值标记加入训练集中，采用所述训练集训练所述清晰度检测模型。

在实际应用中，可以将得到的所有合并图像分为两份：一份加入训练集，用于清晰度检测模型的训练，一份加入测试集，用于清晰度检测模型的测试。

在该实施例中，所述清晰度检测模型可以为深度学习模型。深度学习最早源于人工神经网络的研究，是机器学习理论研究中一个新生领域。它通过构造接近人脑分析和学习的深度神经网络，来模仿人脑的处理和分析机理，把底层特征通过逐层学习形成更加抽象的高层特征表示。深度学习训练模型需要大量数据，在应用到本发明的图像清晰度检测时，训练用的数据即为合并图像，训练集中的合并图像作为训练样本，并且需要给每张图片一个标签，标签内容为图像的清晰度值。

进一步地，在该实施例中，所述清晰度检测模型可以采用卷积神经网络(Convolutional Neural Networks,CNN)模型。卷积神经网络是传统神经网络的拓展，它是由生物学家从猫的视觉皮层研究发展而来。卷积神经网络模型一般可以包括输入层、特征提取层和全连接层，特征提取层参数是通过训练数据学习得到，避免了人工特征提取，通过同一特征图的权值共享，大幅减少了网络参数的数量。图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络具有良好的容错能力、并行处理能力和自学习能力，在处理二维图像问题上具有良好的鲁棒性和运算效率。卷积神经网络的泛化能力要显著优于其他方法，卷积神经网络已被应用于模式分类、物体检测和物体识别等方面。卷积神经网络也可以分为多种，例如，Vgg网络、ResNet网络和LeNet网络等，均可以应用于本发明的图像清晰度检测中。

在该实施例中，所述步骤S110：从待检测图像中提取多个预设大小的子图像块，包括从待检测图像中提取M×N个子图像块，所述子图像块沿第一方向排列成N列，沿第二方向排列成M行，且每个子图像块沿第一方向的长度均为w，沿第二方向的长度均为h。即多个子图像块在所述待检测图像中以一个M×N的矩阵的形式排列。

如图3所示，为一具体实例中从待检测图像中提取子图像块并合并的示意图。其中，图像F110为示意的待检测图像，图像F110中各个排列成矩阵形状的矩形块为示意的子图像块，图像F120为示意的各个子图像块合并后的合并图像。在该实例中，所述M×N个预设大小的子图像块优选均匀分布于所述待检测图像中，可以提取更具有代表性、更能反映整体待检测图像质量的图像区域进行检测，从而提高图像清晰度检测的准确度。

在该实施例中，所述步骤S200：将所述子图像块进行合并，包括将所述子图像块沿所述第二方向进行合并，得到合并图像，所述合并图像沿第一方向的长度为w，沿第二方向的长度为M×N×h。

以图3的实例为例，第一方向指的是图3中的水平方向，第二方向指的是图3中的竖直方向。待检测图像F110沿第一方向的长度即图像的宽度为W₀，沿第二方向的长度即图像的高度为H₀。在该实例中，将待检测图像F110中提取出20个子图像块，20个子图像块排列成4行5列的矩阵，即M值为4，N值为5。提取出的每个子图像块的宽度为64个像素，高度为1个像素，即w＝64，h＝1。在对20个子图像块沿竖直方向进行合并之后，得到合并图像F120，合并图像F120的宽度为64，高度为20。此处，M、N、w、h的值均为示例，在实际应用中，可以选择为其他数值，均属于本发明的保护范围之内。

如图4所示，示出了一张高清图像F210，如图5所示，示出了以该高清图像F210作为原图像进行子图像块提取和合并之后得到的合并图像F220。如图6所示，示出了一张轻微模糊图像F310，如图7所示，示出了以该轻微模糊图像F310作为原图像进行子图像块提取和合并之后得到的合并图像F320。如图8所示，示出了一张严重模糊图像F410，如图9所示，示出了以该严重模糊图像F410作为原图像进行子图像块提取和合并之后得到的合并图像F420。比较图5、图7和图9，可以看出，合并图像可以比较真实地原图像的整体质量。通过检测合并图像的清晰度值，可以比较准确地得到原图像的清晰度值。

下面以图10示出的实例为例具体说明步骤S110的具体实现方式。在该实施例中，所述M×N个预设大小的子图像块中，沿第一方向相邻两个子图像块的间距均为一相同的S_w值，且沿第二方向相邻两个子图像块的间距均为一相同的S_h值。具体地，所述步骤S110中，采用如下步骤从待检测图像中提取M×N个子图像块：

S111：确定沿第一方向第1个、沿第二方向第1个子图像块的起始位置坐标(O_w，O_h)，即在图10的实例中图像的左上角的第一个子图像块的起始位置坐标，该起始位置坐标的单位为像素，坐标值的取值都是大于等于0的整数；在该实施例中，将每个子图像块的左上角的第一个像素点作为该子图像块的起始位置，可以以待检测图像的左上角作为坐标系的0点，以水平方向为x轴，以竖直方向为y轴；

具体地，可以采用如下公式确定第一个子图像块的起始位置坐标：

此处，C₁和C₂是预设的比例系数，公式中的除法为整除，即只选取结果的整数部分而舍去小数部分。

S112：根据如下公式计算沿水平方向相邻两个子图像块的间距S_w和沿竖直方向相邻两个子图像块的间距S_h：

其中，W₀为所述待检测图像沿第一方向的长度，H₀为所述待检测图像沿第二方向的长度。

如图10所示，相邻两个子图像块之间沿第一方向的间距S_w即为前一个子图像块的左上角像素点与后一个子图像块的左上角像素点之间的水平距离，相邻两个子图像块之间沿第二方向的间距S_h即为前一个子图像块的左上角像素点与后一个子图像块的左上角像素点之间的竖直距离。在该实施例中，水平方向第一个子图像块与左侧边的距离为O_w，水平方向最后一个子图像块(该实例中为水平方向第五个子图像块)与右侧边的距离也为O_w，竖直方向第一个子图像块与上侧边的距离为O_h，竖直方向最后一个子图像块(该实例中为竖直方向第四个子图像块)与下侧边的距离也为O_h。

S113：根据如下公式确定沿第一方向第j个、沿第二方向第i个子图像块B_ij的起始坐标(P_j,P_i)，j∈(1,N)，i∈(1,M)：

P_j＝O_w+(j-1)*S_w

P_i＝O_h+(i-1)*S_h

S114：在所述待检测图像中，从每个子图像块的起始位置起，提取沿第一方向长度为w、沿第二方向长度为h的区域，作为对应的子图像块。

在该实施例中，所述步骤S120中，将所述子图像块进行合并，得到合并图像，包括采用如下步骤计算所述合并图像中各个像素点(x′,y′)的像素值，x′∈(1,w)，y′∈(1,M×N×h)：

S121：根据如下公式计算合并图像I′中各个像素点(x′,y′)所对应的子图像块沿第一方向的序号j和沿第二方向的序号i：

j＝y′％(h*N)

其中，[]表示取整数，％表示取除法中的余数；

由此得到的合并图像是由各个子图像块B_ij首先从上到下、然后从左到右的顺序依次在竖直方向进行合并。即合并图像中最上面的子图像块是第1行第1列图像块，然后向下依次是第2行第1列图像块，第3行第1列图像块，第4行第1列图像块，第1行第2列图像块，第2行第2列图像块，第3行第2列图像块，第4行第2列图像块，第1行第3列图像块……

S122：根据如下公式计算所述合并图像I＇中各个像素点(x＇,y′)的像素值I′(x′,y′)：

I′(x′,_y′)＝I(P_j+x′,P_i+y′％h)

其中，I(P_j+x′,P_i+y′％h)表示在所述待检测图像I中点(P_j+x′,P_i+y′％h)的像素值，P_j+x′∈(1,W₀)，P_i+y′％h∈(1,H₀)。

在该实施例中，所述清晰度检测模型包括输入层、特征提取层和全连接层。所述特征提取层可以设置为1个，即将所述合并图像整体输入所述特征提取层中，所述特征提取层进行特征提取后输入全连接层，得到所述全连接层输出的清晰度值。所述清晰度检测模型可以为卷积神经网络模型，所述特征提取层可以包括卷积层和池化层。卷积神经网络的输入层可以处理输入数据，将输入数据进行标准化处理，处理成可以被卷积层处理的数据格式。卷积层的功能是对输入数据进行特征提取，其内部包括多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。池化层用于在卷积层进行特征提取后，对卷积层输出的特征图进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。全连接层对卷积层和池化层提取的特征进行非线性组合以得到输出。

在该实施例中，由于将M×N个子图像块沿竖直方向合并得到所述合并图像后再将所述合并图像输入所述卷积神经网络模型中，因此，所述卷积层可以采用一维卷积核，仅对合并图像进行水平方向的卷积，而不进行竖直方向的卷积。因此，相比于采用二维卷积核、三维卷积核的卷积神经网络模型，本发明的清晰度检测模型可以更快速地对输入图像进行特征提取。

在另一种实施方式中，所述清晰度检测模型中的特征提取层也可以设置为M×N个，并且该M×N个特征提取层具有相同的参数。所述输入层的输出连接所述M×N个特征提取层，所述M×N个特征提取层的输出连接所述全连接层的输入。

所述步骤S130：将所述合并图像输入训练好的清晰度检测模型，包括将所述合并图像输入所述清晰度检测模型，所述输入层将所述合并图像拆分为M×N个子图像块，每个子图像块的尺寸即为上述的w×h，各个所述子图像块分别输入一个所述特征提取层，将M×N个子图像块提取的特征图输入到全连接层中，得到所述全连接层输出的清晰度值。

在实际应用中，所述清晰度检测模型接收的输入的合并图像可以为三通道的RGB图像，因此输入的图像是三通道的总像素数目为M×N×w×h的合并图像。模型首先对合并图像进行拆分后，得到3×M×N个像素数为w×h的子图像块。在该实施例中，通过步骤S120将子图像块进行合并，然后再在模型中进行拆分的方式，可以有利于清晰度检测模型的图像输入。向清晰度检测模型中输入一个三通道的M×N×w×h的合并图像，相比于直接输入3×M×N个像素数为w×h的子图像块的方式，传输效率更高，模型处理起来更方便。

在该实施例中，对所述训练用图像的预处理也可以采用如上所述步骤S110和步骤S120的具体实施方式，将各个训练用图像预处理为M×N个像素数w×h的子图像块之后，再将M×N个子图像块合并为总像素数为M×N×w×h的合并图像。

所述步骤S210中：采集多个训练用图像和各个训练用图像的清晰度值标记之后，还可以包括对图像进行随机裁剪进行数据增广，进一步扩大训练用图像的数量，裁剪后的图像I_c的宽度为W_c、高度为H_c。H_c为大于1小于原图像I₀高度H₀的正整数，W_c为大于1小于原图像I₀宽度W₀的正整数。

一张训练用图像可以随机裁剪得到多个裁剪图像I_c，从一张图像中随机裁剪得到的裁剪图像I_c具有与原图像I₀相同的清晰度值。

所述步骤S220：从每个训练用图像中提取M×N个预设大小的子图像块。每个子图像块的宽度为w，高度为h。w和h均为固定值。w为大于1小于W_c的正整数，h为大于1小于H_c的正整数。所有子图像块大小相同，并且在水平方向上相邻两个子图像块的间距均为固定的S_w，在竖直方向上相邻两个子图像块的间距均为固定的S_h。具体子图像块的分割方式可以采用如上步骤S111～S114的流程进行。

所述步骤S230：将每个训练用图像的子图像块进行合并，得到每个训练用图像对应的合并图像，具体包括将一张裁剪图像所对应的所有子图像块在竖直方向上合并起来，得到高度是M×h的合并图像I’，合并图像I’的清晰度值与原图像I₀相同。

如果一张训练用图像之前进行了多次裁剪，得到了多个裁剪图像I_c，则每个裁剪图像I_c均对应一个合并图像I’。

所述步骤S240：将每个训练用图像对应的合并图像和对应的清晰度值标记加入训练集中，采用所述训练集训练所述清晰度检测模型，包括构建一个卷积神经网络的回归模型，卷积神经网络可以是LeNet、Vgg、ResNet等深度学习网络结果，但本发明不限于此。训练模型所需要的软件可以是Tensorflow、Pytorch、Caffe等，需要的硬件为计算机。将训练集中的合并图像I’和清晰度值标记输入到构建的卷积神经网络中，训练至收敛，得到清晰度检测模型。

在所述清晰度检测模型中包括一个特征提取层时，所述训练集中的合并图像I’输入到所述特征提取层中，提取的特征输入全连接层中，然后得到预测的清晰度值，与标记的清晰度值进行比较。在所述清晰度检测模型中包括M×N个特征提取层时，所述训练集中的合并图像I’进行拆分得到M×N个子图像块后，分别输入M×N个特征提取层，然后将M×N个子图像块的特征输入全连接层中，得到预测的清晰度值。

如图11所示，本发明实施例还提供一种图像清晰度检测系统，应用于所述的图像清晰度检测方法，所述系统包括：

子图像块分割模块M100，用于从待检测图像中提取多个预设大小的子图像块；

子图像块合并模块M200，用于将所述子图像块进行合并，得到合并图像；

清晰度检测模块M300，用于将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。

本发明首先采用子图像块分割模块M100和子图像块合并模块M200，在清晰度检测之前首先对图像提取指定大小的子图像块并进行合并，然后再采用清晰度检测模块M300将合并图像输入训练好的清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测。并且，在采用本发明的方法进行图像清晰度检测时，无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，提高了图像清晰度检测的准确度；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。进一步地，由于合并图像相比于原图像来说，尺寸更小，因此，也减少了清晰度检测模型中进行特征提取的负担，降低了图像清晰度检测系统损耗，提高了图像清晰度检测的效率。

本发明的图像清晰度检测系统中各个模块的功能实现可以采用上述图像清晰度检测方法中各个步骤的实施方式。例如，子图像块分割模块M100可以采用上述步骤S110的实施方式，子图像块合并模块M200可以采用上述步骤S120的实施方式，清晰度检测模块M300可以采用上述步骤S130的具体实施方式，此处不予赘述。

在该实施例中，所述图像清晰度检测系统还可以包括模型训练模块，所述模型训练模块用于采集训练用图像并进行处理得到训练集，并采用所述训练集训练所述清晰度检测模型。具体地，所述模型训练模块可以采用上述步骤S210～S240的流程训练所述清晰度检测模型。

本发明实施例还提供一种图像清晰度检测设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像清晰度检测方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图12来描述根据本发明的这种实施方式的电子设备600。图12显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过采用本发明的图像清晰度检测设备，其处理器在执行存储器中的可执行指令来执行所述的图像清晰度检测方法的步骤时，由于在清晰度检测之前首先对待检测图像提取指定大小的子图像块并进行合并，然后将合并图像而非待检测图像输入清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测；此外，通过采用本发明，对图像进行检测时无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。

进一步地，由于合并图像相比于原图像来说，尺寸更小，因此，也减少了清晰度检测模型中进行特征提取的负担，降低了图像清晰度检测设备的处理器损耗，提高了图像清晰度检测的效率。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的图像清晰度检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图13所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过采用本发明的计算机可读存储介质，存储介质中的程序被执行而实现所述的图像清晰度检测方法的步骤时，由于在清晰度检测之前首先对待检测图像提取指定大小的子图像块并进行合并，然后将合并图像而非待检测图像输入清晰度检测模型，将检测到的合并图像的清晰度值作为待检测图像的清晰度值，这样的好处在于，在保证清晰度检测模型的输入图像即合并图像的尺寸统一的基础上，对待检测图像的原分辨率没有限定，各种不同分辨率的原始待检测图像经过前两步子图像块提取和合并之后之后都能够得到尺寸相同的合并图像，从而可以适用于不同分辨率的图像的清晰度检测；此外，通过采用本发明，对图像进行检测时无需缩放图像，由于合并图像所包含的内容是分散在待检测图像中的多个子图像块的信息，相比于现有技术中只选择局部图像进行清晰度检测来说，合并图像的清晰度值可以更好地代表待检测图像的清晰度值，通过多个子图像块合并的图像的清晰度检测实现了对待检测图像的清晰度准确检测；由于合并图像代表的是整体待检测图像的清晰度值而非局部图像的清晰度值，对于部分模糊的图像来说，也不会因为对图像区域的选择而影响清晰度值的准确性，因此，能够对部分模糊的图像，例如背景虚化的图像准确地进行清晰度检测。

进一步地，由于合并图像相比于原图像来说，尺寸更小，因此，也减少了清晰度检测模型中进行特征提取的负担，降低了计算机可读存储介质被执行时，执行系统损耗，提高了图像清晰度检测的效率

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像清晰度检测方法，其特征在于，包括如下步骤：

从待检测图像中提取多个预设大小的子图像块；

将所述子图像块进行合并，得到合并图像；

将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。

2.根据权利要求1所述的图像清晰度检测方法，其特征在于，所述从待检测图像中提取多个预设大小的子图像块的步骤，包括从待检测图像中提取M×N个子图像块，所述子图像块沿第一方向排列成N列，沿第二方向排列成M行，且每个子图像块沿第一方向的长度均为w，沿第二方向的长度均为h。

3.根据权利要求2所述的图像清晰度检测方法，其特征在于，所述M×N个预设大小的子图像块中，沿第一方向相邻两个子图像块的间距均为一相同的S_w值，且沿第二方向相邻两个子图像块的间距均为一相同的S_h值。

4.根据权利要求3所述的图像清晰度检测方法，其特征在于，将所述子图像块进行合并，包括将所述子图像块沿所述第二方向进行合并，得到合并图像，所述合并图像沿第一方向的长度为w，沿第二方向的长度为M×N×h。

5.根据权利要求4所述的图像清晰度检测方法，其特征在于，所述从待检测图像中提取M×N个子图像块，包括如下步骤：

确定沿第一方向第1个、沿第二方向第1个子图像块的起始位置坐标(O_w，O_h)；

计算沿第一方向相邻两个子图像块的间距S_w和沿第二方向相邻两个子图像块的间距S_h；

确定沿第一方向第j个、沿第二方向第i个子图像块的起始坐标(P_j,P_i)，j∈(1,N)，i∈(1,M)；

在所述待检测图像中，从每个子图像块的起始位置起，提取沿第一方向长度为w、沿第二方向长度为h的区域，作为对应的子图像块；

将所述子图像块进行合并，得到合并图像，包括采用如下步骤计算所述合并图像中各个像素点(x′,y′)的像素值，x′∈(1,w)，y′∈(1,M×N×h)：

计算所述合并图像中各个像素点(x＇,y′)所对应的子图像块沿第一方向的序号j和沿第二方向的序号i；

计算所述合并图像中各个像素点(x′,y＇)的像素值I＇(x＇,y′)。

6.根据权利要求5所述的图像清晰度检测方法，其特征在于，所述清晰度检测模型包括输入层、特征提取层和全连接层，所述特征提取层为M×N个，所述特征提取层的输出连接所述全连接层的输入；

将所述合并图像输入训练好的清晰度检测模型，包括将所述合并图像输入所述清晰度检测模型，所述输入层将所述合并图像拆分为M×N个子图像块，各个所述子图像块分别输入一个所述特征提取层，得到所述全连接层输出的清晰度值。

7.根据权利要求1所述的图像清晰度检测方法，其特征在于，所述方法还包括采用如下步骤训练所述清晰度检测模型：

采集多个训练用图像和各个训练用图像的清晰度值标记；

从每个训练用图像中提取多个预设大小的子图像块；

将每个训练用图像的子图像块进行合并，得到每个训练用图像对应的合并图像；

将每个训练用图像对应的合并图像和对应的清晰度值标记加入训练集中，采用所述训练集训练所述清晰度检测模型。

8.一种图像清晰度检测系统，其特征在于，应用于权利要求1至7中任一项所述的图像清晰度检测方法，所述系统包括：

子图像块分割模块，用于从待检测图像中提取多个预设大小的子图像块；

子图像块合并模块，用于将所述子图像块进行合并，得到合并图像；

清晰度检测模块，用于将所述合并图像输入训练好的清晰度检测模型，得到所述清晰度检测模型输出的清晰度值，作为所述待检测图像的清晰度值。

9.一种图像清晰度检测设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的图像清晰度检测方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任一项所述的图像清晰度检测方法的步骤。

Images