CN107958455B - 图像清晰度评估方法、装置、计算机设备及存储介质 - Google Patents
图像清晰度评估方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN107958455B CN107958455B CN201711278216.4A CN201711278216A CN107958455B CN 107958455 B CN107958455 B CN 107958455B CN 201711278216 A CN201711278216 A CN 201711278216A CN 107958455 B CN107958455 B CN 107958455B
- Authority
- CN
- China
- Prior art keywords
- image
- assessment models
- processed
- assessment
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 30
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了图像清晰度评估方法、装置、计算机设备及存储介质，其中方法包括：获取待处理的图像；将待处理的图像输入给预先训练得到的评估模型；获取评估模型输出的图像清晰度综合评分，图像清晰度综合评分为评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合N个图像清晰度评分得到的，N为大于一的正整数。应用本发明所述方案，能够提高评估结果的准确性。
Description
【技术领域】
本发明涉及计算机应用技术，特别涉及图像清晰度评估方法、装置、计算机设备及存储介质。
【背景技术】
随着互联网内容生态的蓬勃发展，以图像、视频为载体的各类信息越来越多。图像、视频的清晰度对用户体验有很大影响，为此，需要对图像清晰度进行评估，以过滤掉模糊的图像等，结合多帧图像的清晰度亦可确定视频的清晰度。
现有技术中，通常采用一个图像分类器，将图像分为清晰和模糊两个类别，图像分类器可以是神经网络模型，模型的输入为一幅图像，输出为模糊和清晰两个类别的得分，取得分高者作为图像的类别。
图像清晰度和图像大小有较大关系，比如一幅800*800的图像不清晰，但压缩到神经网络模型要求的大小如224*224后，就可能变得比较清晰。而现有技术中从统一尺度去评估图像的清晰度，对于较大或较小的图像，评估结果都可能不准确。
【发明内容】
有鉴于此，本发明提供了图像清晰度评估方法、装置、计算机设备及存储介质，能够提高评估结果的准确性。
具体技术方案如下：
一种图像清晰度评估方法，包括：
获取待处理的图像；
将所述待处理的图像输入给预先训练得到的评估模型；
获取所述评估模型输出的图像清晰度综合评分，所述图像清晰度综合评分为所述评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合所述N个图像清晰度评分得到的，N为大于一的正整数。
根据本发明一优选实施例，所述获取待处理的图像之前，进一步包括：
分别获取不同清晰程度的图像，并分别获取每幅图像的图像清晰度综合评分；
根据获取到的图像及对应的图像清晰度综合评分，训练得到所述评估模型。
根据本发明一优选实施例，所述分别获取每幅图像的图像清晰度综合评分包括：
针对每幅图像，分别获取人工标注的所述图像所属的清晰程度类别，所述清晰程度类别数大于一，并将预先设定的所述图像所属的清晰程度类别对应的评分作为所述图像的图像清晰度综合评分。
根据本发明一优选实施例，所述评估模型包括：Se-ResNeXt50模型。
根据本发明一优选实施例，
每个图像清晰度评分分别对应所述Se-ResNeXt50模型中的一个Block，N个图像清晰度评分对应所述Se-ResNeXt50模型中的最后N个Block；
从所述N个Block引出N个分支，每个分支分别结合所述图像的大小信息得出所述图像清晰度评分。
根据本发明一优选实施例，所述图像清晰度综合评分为所述N个图像清晰度评分的均值。
根据本发明一优选实施例，
所述训练得到所述评估模型之前，进一步包括：
对获取到的图像进行预处理，将获取到的图像调整为所述评估模型要求的大小；
所述将所述待处理的图像输入给预先训练得到的评估模型之前，进一步包括：
对所述待处理的图像进行预处理，将所述待处理的图像调整为所述评估模型要求的大小。
根据本发明一优选实施例，将图像调整为所述评估模型要求的大小包括：
若所述图像的长边小于所述评估模型要求的长度，且所述图像的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的长边和短边分别调整为所述评估模型要求的长度；
若所述图像的长边大于所述评估模型要求的长度，则将所述图像的长边压缩到所述评估模型要求的长度，并按照同样的压缩比例，压缩所述图像的短边，若压缩后的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的短边调整为所述评估模型要求的长度。
一种图像清晰度评估装置，包括：获取单元以及评估单元；
所述获取单元，用于获取待处理的图像；
所述评估单元，用于将所述待处理的图像输入给预先训练得到的评估模型，获取所述评估模型输出的图像清晰度综合评分，所述图像清晰度综合评分为所述评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合所述N个图像清晰度评分得到的，N为大于一的正整数。
根据本发明一优选实施例，所述装置中进一步包括：预处理单元；
所述预处理单元，用于在所述获取单元获取待处理的图像之前，分别获取不同清晰程度的图像，并分别获取每幅图像的图像清晰度综合评分，根据获取到的图像及对应的图像清晰度综合评分，训练得到所述评估模型。
根据本发明一优选实施例，所述预处理单元针对每幅图像，分别获取人工标注的所述图像所属的清晰程度类别，所述清晰程度类别数大于一，并将预先设定的所述图像所属的清晰程度类别对应的评分作为所述图像的图像清晰度综合评分。
根据本发明一优选实施例，所述评估模型包括：Se-ResNeXt50模型。
根据本发明一优选实施例，
每个图像清晰度评分分别对应所述Se-ResNeXt50模型中的一个Block，N个图像清晰度评分对应所述Se-ResNeXt50模型中的最后N个Block；
从所述N个Block引出N个分支，每个分支分别结合所述图像的大小信息得出所述图像清晰度评分。
根据本发明一优选实施例，所述图像清晰度综合评分为所述N个图像清晰度评分的均值。
根据本发明一优选实施例，
所述预处理单元进一步用于，在训练得到所述评估模型之前，对获取到的图像进行预处理，将获取到的图像调整为所述评估模型要求的大小；
所述评估单元进一步用于，在将所述待处理的图像输入给预先训练得到的评估模型之前，对所述待处理的图像进行预处理，将所述待处理的图像调整为所述评估模型要求的大小。
根据本发明一优选实施例，所述预处理单元及所述评估单元按照以下方式将图像调整为所述评估模型要求的大小：
若所述图像的长边小于所述评估模型要求的长度，且所述图像的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的长边和短边分别调整为所述评估模型要求的长度；
若所述图像的长边大于所述评估模型要求的长度，则将所述图像的长边压缩到所述评估模型要求的长度，并按照同样的压缩比例，压缩所述图像的短边，若压缩后的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的短边调整为所述评估模型要求的长度。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，在获取到待处理的图像后，可将待处理的图像输入给预先训练得到的评估模型，从而获取评估模型输出的图像清晰度综合评分，图像清晰度综合评分为评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合这N个图像清晰度评分得到的，N为大于一的正整数，也就是说，本发明所述方案中可结合多尺度信息来进行图像清晰度评估，从而提高了评估结果的准确性。
【附图说明】
图1为本发明所述图像清晰度评估方法实施例的流程图。
图2为本发明所述图像清晰度评估方法的实现过程的示意图。
图3为本发明所述图像清晰度评估装置实施例的组成结构示意图。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述图像清晰度评估方法实施例的流程图。如图1所示，包括以下具体实现方式。
在101中，获取待处理的图像。
在102中，将待处理的图像输入给预先训练得到的评估模型。
在103中，获取评估模型输出的图像清晰度综合评分，图像清晰度综合评分为评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合N个图像清晰度评分得到的，N为大于一的正整数。
可以看出，本实施例中，基于评估模型来对图像清晰度进行评估，评估模型为预先训练得到的。
为此，需要分别获取不同清晰程度的图像，并分别获取每幅图像的图像清晰度综合评分，进而根据获取到的图像及对应的图像清晰度综合评分，训练得到评估模型。
具体地，可针对每幅图像，分别获取人工标注的图像所属的清晰程度类别，清晰程度类别数大于一，具体数量可根据实际需要而定，进一步地，可将预先设定的图像所属的清晰程度类别对应的评分作为图像的图像清晰度综合评分。
比如，可从互联网上采集各种大小各种清晰程度的图像，并人工标注为模糊、一般或清晰，对于标注为模糊的图像，图像清晰度综合评分可为0，对于标注为一般的图像，图像清晰度综合评分可为0.5，对于标注为清晰的图像，图像清晰度综合评分可为1。
另外，还可对获取到的图像进行预处理，从而将获取到的图像调整为评估模型要求的大小。
其中，若图像的长边小于评估模型要求的长度，且图像的短边小于评估模型要求的长度，可通过补灰边的方式，将图像的长边和短边分别调整为评估模型要求的长度。
若图像的长边大于评估模型要求的长度，则将图像的长边压缩到评估模型要求的长度，并按照同样的压缩比例，压缩图像的短边，若压缩后的短边小于评估模型要求的长度，则通过补灰边的方式，将图像的短边调整为评估模型要求的长度。
比如，评估模型要求的图像大小为224*224，图像a大小为180*150，那么可通过补灰边的方式，将图像a的长边和短边分别调整为224，即将图像a调整为224*224大小。
再比如，评估模型要求的图像大小为224*224，图像b大小为600*400，那么可首先将图像b的长边压缩为224大小，之后按照长边的压缩比例，压缩图像b的短边，并通过补灰边的方式，将压缩后的短边调整为224大小。
在进行补灰边操作时，所补充的像素点的取值可为图像中的各像素点的均值，如何进行补灰边操作以及如何进行图像压缩为现有技术。
完成预处理之后，即可根据预处理后的图像及对应的图像清晰度综合评分，训练得到评估模型。
本实施例中的评估模型可为Se-ResNeXt50模型，即采用Se-ResNeXt50作为基础网络结构，该网络由多个Block组成，每经过一个Block，特征图(feature map)的宽高即变为上一个Block的1/2，这样，如果采用最后一个Block的输出经过全连接层得到最终的图像清晰度评估结果，相当于只选择了一个尺度的信息。
而本实施例中，可从最后N个Block引出N个分支，每个分支分别结合图像大小信息来得出图像清晰度评分(0、0.5、1)。
N为大于一的正整数，具体取值可根据实际需要而定，比如，可取值为3，即从最后三个Block引出三个分支。
在进行模型训练时，针对输入的图像和对应的图像清晰度综合评分，可计算对N个分支神经网络参数的梯度，并利用神经网络训练所常用的梯度下降法，进行参数更新，直到N个分支网络均收敛。
可对N个分支的图像清晰度评分取均值，从而得到最终评分，这样就结合了N个尺度的信息来进行图像清晰度评估，对于较大或较小的图像均具有良好的评估效果。
基于上述介绍，如何训练得到Se-ResNeXt50模型为现有技术。
在完成Se-ResNeXt50模型的训练之后，即可进行实际的图像清晰度评估，即首先获取待处理的图像，之后对待处理的图像进行预处理，从而将待处理的图像调整为Se-ResNeXt50模型要求的大小。
比如，若待处理的图像的长边小于Se-ResNeXt50模型要求的长度，且待处理的图像的短边小于Se-ResNeXt50模型要求的长度，则可通过补灰边的方式，将待处理的图像的长边和短边分别调整为Se-ResNeXt50模型要求的长度。
若待处理的图像的长边大于Se-ResNeXt50模型要求的长度，则将待处理的图像的长边压缩到Se-ResNeXt50模型要求的长度，并按照同样的压缩比例，压缩待处理的图像的短边，若压缩后的短边小于Se-ResNeXt50模型要求的长度，则通过补灰边的方式，将待处理的图像的短边调整为Se-ResNeXt50模型要求的长度。
之后可将待处理的图像输入给Se-ResNeXt50模型，从而获取Se-ResNeXt50模型输出的图像清晰度综合评分。
Se-ResNeXt50模型会基于N个不同尺度得到N个图像清晰度评分，即每个图像清晰度评分分别对应Se-ResNeXt50模型中的一个Block，N个图像清晰度评分对应Se-ResNeXt50模型中的最后N个Block，之后，可计算N个图像清晰度评分的均值，将得到的均值作为最终结果即图像清晰度综合评分输出。
基于上述介绍，图2为本发明所述图像清晰度评估方法的实现过程的示意图。
如图2所示，可首先对待处理的图像进行预处理，从而将待处理的图像调整为Se-ResNeXt50模型要求的大小。
之后，将预处理后的图像输入给Se-ResNeXt50模型，从Se-ResNeXt50模型的最后三个Block引出三个分支，每个分支分别结合图像大小信息得出图像清晰度评分，分别为Score1、Score2和Score3，并对Score1、Score2和Score3取均值，从而得到最终所需的图像清晰度综合评分输出。
后续，可根据得到的图像清晰度综合评分进行进一步处理，比如，可将图像清晰度综合评分与预先设定的阈值进行比较，若图像清晰度综合评分大于阈值，可判定待处理的图像为清晰图像，否则，可判定待处理的图像为模糊图像。
总之，采用上述方法实施例所述方案，在获取到待处理的图像后，可将待处理的图像输入给Se-ResNeXt50模型，从而得到Se-ResNeXt50模型输出的图像清晰度综合评分，图像清晰度综合评分为Se-ResNeXt50模型分别基于N个不同尺度得到N个图像清晰度评分后，综合N个图像清晰度评分得到的，N为大于一的正整数，也就是说，上述方法实施例所述方案中可结合多尺度信息来进行图像清晰度评估，从而提高了评估结果的准确性。
另外，结合多帧图像的清晰度亦可评估视频的清晰度。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图3为本发明所述图像清晰度评估装置实施例的组成结构示意图。如图3所示，包括：获取单元301以及评估单元302。
获取单元301，用于获取待处理的图像。
评估单元302，用于将待处理的图像输入给预先训练得到的评估模型，获取评估模型输出的图像清晰度综合评分，图像清晰度综合评分为评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合N个图像清晰度评分得到的，N为大于一的正整数。
可以看出，本实施例中，基于评估模型来对图像清晰度进行评估，评估模型为预先训练得到的。
为此，如图3所示，本实施例所述装置中还可进一步包括：预处理单元300。
预处理单元300，用于在获取单元301获取待处理的图像之前，分别获取不同清晰程度的图像，并分别获取每幅图像的图像清晰度综合评分，根据获取到的图像及对应的图像清晰度综合评分，训练得到评估模型，进而可将评估模型发送给评估单元302。
具体地，预处理单元300可针对每幅图像，分别获取人工标注的图像所属的清晰程度类别，清晰程度类别数大于一，并将预先设定的图像所属的清晰程度类别对应的评分作为图像的图像清晰度综合评分。
比如，可从互联网上采集各种大小各种清晰程度的图像，并人工标注为模糊、一般或清晰，对于标注为模糊的图像，图像清晰度综合评分可为0，对于标注为一般的图像，图像清晰度综合评分可为0.5，对于标注为清晰的图像，图像清晰度综合评分可为1。
另外，预处理单元300还可对获取到的图像进行预处理，从而将获取到的图像调整为评估模型要求的大小。
比如，若图像的长边小于评估模型要求的长度，且图像的短边小于评估模型要求的长度，则可通过补灰边的方式，将图像的长边和短边分别调整为评估模型要求的长度。
若图像的长边大于评估模型要求的长度，则将图像的长边压缩到评估模型要求的长度，并按照同样的压缩比例，压缩图像的短边，若压缩后的短边小于评估模型要求的长度，则通过补灰边的方式，将图像的短边调整为评估模型要求的长度。
完成预处理之后，预处理单元300即可根据预处理后的图像及对应的图像清晰度综合评分，训练得到评估模型。
本实施例中的评估模型可为Se-ResNeXt50模型，即采用Se-ResNeXt50作为基础网络结构，该网络由多个Block组成，每经过一个Block，feature map的宽高即变为上一个Block的1/2，这样，如果采用最后一个Block的输出经过全连接层得到最终的图像清晰度评估结果，相当于只选择了一个尺度的信息。
而本实施例中，可从最后N个Block引出N个分支，每个分支分别结合图像大小信息来给出图像清晰度评分(0、0.5、1)。
N为大于一的正整数，具体取值可根据实际需要而定，比如，可取值为3，即从最后三个Block引出三个分支。
可对N个分支的图像清晰度评分取均值，从而得到最终评分，这样就结合了N个尺度的信息来进行图像清晰度评估，对于较大或较小的图像均具有良好的评估效果。
在完成Se-ResNeXt50模型的训练之后，即可进行实际的图像清晰度评估，即获取单元301获取待处理的图像，发送给评估单元302，评估单元302对待处理的图像进行预处理，从而将待处理的图像调整为Se-ResNeXt50模型要求的大小。
之后，评估单元302可将待处理的图像输入给Se-ResNeXt50模型，从而获取Se-ResNeXt50模型输出的图像清晰度综合评分。
Se-ResNeXt50模型会基于N个不同尺度得到N个图像清晰度评分，即每个图像清晰度评分分别对应Se-ResNeXt50模型中的一个Block，N个图像清晰度评分对应Se-ResNeXt50模型中的最后N个Block，之后，可计算N个图像清晰度评分的均值，将得到的均值作为最终结果即图像清晰度综合评分输出。
图3所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图4显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (18)
1.一种图像清晰度评估方法，其特征在于，包括：
获取待处理的图像；
将所述待处理的图像输入给预先训练得到的评估模型；
获取所述评估模型输出的图像清晰度综合评分，所述图像清晰度综合评分为所述评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合所述N个图像清晰度评分得到的，N为大于一的正整数；
其中，所述将所述待处理的图像输入给预先训练得到的评估模型之前，进一步包括：对所述待处理的图像进行预处理，将所述待处理的图像调整为所述评估模型要求的大小。
2.根据权利要求1所述的方法，其特征在于，
所述获取待处理的图像之前，进一步包括：
分别获取不同清晰程度的图像，并分别获取每幅图像的图像清晰度综合评分；
根据获取到的图像及对应的图像清晰度综合评分，训练得到所述评估模型。
3.根据权利要求2所述的方法，其特征在于，
所述分别获取每幅图像的图像清晰度综合评分包括：
针对每幅图像，分别获取人工标注的所述图像所属的清晰程度类别，所述清晰程度类别数大于一，并将预先设定的所述图像所属的清晰程度类别对应的评分作为所述图像的图像清晰度综合评分。
4.根据权利要求1所述的方法，其特征在于，
所述评估模型包括：Se-ResNeXt50模型。
5.根据权利要求4所述的方法，其特征在于，
每个图像清晰度评分分别对应所述Se-ResNeXt50模型中的一个Block，N个图像清晰度评分对应所述Se-ResNeXt50模型中的最后N个Block；
从所述N个Block引出N个分支，每个分支分别结合所述图像的大小信息得出所述图像清晰度评分。
6.根据权利要求1所述的方法，其特征在于，
所述图像清晰度综合评分为所述N个图像清晰度评分的均值。
7.根据权利要求2所述的方法，其特征在于，
所述训练得到所述评估模型之前，进一步包括：
对获取到的图像进行预处理，将获取到的图像调整为所述评估模型要求的大小。
8.根据权利要求7所述的方法，其特征在于，
将图像调整为所述评估模型要求的大小包括：
若所述图像的长边小于所述评估模型要求的长度，且所述图像的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的长边和短边分别调整为所述评估模型要求的长度；
若所述图像的长边大于所述评估模型要求的长度，则将所述图像的长边压缩到所述评估模型要求的长度，并按照同样的压缩比例，压缩所述图像的短边，若压缩后的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的短边调整为所述评估模型要求的长度。
9.一种图像清晰度评估装置，其特征在于，包括：获取单元以及评估单元；
所述获取单元，用于获取待处理的图像；
所述评估单元，用于将所述待处理的图像输入给预先训练得到的评估模型，获取所述评估模型输出的图像清晰度综合评分，所述图像清晰度综合评分为所述评估模型分别基于N个不同尺度得到N个图像清晰度评分后，综合所述N个图像清晰度评分得到的，N为大于一的正整数；
其中，所述评估单元进一步用于，在将所述待处理的图像输入给预先训练得到的评估模型之前，对所述待处理的图像进行预处理，将所述待处理的图像调整为所述评估模型要求的大小。
10.根据权利要求9所述的装置，其特征在于，
所述装置中进一步包括：预处理单元；
所述预处理单元，用于在所述获取单元获取待处理的图像之前，分别获取不同清晰程度的图像，并分别获取每幅图像的图像清晰度综合评分，根据获取到的图像及对应的图像清晰度综合评分，训练得到所述评估模型。
11.根据权利要求10所述的装置，其特征在于，
所述预处理单元针对每幅图像，分别获取人工标注的所述图像所属的清晰程度类别，所述清晰程度类别数大于一，并将预先设定的所述图像所属的清晰程度类别对应的评分作为所述图像的图像清晰度综合评分。
12.根据权利要求9所述的装置，其特征在于，
所述评估模型包括：Se-ResNeXt50模型。
13.根据权利要求12所述的装置，其特征在于，
每个图像清晰度评分分别对应所述Se-ResNeXt50模型中的一个Block，N个图像清晰度评分对应所述Se-ResNeXt50模型中的最后N个Block；
从所述N个Block引出N个分支，每个分支分别结合所述图像的大小信息得出所述图像清晰度评分。
14.根据权利要求9所述的装置，其特征在于，
所述图像清晰度综合评分为所述N个图像清晰度评分的均值。
15.根据权利要求10所述的装置，其特征在于，
所述预处理单元进一步用于，在训练得到所述评估模型之前，对获取到的图像进行预处理，将获取到的图像调整为所述评估模型要求的大小。
16.根据权利要求15所述的装置，其特征在于，
所述预处理单元及所述评估单元按照以下方式将图像调整为所述评估模型要求的大小：
若所述图像的长边小于所述评估模型要求的长度，且所述图像的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的长边和短边分别调整为所述评估模型要求的长度；
若所述图像的长边大于所述评估模型要求的长度，则将所述图像的长边压缩到所述评估模型要求的长度，并按照同样的压缩比例，压缩所述图像的短边，若压缩后的短边小于所述评估模型要求的长度，则通过补灰边的方式，将所述图像的短边调整为所述评估模型要求的长度。
17.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～8中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～8中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711278216.4A CN107958455B (zh) | 2017-12-06 | 2017-12-06 | 图像清晰度评估方法、装置、计算机设备及存储介质 |
| US16/211,052 US10922804B2 (en) | 2017-12-06 | 2018-12-05 | Method and apparatus for evaluating image definition, computer device and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711278216.4A CN107958455B (zh) | 2017-12-06 | 2017-12-06 | 图像清晰度评估方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107958455A CN107958455A (zh) | 2018-04-24 |
| CN107958455B true CN107958455B (zh) | 2019-09-20 |
Family
ID=61958083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711278216.4A Active CN107958455B (zh) | 2017-12-06 | 2017-12-06 | 图像清晰度评估方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10922804B2 (zh) |
| CN (1) | CN107958455B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898579B (zh) * | 2018-05-30 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 一种图像清晰度识别方法、装置和存储介质 |
| CN109522950B (zh) * | 2018-11-09 | 2022-04-22 | 网易传媒科技（北京）有限公司 | 图像评分模型训练方法及装置和图像评分方法及装置 |
| CN109948625A (zh) * | 2019-03-07 | 2019-06-28 | 上海汽车集团股份有限公司 | 文本图像清晰度评估方法及系统、计算机可读存储介质 |
| CN111768412A (zh) * | 2019-10-12 | 2020-10-13 | 北京京东尚科信息技术有限公司 | 智能配图方法和装置 |
| CN111445433B (zh) * | 2019-10-14 | 2021-07-06 | 北京华宇信息技术有限公司 | 一种电子卷宗的空白页和模糊页的检测方法及装置 |
| CN113066038A (zh) * | 2019-12-13 | 2021-07-02 | 阿里巴巴集团控股有限公司 | 图像评估方法、装置、电子设备及计算机存储介质 |
| CN111105375B (zh) * | 2019-12-17 | 2023-08-22 | 北京金山云网络技术有限公司 | 图像生成方法及其模型训练方法、装置及电子设备 |
| CN111402121A (zh) * | 2020-03-20 | 2020-07-10 | 上海眼控科技股份有限公司 | 图像风格的转换方法、装置、计算机设备和存储介质 |
| CN111598884A (zh) * | 2020-05-21 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 图像数据处理方法、设备及计算机存储介质 |
| CN112135140B (zh) * | 2020-09-17 | 2023-11-28 | 上海连尚网络科技有限公司 | 视频清晰度识别方法、电子设备及存储介质 |
| CN112288699B (zh) * | 2020-10-23 | 2024-02-09 | 北京百度网讯科技有限公司 | 图像相对清晰度的评估方法、装置、设备和介质 |
| CN112819761B (zh) * | 2021-01-21 | 2023-09-01 | 百度在线网络技术（北京）有限公司 | 模型训练方法、分数确定方法、装置、设备、介质和产品 |
| CN112767392B (zh) * | 2021-03-02 | 2024-04-09 | 百果园技术(新加坡)有限公司 | 图像清晰度确定方法、装置、设备及存储介质 |
| CN113052815B (zh) * | 2021-03-23 | 2022-06-24 | Oppo广东移动通信有限公司 | 图像清晰度确定方法及装置、存储介质和电子设备 |
| CN113409281A (zh) * | 2021-06-24 | 2021-09-17 | 上海云从企业发展有限公司 | 基于深度模型的图像清晰度评估方法和装置 |
| CN113643260A (zh) * | 2021-08-13 | 2021-11-12 | 北京百度网讯科技有限公司 | 用于检测图像质量的方法、装置、设备、介质和产品 |
| CN116112795B (zh) * | 2023-04-13 | 2023-06-23 | 北京城建智控科技股份有限公司 | 一种自适应对焦控制方法、摄像机以及存储介质 |
| CN116668737B (zh) * | 2023-08-02 | 2023-10-20 | 成都梵辰科技有限公司 | 一种基于深度学习的超高清视频清晰度测试方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011058621A1 (ja) * | 2009-11-10 | 2011-05-19 | Yoshinobu Masayuki | 最適手法探索方法及び最適手法探索システム |
| CN103155533A (zh) * | 2010-05-26 | 2013-06-12 | 索尼爱立信移动通讯有限公司 | 用于拍摄与用户偏好对应的照片的相机系统和方法 |
| CN106548468A (zh) * | 2016-10-13 | 2017-03-29 | 广州酷狗计算机科技有限公司 | 图像清晰度的判别方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020947B (zh) * | 2011-09-23 | 2016-04-06 | 阿里巴巴集团控股有限公司 | 一种图像的质量分析方法及装置 |
| US10402697B2 (en) * | 2016-08-01 | 2019-09-03 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| US10891526B2 (en) * | 2017-12-22 | 2021-01-12 | Google Llc | Functional image archiving |
-
2017
- 2017-12-06 CN CN201711278216.4A patent/CN107958455B/zh active Active
-
2018
- 2018-12-05 US US16/211,052 patent/US10922804B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011058621A1 (ja) * | 2009-11-10 | 2011-05-19 | Yoshinobu Masayuki | 最適手法探索方法及び最適手法探索システム |
| CN103155533A (zh) * | 2010-05-26 | 2013-06-12 | 索尼爱立信移动通讯有限公司 | 用于拍摄与用户偏好对应的照片的相机系统和方法 |
| CN106548468A (zh) * | 2016-10-13 | 2017-03-29 | 广州酷狗计算机科技有限公司 | 图像清晰度的判别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10922804B2 (en) | 2021-02-16 |
| CN107958455A (zh) | 2018-04-24 |
| US20190172193A1 (en) | 2019-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107958455B (zh) | 图像清晰度评估方法、装置、计算机设备及存储介质 | |
| CN109214238B (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN107545241A (zh) | 神经网络模型训练及活体检测方法、装置及存储介质 | |
| US11138903B2 (en) | Method, apparatus, device and system for sign language translation | |
| CN107590430A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN107480725A (zh) | 基于深度学习的图像识别方法、装置和计算机设备 | |
| CN107609466A (zh) | 人脸聚类方法、装置、设备及存储介质 | |
| WO2019245768A1 (en) | System for predicting articulated object feature location | |
| CN111429338B (zh) | 用于处理视频的方法、装置、设备和计算机可读存储介质 | |
| CN110084289B (zh) | 图像标注方法、装置、电子设备及存储介质 | |
| CN108377417B (zh) | 视频审核方法、装置、计算机设备及存储介质 | |
| CN109034069A (zh) | 用于生成信息的方法和装置 | |
| CN110232340A (zh) | 建立视频分类模型以及视频分类的方法、装置 | |
| CN109409241A (zh) | 视频核验方法、装置、设备及可读存储介质 | |
| CN109409199B (zh) | 微表情训练方法、装置、存储介质及电子设备 | |
| CN109784330B (zh) | 招牌内容识别方法、装置及设备 | |
| CN109118532A (zh) | 视觉景深估计方法、装置、设备及存储介质 | |
| CN107609463A (zh) | 活体检测方法、装置、设备及存储介质 | |
| KR20220106842A (ko) | 표정 인식 방법 및 장치, 기기, 컴퓨터 판독 가능한 저장 매체, 컴퓨터 프로그램 제품 | |
| CN109446893A (zh) | 人脸识别方法、装置、计算机设备及存储介质 | |
| CN109446907A (zh) | 一种视频聊天的方法、装置、设备和计算机存储介质 | |
| CN110046116A (zh) | 一种张量填充方法、装置、设备及存储介质 | |
| CN109377494A (zh) | 一种用于图像的语义分割方法和装置 | |
| CN110390327A (zh) | 前景提取方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |