CN113902706A - 一种图像质量评价方法和装置 - Google Patents

一种图像质量评价方法和装置 Download PDF

Info

Publication number
CN113902706A
CN113902706A CN202111179952.0A CN202111179952A CN113902706A CN 113902706 A CN113902706 A CN 113902706A CN 202111179952 A CN202111179952 A CN 202111179952A CN 113902706 A CN113902706 A CN 113902706A
Authority
CN
China
Prior art keywords
image
grid
frequency domain
definition
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111179952.0A
Other languages
English (en)
Inventor
殷雨昕
马文伟
刘设伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Online Property Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN202111179952.0A priority Critical patent/CN113902706A/zh
Publication of CN113902706A publication Critical patent/CN113902706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像质量评价方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:按照设定的第一像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱;将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度;其中,所述权重矩阵的次对角线上以及所述次对角线上方的权重元素为0,所述次对角线下方的权重元素大于0且沿右下角方向增大;根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。该实施方式提高了对纹理分布不均匀的图像清晰度表征的准确度。

Description

一种图像质量评价方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像质量评价方法和装置。
背景技术
在宠物险业务的投保、理赔环节,需要判断用户投保或申请理赔时上传的宠物图像是否清晰。通常的清晰度判断方法是计算全图的清晰度,进而将全图的清晰度作为宠物本身的清晰度。但是宠物本身通常只占宠物图像的一部分,该方式易受背景清晰度的干扰,容易误判;同时由于纯色宠物缺少花纹,纹理难以清晰显现,也容易被误判为不清晰。
比如,在拍摄图像过程中,有些图像可能存在大面积的背景虚化,但宠物本身是足够清晰的,上述方式会误判为图像模糊。再比如,在拍摄图像过程中,由于对焦失误未拍摄到清晰的宠物面部,但是其他区域清晰,上述方式会误判为图像清晰。而且,由于宠物的特殊性,纯色宠物的纹理难以清晰显现,如果宠物身体的不同部位距离镜头的远近不同,聚焦之外的部分容易呈现为缺少细节纹理的纯色,从而对宠物图像清晰度的判断造成干扰。
发明内容
有鉴于此,本发明实施例提供一种图像质量评价方法和装置,该方法通过对目标图像进行网格划分后再进行频域变换,以利用权重矩阵计算每个网格图像的清晰度,增大了高频分量对最终清晰度的影响,之后取所有网格图像清晰度的分位数值来表征全图清晰度,提高了对纹理分布不均匀的图像清晰度表征的准确度。
为实现上述目的,根据本发明实施例的一个方面,提供了一种图像质量评价方法。
本发明实施例的一种图像质量评价方法,包括:按照设定的第一像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱;将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度;其中,所述权重矩阵的次对角线上以及所述次对角线上方的权重元素为0,所述次对角线下方的权重元素大于0且沿右下角方向增大;根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。
可选地,所述目标图像包括纯色区域和非纯色区域;所述方法还包括:接收设定的所述分位数;其中,所述分位数用于从所述多个网格图像的清晰度中滤除隶属于所述纯色区域的清晰度,保留隶属于所述非纯色区域的清晰度。
可选地,所述方法还包括:接收定义的所述权重矩阵;其中,所述权重矩阵的权重元素以主对角线为对称轴对应相等。
可选地,所述对所述多个网格图像分别进行频域变换,得到相应的频域图谱,包括:对所述多个网格图像分别进行离散余弦变换,之后对变换结果取绝对值,得到相应的频域图谱。
可选地,所述方法还包括:将原始图像输入预训练的神经网络模型,由所述神经网络模型从所述原始图像中截取设定的目标区域,得到中间图像;将所述中间图像放缩至设定的第二像素数,生成所述目标图像;其中,所述目标图像的宽和高能被所述网格图像相应的宽和高整除。
可选地,所述目标区域包括面部区域和全身区域;所述由所述神经网络模型从所述原始图像中截取设定的目标区域,包括:使用所述神经网络模型优先检测所述原始图像是否包含所述面部区域,如果所述原始图像包含所述面部区域,则确定所述面部区域在所述原始图像的第一位置,根据所述第一位置截取所述面部区域;如果所述原始图像不包含所述面部区域,则进一步检测所述原始图像是否包含所述全身区域,并在所述原始图像包含所述全身区域的情况下,确定所述全身区域在所述原始图像的第二位置,根据所述第二位置截取所述全身区域。
可选地,所述方法还包括:将所述质量分数与设定的清晰度阈值进行比较,如果所述质量分数大于等于所述清晰度阈值,则判定所述目标图像为清晰图像;如果所述质量分数小于所述清晰度阈值,则判定所述目标图像为模糊图像;返回所述目标图像的判定结果,并在所述目标图像判定为模糊图像的情况下,返回重传提示信息。
为实现上述目的,根据本发明实施例的另一方面,提供了一种图像质量评价装置。
本发明实施例的一种图像质量评价装置,包括:频域变换模块,用于按照设定的像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱;加权平均模块,用于将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度;其中,所述权重矩阵的次对角线上以及所述次对角线上方的权重元素为0,所述次对角线下方的权重元素大于0且沿右下角方向增大;质量评价模块,用于根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。
可选地,所述目标图像包括纯色区域和非纯色区域;所述装置还包括:第一接收模块,用于接收设定的所述分位数;其中,所述分位数用于从所述多个网格图像的清晰度中滤除隶属于所述纯色区域的清晰度,保留隶属于所述非纯色区域的清晰度。
可选地,所述装置还包括:第二接收模块,用于接收定义的所述权重矩阵;其中,所述权重矩阵的权重元素以主对角线为对称轴对应相等。
可选地,所述频域变换模块,还用于对所述多个网格图像分别进行离散余弦变换,之后对变换结果取绝对值,得到相应的频域图谱。
可选地,所述装置还包括:预处理模块,用于将原始图像输入预训练的神经网络模型,由所述神经网络模型从所述原始图像中截取设定的目标区域,得到中间图像;将所述中间图像放缩至设定的第二像素数,生成所述目标图像;其中,所述目标图像的宽和高能被所述网格图像相应的宽和高整除。
可选地,所述目标区域包括面部区域和全身区域;所述预处理模块,还用于使用所述神经网络模型优先检测所述原始图像是否包含所述面部区域,如果所述原始图像包含所述面部区域,则确定所述面部区域在所述原始图像的第一位置,根据所述第一位置截取所述面部区域;如果所述原始图像不包含所述面部区域,则进一步检测所述原始图像是否包含所述全身区域,并在所述原始图像包含所述全身区域的情况下,确定所述全身区域在所述原始图像的第二位置,根据所述第二位置截取所述全身区域。
可选地,所述装置还包括:判定反馈模块,用于将所述质量分数与设定的清晰度阈值进行比较,如果所述质量分数大于等于所述清晰度阈值,则判定所述目标图像为清晰图像;如果所述质量分数小于所述清晰度阈值,则判定所述目标图像为模糊图像;返回所述目标图像的判定结果,并在所述目标图像判定为模糊图像的情况下,返回重传提示信息。
为实现上述目的,根据本发明实施例的再一方面,提供了一种电子设备。
本发明实施例的一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的一种图像质量评价方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种图像质量评价方法。
上述发明中的一个实施例具有如下优点或有益效果:通过对目标图像进行网格划分后再进行频域变换,以利用设定的权重矩阵计算每个网格图像的清晰度,增大了高频分量对最终清晰度的影响,进而取所有网格图像清晰度的分位数值来表征全图清晰度,提高了对纹理分布不均匀的图像清晰度表征的准确度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的图像质量评价方法的主要步骤的示意图;
图2是根据本发明实施例的图像质量评价方法的主要流程示意图;
图3是本发明实施例的原始图像预处理的原理示意图;
图4是本发明实施例的清晰度计算过程的原理示意图;
图5是本发明实施例的目标区域截取的实现流程示意图;
图6是根据本发明实施例的图像质量评价装置的主要模块的示意图;
图7是本发明实施例可以应用于其中的示例性系统架构图;
图8是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的图像质量评价方法的主要步骤的示意图。如图1所示,本发明实施例的图像质量评价方法,主要包括如下步骤:
步骤S101:按照设定的第一像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱。按照设定的第一像素数,比如K×K,将目标图像划分为若干个网格,得到若干个K×K大小的网格图像。之后对每个网格图像进行频域变换,得到每个网格图像的频域图谱,该频域图谱中存在高频分量和低频分量。其中,K为整数,比如8。目标图像中包含业务关注的对象,比如动物、人物等。
步骤S102:将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度。其中,权重矩阵的大小等于第一像素数,且其次对角线上以及次对角线上方的权重元素为0,次对角线下方的权重元素大于0且沿右下角方向增大。次对角线是一条从右上角到左下角的对角线。该权重矩阵用于对频域图谱的高频分量部分进行加权平均。
本步骤将每个网格图像的频域图谱分别与权重矩阵进行加权平均,得到每个网格图像的清晰度。以计算任意一个网格图像的清晰度为例,具体地,将该网格图像的频域图谱(为矩阵形式)与权重矩阵的对应权重元素进行加权求和后,再将加权求和结果与权重矩阵中所有权重元素的和值作比,得到的比值即该网格图像的清晰度。
步骤S103:根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。分位数是指将一个随机变量的概率分布范围分为几个等份的数值点。比如,百分位数即将一组数据从小到大排序,并计算相应的累计百分位,则某一百分位所对应数据的值就称为这一百分位的百分位数。
本步骤按照清晰度的高低,将步骤S102中得到的所有网格图像的清晰度进行排序,进而按照设定的分位数,取所有网格图像的清晰度的相应分位数值,将该分位数值作为整个目标图像的质量分数,至此完成对该目标图像的质量评价,提高了对纹理分布不均匀的图像清晰度表征的准确度。实施例中,分位数大于50%,比如为80%、90%、95%。以分位数为90%为例,该步骤即将所有网格图像的清晰度的90%分位数作为整个目标图像的质量分数。
宠物险业务需要用户上传宠物图像作为宠物身份认定的依据,如果用户上传的宠物图像不清晰,可能会造成宠物身份无法判断,从而拒绝投保或拒绝理赔。为了及时判断用户上传的宠物图像是否清晰,以及时告知用户宠物图像是否符合投保或理赔的需求,本实施例提供了一种适用于宠物图像的图像质量评价方法,该方法能够对客户上传的宠物图像进行实时质量评价,便于减少进入到投保、理赔环节的模糊图像,提高宠物险业务效率,提高用户投保的成功率,具体如下。
图2是根据本发明实施例的图像质量评价方法的主要流程示意图。如图2所示,本发明实施例的图像质量评价方法,主要包括如下步骤:
步骤S201:将原始图像输入预训练的神经网络模型,由神经网络模型从原始图像中截取设定的目标区域,得到中间图像。预先采集包含业务所关注对象的若干图像以及标注数据作为训练集,将训练集输入神经网络算法进行训练,以使得训练出的神经网络模型能够检测出这些图像的目标区域,并截取目标区域。具体如何检测目标区域是现有成熟的技术,此处不再赘述。
在一实施例中,为了服务于宠物险业务,训练集中的图像可以为宠物图像,包括宠物面部图像和宠物全身图像。在训练神经网络模型时,需预先采集宠物险业务所涵盖的宠物种类的若干宠物图像以及标注数据作为训练集,将训练集输入神经网络算法进行训练,以使得训练出的神经网络模型能够检测出这些图像的目标区域,并截取目标区域。目标区域比如可以是面部区域和全身区域。
对于待质量评价的原始图像,将该原始图像输入训练好的神经网络模型,由该模型从原始图像中截取目标区域,即可得到中间图像。截取目标区域的具体实现见图5相关描述。可以理解的是,为了服务于宠物险业务,原始图像需为宠物险业务所涵盖的宠物种类的宠物图像,该原始图像可由用户上传。
步骤S202:将中间图像放缩至设定的第二像素数,生成目标图像。按照设定的第二像素数,比如S×S,将中间图像进行放缩,得到S×S大小的目标图像,即目标图像的宽为S、高为S。
图3是本发明实施例的原始图像预处理的原理示意图。如图3所示,预处理过程包括使用神经网络模型在原始图像中检测目标区域,截取目标区域,以及图像放缩,即步骤S201-步骤S202,经上述处理后,可以将截取后的原始图像放缩至固定大小。其中,该原始图像为宠物图像,包括纯色区域(比如身体部分)和非纯色区域(比如耳朵部分和眼睛部分)。
步骤S203:按照设定的第一像素数对目标图像进行网格划分,得到多个网格图像。按照设定的第一像素数,比如K×K,将目标图像划分为若干个网格,得到若干个K×K大小的网格图像,即网格图像的宽为K、高为K。
在一优选的实施例中,在设定第二像素数时,需要保证生成的目标图像的宽和高能够被网格图像相应的宽和高整除。比如,K为8时,S能够被8整除,比如S为240。
步骤S204:对多个网格图像分别进行频域变换,得到相应的频域图谱。频域变换的实现方式可以由离散余弦变换(Discrete Cosine Transform,DCT)、傅里叶变换(FourierTransformation,FT)、离散傅里叶变换(Discrete Fourier Transform,DFT)等方式实现。
以DCT变换为例,该步骤将网格划分得到的所有网格图像分别进行DCT变换,之后对DCT变换结果取绝对值,即可得到每个网格图像对应的频域图谱。取绝对值操作能够方便后续做图。
步骤S205:将多个频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度。用户通过交互界面预定义权重矩阵W,在定义权重矩阵W时需遵守如下原则:权重矩阵W的次对角线上以及次对角线上方的权重元素为0,次对角线下方的权重元素大于0且沿右下角方向增大。该原则下定义的权重矩阵W使得后续在计算清晰度时,能够增大高频分量的影响。
权重矩阵W的权重元素的具体值可以在满足上述原则的情况下,自行定义,比如图4中展示了权重矩阵的一种示例。在接收到定义的权重矩阵W以及得到网格图像的频域图谱之后,将每个网格图像的频域图谱分别与权重矩阵进行加权平均,加权平均值即相应网格图像的清晰度。至此得到每个网格图像的清晰度表示,可记为C={C1,C2,……,Cn},其中,n为网格图像的数量,Cn为第n个网格图像的清晰度。
在一优选的实施例中,为了保证能够平等对待频域图谱的横向和纵向,定义权重矩阵时还需遵守如下原则:权重矩阵的权重元素以主对角线为对称轴对应相等。其中,主对角线是一条由左上角至右下角的对角线。
图4是本发明实施例的清晰度计算过程的原理示意图。如图4所示,本发明实施例的清晰度计算过程包括网格划分、DCT变换和取绝对值、以及加权平均,即步骤S203-步骤S205,经上述处理后,得到宠物图像中隶属耳朵区域的一个网格图像的频域图谱,并计算出该网格图像的清晰度为0.489。其中,频域图谱的左上角为显示方便显示为20.0,实际值远大于20.0。
步骤S206:根据设定的分位数,计算多个网格图像的清晰度的分位数值,将分位数值作为目标图像的质量分数,完成对原始图像的质量评价。目标图像中可能包括纯色区域和非纯色区域,而纯色区域的纹理难以清晰显现,会对图像质量评价的准确性造成干扰。
实施例中,用户通过交互界面设定分位数,该分位数用于从多个网格图像的清晰度中滤除隶属于纯色区域的清晰度,保留隶属于非纯色区域的清晰度,以自适应注意图像中清晰度高的非纯色区域,避免了纯色区域对图像质量评价的影响。实施例中,分位数可以根据实际需求进行调整,比如为90%。
在接收到设定的分位数以及得到网格图像的清晰度集合C之后,将清晰度集合C中的清晰度按照由低到高的顺序排序,进而计算清晰度集合C的设定分位数,比如90%分位数,将计算出的分位数值作为目标图像的质量分数,目标图像的质量分数即整张原始图像的质量分数,至此完成对原始图像的质量评价。
结合图4可以看出,大部分纯色区域的清晰度较低,而非纯色区域(比如眼睛到耳朵部分)的清晰度较高。纯色区域由于缺乏足够的纹理故包含的信息较少,但是眼睛到耳朵部分的清晰足以说明这张图像是清晰的。故本实施例采用90%分位数来表征图像整体的清晰度,将图像中包含信息少的纯色区域与包含信息多的非纯色区域相区分,自适应聚焦图像中清晰度高的非纯色区域,有效避免了纯色区域对清晰度判定的影响。
在一优选的实施例中,在计算出目标图像的质量分数后,还可以将质量分数与设定的清晰度阈值进行比较,以判定该目标图像对应的原始图像是清晰图像还是模糊图像。具体地,如果质量分数大于等于清晰度阈值,则判定目标图像为清晰图像;如果质量分数小于清晰度阈值,则判定目标图像为模糊图像。其中,清晰度阈值可以根据需求自定义设置。
由于目标图像的质量分数即原始图像的质量分数,故判定出目标图像是否为清晰图像即相当于判定出原始图像是否为清晰图像。假设目标图像的质量分数为0.257,清晰度阈值为0.2,则原始图像的质量分数也为0.257,0.257大于0.2,说明原始图像为清晰图像。
为了能够及时将判定结果反馈至用户,及时提醒用户重传不清晰的图像,提升用户体验,在另一优选的实施例中,还可以返回目标图像的判定结果,并在目标图像判定为模糊图像的情况下,返回重传提示信息。也即,如果目标图像判定为清晰图像,则可以反馈用户图像清晰的信息;如果目标图像判定为模糊图像,则可以反馈用户图像模糊的信息,并提醒用户重新上传清晰的图像。
图5是本发明实施例的目标区域截取的实现流程示意图。如图5所示,本发明实施例的目标区域截取(即步骤S201中由神经网络模型从原始图像中截取设定的目标区域,得到中间图像)的实现流程包括以下步骤:
步骤S501:使用神经网络模型检测原始图像是否包含面部区域,如果原始图像包含面部区域,则执行步骤S502;否则执行步骤S503。以原始图像为宠物图像为例,优先检测该宠物图像中是否包含宠物的面部区域。在一优选的实施例中,面部区域为正脸区域。
步骤S502:确定面部区域在原始图像的第一位置,根据第一位置截取面部区域,将截取出的面部区域作为中间图像,结束本流程。在检测出面部区域后,通过神经网络模型判断出面部区域在宠物图像中的位置,之后按照该位置优先截取面部区域。
步骤S503:检测原始图像是否包含全身区域,如果原始图像包含全身区域,则执行步骤S504;否则执行步骤S505。当未检测到面部区域时,进一步检测该宠物图像中是否包含宠物的全身区域。参见图3,宠物图像中位于较细实线框的部分为面部区域,位于较粗实线框的部分为全身区域。
步骤S504:确定全身区域在原始图像的第二位置,根据第二位置截取全身区域,将截取出的全身区域作为中间图像,结束本流程。当未检测到面部区域,但检测到全身区域时,通过神经网络模型判断出全身区域在宠物图像中的位置,之后按照该位置截取全身区域。
步骤S505:将原始图像作为中间图像,结束本流程。如果既未检测到面部区域,也未检测到全身区域时,不对原始图像进行截取,直接将其作为中间图像。
由于聚焦问题,非目标区域常常被虚化,为了排除非目标近景以及远景模糊对图像清晰度判定的干扰,本实施例通过在图像质量评价过程中增加了目标区域检测的过程,在缩小清晰度判断范围的同时,排除了非目标清晰度对最终清晰度判断的影响。同时,由于面部区域包含的信息通常多于全身区域,本实施例优先检测并截取面部区域,在面部区域无法检测到的情况下再检测全身区域,便于提取出包含信息多的区域进行处理,进一步提高了图像质量判定的准确性。
图6是根据本发明实施例的图像质量评价装置的主要模块的示意图。如图6所示,本发明实施例的图像质量评价装置600,主要包括:
频域变换模块601,用于按照设定的像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱。按照设定的第一像素数,比如K×K,将目标图像划分为若干个网格,得到若干个K×K大小的网格图像。之后对每个网格图像进行频域变换,得到每个网格图像的频域图谱,该频域图谱中存在高频分量和低频分量。其中,K为整数,比如8。目标图像中包含业务关注的对象,比如动物、人物等。
加权平均模块602,用于将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度。其中,权重矩阵的大小等于第一像素数,且其次对角线上以及次对角线上方的权重元素为0,次对角线下方的权重元素大于0且沿右下角方向增大。次对角线是一条从右上角到左下角的对角线。该权重矩阵用于对频域图谱的高频分量部分进行加权平均。
本模块将每个网格图像的频域图谱分别与权重矩阵进行加权平均,得到每个网格图像的清晰度。以计算任意一个网格图像的清晰度为例,具体地,将该网格图像的频域图谱(为矩阵形式)与权重矩阵的对应权重元素进行加权求和后,再将加权求和结果与权重矩阵中所有权重元素的和值作比,得到的比值即该网格图像的清晰度。
质量评价模块603,用于根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。
本模块按照清晰度的高低,将加权平均模块602得到的所有网格图像的清晰度进行排序,进而按照设定的分位数,取所有网格图像的清晰度的相应分位数值,将该分位数值作为整个目标图像的质量分数,至此完成对该目标图像的质量评价,提高了对纹理分布不均匀的图像清晰度表征的准确度。
另外,本发明实施例的图像质量评价装置600还可以包括:第一接收模块、第二接收模块、预处理模块和判定反馈模块(图6中未示出)。其中,第一接收模块,用于接收设定的所述分位数;其中,所述分位数用于从所述多个网格图像的清晰度中滤除隶属于所述纯色区域的清晰度,保留隶属于所述非纯色区域的清晰度。第二接收模块,用于接收定义的所述权重矩阵;其中,所述权重矩阵的权重元素以主对角线为对称轴对应相等。
预处理模块,用于将原始图像输入预训练的神经网络模型,由所述神经网络模型从所述原始图像中截取设定的目标区域,得到中间图像;将所述中间图像放缩至设定的第二像素数,生成所述目标图像;其中,所述目标图像的宽和高能被所述网格图像相应的宽和高整除。
判定反馈模块,用于将所述质量分数与设定的清晰度阈值进行比较,如果所述质量分数大于等于所述清晰度阈值,则判定所述目标图像为清晰图像;如果所述质量分数小于所述清晰度阈值,则判定所述目标图像为模糊图像;返回所述目标图像的判定结果,并在所述目标图像判定为模糊图像的情况下,返回重传提示信息。
从以上描述可以看出,通过对目标图像进行网格划分后再进行频域变换,以利用设定的权重矩阵计算每个网格图像的清晰度,增大了高频分量对最终清晰度的影响,进而取所有网格图像清晰度的分位数值来表征全图清晰度,提高了对纹理分布不均匀的图像清晰度表征的准确度。
图7示出了可以应用本发明实施例的图像质量评价方法或图像质量评价装置的示例性系统架构700。
如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器,例如对管理员利用终端设备701、702、703发送的原始图像进行处理的后台管理服务器。后台管理服务器可以对原始图像截取目标区域后放缩为指定大小的目标图像,进行网格划分、频域变换、加权平均、分位数计算等处理,并将处理结果(例如计算出的质量分数)反馈给终端设备。
需要说明的是,本申请实施例所提供的图像质量评价方法一般由服务器705执行,相应地,图像质量评价装置一般设置于服务器705中。
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例,本发明还提供了一种电子设备和一种计算机可读介质。
本发明的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的一种图像质量评价方法。
本发明的计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的一种图像质量评价方法。
下面参考图8,其示出了适用于来实现本发明实施例的电子设备的计算机系统800的结构示意图。图8示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有计算机系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明公开的实施例,上文主要步骤图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括频域变换模块、加权平均模块和质量评价模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,频域变换模块还可以被描述为“按照设定的像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:按照设定的第一像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱;将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度;其中,所述权重矩阵的次对角线上以及所述次对角线上方的权重元素为0,所述次对角线下方的权重元素大于0且沿右下角方向增大;根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。
根据本发明实施例的技术方案,通过对目标图像进行网格划分后再进行频域变换,以利用设定的权重矩阵计算每个网格图像的清晰度,增大了高频分量对最终清晰度的影响,进而取所有网格图像清晰度的分位数值来表征全图清晰度,提高了对纹理分布不均匀的图像清晰度表征的准确度。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种图像质量评价方法,其特征在于,包括:
按照设定的第一像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱;
将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度;其中,所述权重矩阵的次对角线上以及所述次对角线上方的权重元素为0,所述次对角线下方的权重元素大于0且沿右下角方向增大;
根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。
2.根据权利要求1所述的方法,其特征在于,所述目标图像包括纯色区域和非纯色区域;所述方法还包括:
接收设定的所述分位数;其中,所述分位数用于从所述多个网格图像的清晰度中滤除隶属于所述纯色区域的清晰度,保留隶属于所述非纯色区域的清晰度。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收定义的所述权重矩阵;其中,所述权重矩阵的权重元素以主对角线为对称轴对应相等。
4.根据权利要求1所述的方法,其特征在于,所述对所述多个网格图像分别进行频域变换,得到相应的频域图谱,包括:
对所述多个网格图像分别进行离散余弦变换,之后对变换结果取绝对值,得到相应的频域图谱。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将原始图像输入预训练的神经网络模型,由所述神经网络模型从所述原始图像中截取设定的目标区域,得到中间图像;
将所述中间图像放缩至设定的第二像素数,生成所述目标图像;其中,所述目标图像的宽和高能被所述网格图像相应的宽和高整除。
6.根据权利要求5所述的方法,其特征在于,所述目标区域包括面部区域和全身区域;
所述由所述神经网络模型从所述原始图像中截取设定的目标区域,包括:
使用所述神经网络模型优先检测所述原始图像是否包含所述面部区域,如果所述原始图像包含所述面部区域,则确定所述面部区域在所述原始图像的第一位置,根据所述第一位置截取所述面部区域;
如果所述原始图像不包含所述面部区域,则进一步检测所述原始图像是否包含所述全身区域,并在所述原始图像包含所述全身区域的情况下,确定所述全身区域在所述原始图像的第二位置,根据所述第二位置截取所述全身区域。
7.根据权利要求1至6的任一项所述的方法,其特征在于,所述方法还包括:
将所述质量分数与设定的清晰度阈值进行比较,如果所述质量分数大于等于所述清晰度阈值,则判定所述目标图像为清晰图像;如果所述质量分数小于所述清晰度阈值,则判定所述目标图像为模糊图像;
返回所述目标图像的判定结果,并在所述目标图像判定为模糊图像的情况下,返回重传提示信息。
8.一种图像质量评价装置,其特征在于,包括:
频域变换模块,用于按照设定的像素数对目标图像进行网格划分,得到多个网格图像,之后对所述多个网格图像分别进行频域变换,得到相应的频域图谱;
加权平均模块,用于将多个所述频域图谱分别与设定的权重矩阵进行加权平均,得到相应网格图像的清晰度;其中,所述权重矩阵的次对角线上以及所述次对角线上方的权重元素为0,所述次对角线下方的权重元素大于0且沿右下角方向增大;
质量评价模块,用于根据设定的分位数,计算所述多个网格图像的清晰度的分位数值,将所述分位数值作为所述目标图像的质量分数,完成对所述目标图像的质量评价。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202111179952.0A 2021-10-11 2021-10-11 一种图像质量评价方法和装置 Pending CN113902706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111179952.0A CN113902706A (zh) 2021-10-11 2021-10-11 一种图像质量评价方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111179952.0A CN113902706A (zh) 2021-10-11 2021-10-11 一种图像质量评价方法和装置

Publications (1)

Publication Number Publication Date
CN113902706A true CN113902706A (zh) 2022-01-07

Family

ID=79191179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111179952.0A Pending CN113902706A (zh) 2021-10-11 2021-10-11 一种图像质量评价方法和装置

Country Status (1)

Country Link
CN (1) CN113902706A (zh)

Similar Documents

Publication Publication Date Title
CN110660066B (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
US9307221B1 (en) Settings of a digital camera for depth map refinement
KR101836071B1 (ko) 정보를 인식하기 위한 방법 및 시스템
CN109214337B (zh) 一种人群统计方法、装置、设备及计算机可读存储介质
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
CN108230333B (zh) 图像处理方法、装置、计算机程序、存储介质和电子设备
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN109711508B (zh) 图像处理方法和装置
CN111445058B (zh) 数据分析方法、装置、设备及计算机可读存储介质
WO2014070489A1 (en) Recursive conditional means image denoising
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
US11694331B2 (en) Capture and storage of magnified images
CN111915541B (zh) 基于人工智能的图像增强处理方法、装置、设备及介质
DE112016005482T5 (de) Objektdetektion mit adaptiven Kanalmerkmalen
CN109961060B (zh) 用于生成人群密度信息的方法和装置
CN112967191A (zh) 图像处理方法、装置、电子设备和存储介质
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN116310568A (zh) 图像异常的识别方法、装置、计算机可读存储介质及设备
CN113902706A (zh) 一种图像质量评价方法和装置
JP2012003358A (ja) 背景判別装置、方法及びプログラム
CN114708592B (zh) 图章密级的判断方法、装置、设备和计算机可读存储介质
CN114707560B (zh) 数据信号的处理方法及装置、存储介质、电子装置
CN112862726B (zh) 图像处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination