CN107123122A - 无参考图像质量评价方法及装置 - Google Patents
无参考图像质量评价方法及装置 Download PDFInfo
- Publication number
- CN107123122A CN107123122A CN201710291323.4A CN201710291323A CN107123122A CN 107123122 A CN107123122 A CN 107123122A CN 201710291323 A CN201710291323 A CN 201710291323A CN 107123122 A CN107123122 A CN 107123122A
- Authority
- CN
- China
- Prior art keywords
- distortion
- mass fraction
- type
- visually
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无参考图像质量评价方法及装置，该方法包括：划分该失真图像中该文本区域和该图像区域，分别提取该文本区域和该图像区域中的视觉感知特征，通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数，对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数，这样通过将文本区域和图像区域分开算出质量分数，每个均可以得到准确的质量分数，最后再拟合成整个图像的质量分数，可以有效的提高屏幕内容图像的质量评价的准确性。
Description
技术领域
本发明属于图像处理领域，尤其涉及一种无参考图像质量评价方法及装置。
背景技术
随着计算机和移动互联网技术的快速发展，多屏互动、视频游戏、远程教育等多客户端通信系统得到了飞速的发展。在这类系统中，各类终端之间可以相互通信，以实现屏幕内容图像(SCI，Screen Content Image)(终端设备绘制并显示在屏幕上的视觉内容，包括网页、邮件、地图、动画、文档和图像等)的分发和处理。在实时多客户端通信系统中，屏幕内容图像在获取、压缩和传输等环节均可能出现图像失真的情况，例如，屏幕内容图像的压缩处理会造成压缩失真，降低图像的视觉质量；在传输过程中，比特位错误会导致图像内容的随机丢失，进而造成图像失真。以上失真均会影响屏幕内容图像的画质，进而影响到用户体验。
现有技术中，解决图像失真的方法为屏幕内容图像的质量评价方法。图像质量评价从方法上可以分为主观评价方法和客观评价方法。客观评价方法中包含无参考方法(Noreference)。当前的无参考方法主是针对自然图像，自然图像仅包含图像信息，然而与自然图像相比，屏幕内容图像包含的多媒体形式更多，由于其多媒体形式的多样。例如，屏幕内容图像中文字和图片对于同一用户的视觉感知不同。如果对屏幕内容图像使用现有的无参考方法，会导致文字部分的质量评价不准确，进而造成整个屏幕内容图像的评价结果准确率不高。
发明内容
本发明提供一种无参考图像质量评价方法及装置，旨在解决因对屏幕内容图像使用现有的客观评价方法，造成整个屏幕内容图像的评价结果准确率低的问题。
本发明提供的一种无参考图像质量评价方法，包括：识别待评价的失真图像中文本区域和图像区域，并划分所述失真图像中所述文本区域和所述图像区域；分别提取所述文本区域和所述图像区域中的视觉感知特征；通过预置的分类机制对从所述文本区域中的所述视觉感知特征进行失真分类判别，得到所述文本区域的质量分数，以及，通过所述预置的分类机制对所述图像区域中的所述视觉感知特性进行失真分类判别，得到所述图像区域的质量分数；对所述文本区域的质量分数和所述图像区域的质量分数进行拟合，得到所述失真图像的质量分数。
本发明提供的一种无参考图像质量评价装置，包括：识别模块，用于识别待评价的失真图像中文本区域和图像区域，并划分所述失真图像中所述文本区域和所述图像区域；提取模块，用于分别提取所述文本区域和所述图像区域中的视觉感知特征；判别模块，用于通过预置的分类机制对从所述文本区域中的所述视觉感知特征进行失真分类判别，得到所述文本区域的质量分数，以及，通过所述预置的分类机制对所述图像区域中的所述视觉感知特性进行失真分类判别，得到所述图像区域的质量分数；拟合模块，用于对所述文本区域的质量分数和所述图像区域的质量分数进行拟合，得到所述失真图像的质量分数。
本发明提供的无参考图像质量评价方法及装置，识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域，分别提取该文本区域和该图像区域中的视觉感知特征，通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数，对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数，这样通过将文本区域和图像区域分开算出质量分数，每个均可以得到准确的质量分数，最后再拟合成整个图像的质量分数，可以有效的提高屏幕内容图像的质量评价的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1是本发明第一实施例提供的无参考图像质量评价方法的实现流程示意图；
图2是本发明第二实施例提供的无参考图像质量评价方法的实现流程示意图；
图3是本发明第三实施例提供的无参考图像质量评价装置的结构示意图；
图4是本发明第四实施例提供的无参考图像质量评价装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明第一实施例提供无参考图像质量评价方法的实现流程示意图，可应用于具有图像处理功能的电子设备中，如计算机，图1所示的无参考图像质量评价方法，主要包括以下步骤：
S101、识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域。
该待评价的失真图像为屏幕内容图像，即包含文本区域和图像区域的图像。通过文本检测和识别的算法可以获知该失真图像的文本区域，除了该文本区域之外的区域为图像区域，然后在该失真图像中划分出该文本区域和该图像区域。
S102、分别提取该文本区域和该图像区域中的视觉感知特征。
该文本区域和该图像区域提取的视觉感知特征为同一种感知特征。提取视觉感知特征的方式不做限定，可以通过深度学习方法，如深度神经网络、卷积神经网络、深度信念网络和递归神经网络，提取视觉感知特征。
S103、通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数。
采用机器学习方式预先设置分类机制，该预置的分类机制用于对提取的视觉感知特征的进行失真分类判别。本发明所使用的机器学习方式为支持向量机(SVM，SupportVector Machine)以及支持向量回归(SVR，Support VectorRegression)。
S104、对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数。
拟合的方式不做限定，可以通过深度学习方法对该文本区域的质量分数和该图像区域的质量分数进行拟合，也可以通过SVR算法对该文本区域的质量分数和该图像区域的质量分数进行拟合。
本发明实施例中，识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域，分别提取该文本区域和该图像区域中的视觉感知特征，通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数，对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数，这样通过将文本区域和图像区域分开算出质量分数，每个均可以得到准确的质量分数，最后再拟合成整个图像的质量分数，可以有效的提高屏幕内容图像的质量评价的准确性。
请参阅图2，图2为本发明第二实施例提供的无参考图像质量评价方法的实现流程示意图，可应用于具有图像处理功能的电子设备中，如计算机，图2所示的无参考图像质量评价方法，主要包括以下步骤：
S201、识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域。
该待评价的失真图像为屏幕内容图像，即包含文本区域和图像区域的图像。通过文本检测和识别的算法可以获知该失真图像的文本区域，除了该文本区域之外的区域为图像区域，然后在该失真图像中划分出该文本区域和该图像区域。
S202、分别提取该文本区域和该图像区域中的视觉感知特征。
该视觉感知特征为自然场景统计的感知特征。该文本区域和该图像区域提取的视觉感知特征为同一种感知特征。提取视觉感知特征的方式不做限定，可以通过深度学习方法，如深度神经网络、卷积神经网络、深度信念网络和递归神经网络，提取视觉感知特征。
S203、通过SVM算法和SVR算法，训练失真类型的分类模型，该失真类型的分类模型的预测结果为该失真类型的概率值。
S204、通过该SVM算法和该SVR算法，对每一类该失真类型的图像模型进行训练，得到该失真类型的质量分数模型，该失真类型的质量分数模型的预测结果为该失真类型的质量分数。
S205、将训练得到的该失真类型的分类模型以及该失真类型的质量分数模型作为预置的分类机制。
这里预先训练两种模型，一种为该失真类型的分类模型，另一种为该失真类型的质量分数模型。该失真类型的分类模型用于判别该视觉感知特征属于哪一种失真类型的分类模型，该失真类型的分类模型的预测结果不是具体属于哪一失真类型，而是与失真类型数同维度的特征向量，每个维度上的值就是预测属于该失真类型的概率值，换言之，该失真类型的分类模型的预测结果为该失真类型的概率值；通过按照该失真类型对每一类失真图像训练一个该失真类型的质量分数模型，该失真类型的质量分数模型用于预测属于该失真类型的质量分数值，其中该失真类型的数量与该失真类型的质量分数模型的数量相同。
S206、通过该预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数。
进一步地，该通过预置的分类机制对该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数具体为：
将该文本区域中的该视觉感知特征与该失真类型的分类模型相比较，得到该文本区域中的该视觉感知特征所属的第一失真类型的概率值；
以及，将该文本区域中的该视觉感知特征与该失真类型的质量分数模型相比较，得到该文本区域中的该视觉感知特征所属的该第一失真类型的质量分数值；
计算该第一失真类型的概率值和该第一失真类型的质量分数值之间的点积，算出该文本区域的质量分数。
该第一失真类型可以有一个或者多个，如果该第一失真类型有多个，则在计算点积运算时，每个该第一失真类型的概率值均与属于该第一失真类型的质量分数值进行点积运算，得到该文本区域的质量分数。
进一步地，该通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数具体为：
将该图像区域中的该视觉感知特征与该失真类型的分类模型相比较，得到该图像区域中的该视觉感知特征所属的第二失真类型的概率值；
以及，将该图像区域中的该视觉感知特征与该失真类型的质量分数模型相比较，得到该图像区域中的该视觉感知特征所属的该第二失真类型的质量分数值；
计算该第二失真类型的概率值和该第二失真类型的质量分数值之间的点积，算出该图像区域的质量分数。
该第二失真类型可以有一个或者多个，如果该第二失真类型有多个，则在计算点积运算时，每个该第二失真类型的概率值均与属于该第二失真类型的质量分数值进行点积运算，得到该图像区域的质量分数。
S207、对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数。
拟合的方式不做限定，可以通过深度学习方法对该文本区域的质量分数和该图像区域的质量分数进行拟合，也可以通过SVR算法对该文本区域的质量分数和该图像区域的质量分数进行拟合。
本发明实施例中，识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域，分别提取该文本区域和该图像区域中的视觉感知特征，通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数，对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数，这样通过将文本区域和图像区域分开算出质量分数，每个均可以得到准确的质量分数，最后再拟合成整个图像的质量分数，可以有效的提高屏幕内容图像的质量评价的准确性。
请参阅图3，图3是本发明第三实施例提供的无参考图像质量评价装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图3示例的无参考图像质量评价装置可以是前述图1和图2所示实施例提供的无参考图像质量评价方法的执行主体。图3示例的无参考图像质量评价装置，主要包括：识别模块301、提取模块302、判别模块303和拟合模块304。以上各功能模块详细说明如下：
识别模块301，用于识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域；
提取模块302，用于分别提取该文本区域和该图像区域中的视觉感知特征；
判别模块303，用于通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数；
拟合模块304，用于对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数。
该待评价的失真图像为屏幕内容图像，即包含文本区域和图像区域的图像。通过文本检测和识别的算法可以获知该失真图像的文本区域，除了该文本区域之外的区域为图像区域，然后在该失真图像中划分出该文本区域和该图像区域。
拟合的方式不做限定，可以通过深度学习方法对该文本区域的质量分数和该图像区域的质量分数进行拟合，也可以通过SVR算法对该文本区域的质量分数和该图像区域的质量分数进行拟合。
本实施例未尽之细节，请参阅前述图1所示实施例的描述，此处不再赘述。
需要说明的是，以上图3示例的无参考图像质量评价装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将上述装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。
本发明实施例中，识别模块301识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域，提取模块302分别提取该文本区域和该图像区域中的视觉感知特征，判别模块303通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数，拟合模块304对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数，这样通过将文本区域和图像区域分开算出质量分数，每个均可以得到准确的质量分数，最后再拟合成整个图像的质量分数，可以有效的提高屏幕内容图像的质量评价的准确性。
请参阅图4，图4为本发明第四实施例提供的无参考图像质量评价装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图4示例的无参考图像质量评价装置可以是前述图1和图2所示实施例提供的无参考图像质量评价方法的执行主体。图4示例的无参考图像质量评价装置，主要包括：识别模块401、提取模块402、训练模块403、判别模块404和拟合模块405，其中判别模块404包括：分类子模块4041和计算子模块4042。以上各功能模块详细说明如下：
识别模块401，用于识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域。
该待评价的失真图像为屏幕内容图像，即包含文本区域和图像区域的图像。识别模块401通过文本检测和识别的算法可以获知该失真图像的文本区域，除了该文本区域之外的区域为图像区域，然后在该失真图像中划分出该文本区域和该图像区域。
提取模块402，用于分别提取该文本区域和该图像区域中的视觉感知特征。
该视觉感知特征为自然场景统计的感知特征。该文本区域和该图像区域提取的视觉感知特征为同一种感知特征。提取模块402提取视觉感知特征的方式不做限定，提取模块402可以通过深度学习方法，如深度神经网络、卷积神经网络、深度信念网络和递归神经网络，提取视觉感知特征。
进一步地，该装置还包括：训练模块403；
训练模块403，用于通过支持向量机SVM算法和支持向量回归SVR算法，训练失真类型的分类模型，该失真类型的分类模型的预测结果为该失真类型的概率值；
训练模块403，还用于通过该SVM算法和该SVR算法，对每一类该失真类型的图像模型进行训练，得到该失真类型的质量分数模型，该失真类型的质量分数模型的预测结果为该失真类型的质量分数；
训练模块403，还用于将训练得到的所述失真类型的分类模型以及所述失真类型的质量分数模型作为所述预置的分类机制。
这里预先训练两种模型，一种为该失真类型的分类模型，另一种为该失真类型的质量分数模型。该失真类型的分类模型用于判别该视觉感知特征属于哪一种失真类型的分类模型，该失真类型的分类模型的预测结果不是具体属于哪一失真类型，而是与失真类型数同维度的特征向量，每个维度上的值就是预测属于该失真类型的概率值，换言之，该失真类型的分类模型的预测结果为该失真类型的概率值；训练模块403通过按照该失真类型对每一类失真图像训练一个该失真类型的质量分数模型，该失真类型的质量分数模型用于预测属于该失真类型的质量分数值，其中该失真类型的数量与该失真类型的质量分数模型的数量相同。
判别模块404，用于通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数。
进一步地，判别模块404包括：分类子模块4041和计算子模块4042；
分类子模块4041，用于将该文本区域中的该视觉感知特征与该失真类型的分类模型相比较，得到该文本区域中的该视觉感知特征所属的第一失真类型的概率值；
分类子模块4041，还用于将该文本区域中的该视觉感知特征与该失真类型的质量分数模型相比较，得到该文本区域中的该视觉感知特征所属的该第一失真类型的质量分数值；
计算子模块4042，用于计算该第一失真类型的概率值和该第一失真类型的质量分数值之间的点积，算出该文本区域的质量分数。
该第一失真类型可以有一个或者多个，如果该第一失真类型有多个，则计算子模块4042在计算点积运算时，每个该第一失真类型的概率值均与属于该第一失真类型的质量分数值进行点积运算，得到该文本区域的质量分数。
分类子模块4041，还用于将该图像区域中的该视觉感知特征与该失真类型的分类模型相比较，得到该图像区域中的该视觉感知特征所属的第二失真类型的概率值；
分类子模块4041，还用于将该图像区域中的该视觉感知特征与该失真类型的质量分数模型相比较，得到该图像区域中的该视觉感知特征所属的该第二失真类型的质量分数值；
计算子模块4042，还用于计算该第二失真类型的概率值和该第二失真类型的质量分数值之间的点积，算出该图像区域的质量分数。
该第二失真类型可以有一个或者多个，如果该第二失真类型有多个，则计算子模块4042在计算点积运算时，每个该第二失真类型的概率值均与属于该第二失真类型的质量分数值进行点积运算，得到该图像区域的质量分数。
拟合模块405，用于对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数。
拟合的方式不做限定，拟合模块405可以通过深度学习方法对该文本区域的质量分数和该图像区域的质量分数进行拟合，拟合模块405也可以通过SVR算法对该文本区域的质量分数和该图像区域的质量分数进行拟合。
本实施例未尽之细节，请参阅前述图1和图2所示实施例的描述，此处不再赘述。
本发明实施例中，识别模块401识别待评价的失真图像中文本区域和图像区域，并划分该失真图像中该文本区域和该图像区域，提取模块402分别提取该文本区域和该图像区域中的视觉感知特征，判别模块403通过预置的分类机制对从该文本区域中的该视觉感知特征进行失真分类判别，得到该文本区域的质量分数，以及，通过该预置的分类机制对该图像区域中的该视觉感知特性进行失真分类判别，得到该图像区域的质量分数，拟合模块404对该文本区域的质量分数和该图像区域的质量分数进行拟合，得到该失真图像的质量分数，这样通过将文本区域和图像区域分开算出质量分数，每个均可以得到准确的质量分数，最后再拟合成整个图像的质量分数，可以有效的提高屏幕内容图像的质量评价的准确性。
在本申请所提供的多个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，装置或模块的间接耦合或通信链接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的无参考图像质量评价方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种无参考图像质量评价方法，其特征在于，包括：
识别待评价的失真图像中文本区域和图像区域，并划分所述失真图像中所述文本区域和所述图像区域；
分别提取所述文本区域和所述图像区域中的视觉感知特征；
通过预置的分类机制对从所述文本区域中的所述视觉感知特征进行失真分类判别，得到所述文本区域的质量分数，以及，通过所述预置的分类机制对所述图像区域中的所述视觉感知特性进行失真分类判别，得到所述图像区域的质量分数；
对所述文本区域的质量分数和所述图像区域的质量分数进行拟合，得到所述失真图像的质量分数。
2.根据权利要求1所述的方法，其特征在于，所述通过预置的分类机制对从所述文本区域中的所述视觉感知特征进行失真分类判别，得到所述文本区域的质量分数，以及，通过所述预置的分类机制对所述图像区域中的所述视觉感知特性进行失真分类判别，得到所述图像区域的质量分数之前还包括：
通过支持向量机SVM算法和支持向量回归SVR算法，训练失真类型的分类模型，所述失真类型的分类模型的预测结果为所述失真类型的概率值；
以及，通过所述SVM算法和所述SVR算法，对每一类所述失真类型的图像模型进行训练，得到所述失真类型的质量分数模型，所述失真类型的质量分数模型的预测结果为所述失真类型的质量分数；
将训练得到的所述失真类型的分类模型以及所述失真类型的质量分数模型作为所述预置的分类机制。
3.根据权利要求2所述的方法，其特征在于，所述通过预置的分类机制对所述文本区域中的所述视觉感知特征进行失真分类判别，得到所述文本区域的质量分数包括：
将所述文本区域中的所述视觉感知特征与所述失真类型的分类模型相比较，得到所述文本区域中的所述视觉感知特征所属的第一失真类型的概率值；
以及，将所述文本区域中的所述视觉感知特征与所述失真类型的质量分数模型相比较，得到所述文本区域中的所述视觉感知特征所属的所述第一失真类型的质量分数值；
计算所述第一失真类型的概率值和所述第一失真类型的质量分数值之间的点积，算出所述文本区域的质量分数。
4.根据权利要求3所述的方法，其特征在于，所述通过所述预置的分类机制对所述图像区域中的所述视觉感知特性进行失真分类判别，得到所述图像区域的质量分数包括：
将所述图像区域中的所述视觉感知特征与所述失真类型的分类模型相比较，得到所述图像区域中的所述视觉感知特征所属的第二失真类型的概率值；
以及，将所述图像区域中的所述视觉感知特征与所述失真类型的质量分数模型相比较，得到所述图像区域中的所述视觉感知特征所属的所述第二失真类型的质量分数值；
计算所述第二失真类型的概率值和所述第二失真类型的质量分数值之间的点积，算出所述图像区域的质量分数。
5.根据权利要求1-4任一项所述的方法，其特征在于，
所述视觉感知特征为:自然场景统计的感知特征。
6.一种无参考图像质量评价装置，其特征在于，所述装置包括：
识别模块，用于识别待评价的失真图像中文本区域和图像区域，并划分所述失真图像中所述文本区域和所述图像区域；
提取模块，用于分别提取所述文本区域和所述图像区域中的视觉感知特征；
判别模块，用于通过预置的分类机制对从所述文本区域中的所述视觉感知特征进行失真分类判别，得到所述文本区域的质量分数，以及，通过所述预置的分类机制对所述图像区域中的所述视觉感知特性进行失真分类判别，得到所述图像区域的质量分数；
拟合模块，用于对所述文本区域的质量分数和所述图像区域的质量分数进行拟合，得到所述失真图像的质量分数。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
训练模块，用于通过SVM算法和SVR算法，训练失真类型的分类模型，所述失真类型的分类模型的预测结果为所述失真类型的概率值；
所述训练模块，还用于通过所述SVM和所述SVR，对每一类所述失真类型的图像模型进行训练，得到所述失真类型的质量分数模型，所述失真类型的质量分数模型的预测结果为所述失真类型的质量分数；
所述训练模块，还用于将训练得到的所述失真类型的分类模型以及所述失真类型的质量分数模型作为所述预置的分类机制。
8.根据权利要求7所述的装置，其特征在于，所述判别模块包括：
分类子模块，用于将所述文本区域中的所述视觉感知特征与所述失真类型的分类模型相比较，得到所述文本区域中的所述视觉感知特征所属的第一失真类型的概率值；
所述分类子模块，还用于将所述文本区域中的所述视觉感知特征与所述失真类型的质量分数模型相比较，得到所述文本区域中的所述视觉感知特征所属的所述第一失真类型的质量分数值；
计算子模块，用于计算所述第一失真类型的概率值和所述第一失真类型的质量分数值之间的点积，算出所述文本区域的质量分数。
9.根据权利要求8所述的装置，其特征在于，
所述分类子模块，还用于将所述图像区域中的所述视觉感知特征与所述失真类型的分类模型相比较，得到所述图像区域中的所述视觉感知特征所属的第二失真类型的概率值；
所述分类子模块，还用于将所述图像区域中的所述视觉感知特征与所述失真类型的质量分数模型相比较，得到所述图像区域中的所述视觉感知特征所属的所述第二失真类型的质量分数值；
所述计算子模块，还用于计算所述第二失真类型的概率值和所述第二失真类型的质量分数值之间的点积，算出所述图像区域的质量分数。
10.根据权利要求6-9任一项所述的装置，其特征在于，
所述视觉感知特征为:自然场景统计的感知特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710291323.4A CN107123122B (zh) | 2017-04-28 | 2017-04-28 | 无参考图像质量评价方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710291323.4A CN107123122B (zh) | 2017-04-28 | 2017-04-28 | 无参考图像质量评价方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107123122A true CN107123122A (zh) | 2017-09-01 |
| CN107123122B CN107123122B (zh) | 2020-06-12 |
Family
ID=59726012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710291323.4A Expired - Fee Related CN107123122B (zh) | 2017-04-28 | 2017-04-28 | 无参考图像质量评价方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107123122B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090902A (zh) * | 2017-12-30 | 2018-05-29 | 中国传媒大学 | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 |
| CN108596906A (zh) * | 2018-05-10 | 2018-09-28 | 嘉兴学院 | 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法 |
| WO2019057067A1 (zh) * | 2017-09-20 | 2019-03-28 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
| CN109978854A (zh) * | 2019-03-25 | 2019-07-05 | 福州大学 | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 |
| CN110827261A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 图像质量检测方法及装置、存储介质及电子设备 |
| CN111368837A (zh) * | 2018-12-25 | 2020-07-03 | 中移（杭州）信息技术有限公司 | 一种图像质量评价方法、装置、电子设备及存储介质 |
| CN111583213A (zh) * | 2020-04-29 | 2020-08-25 | 西安交通大学 | 一种基于深度学习和无参考质量评价的图像生成方法 |
| CN112287898A (zh) * | 2020-11-26 | 2021-01-29 | 深源恒际科技有限公司 | 一种图像的文本检测质量评价方法及系统 |
| CN113222985A (zh) * | 2021-06-04 | 2021-08-06 | 中国人民解放军总医院 | 一种图像处理方法、装置、计算机设备和介质 |
| CN113506260A (zh) * | 2021-07-05 | 2021-10-15 | 北京房江湖科技有限公司 | 一种人脸图像质量评估方法、装置、电子设备及存储介质 |
| CN113610862A (zh) * | 2021-07-22 | 2021-11-05 | 东华理工大学 | 一种屏幕内容图像质量评估方法 |
| CN114067006A (zh) * | 2022-01-17 | 2022-02-18 | 湖南工商大学 | 一种基于离散余弦变换的屏幕内容图像质量评价方法 |
| WO2023138590A1 (zh) * | 2022-01-20 | 2023-07-27 | 百果园技术(新加坡)有限公司 | 无参考的视频质量确定方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103200421A (zh) * | 2013-04-07 | 2013-07-10 | 北京理工大学 | 一种基于Curvelet变换和相位一致的无参考图像质量评价方法 |
| CN103475898A (zh) * | 2013-09-16 | 2013-12-25 | 北京理工大学 | 一种基于信息熵特征的无参考图像质量评价方法 |
| CN105007488A (zh) * | 2015-07-06 | 2015-10-28 | 浙江理工大学 | 基于变换域和空间域的通用无参考图像质量评价方法 |
| CN105338343A (zh) * | 2015-10-20 | 2016-02-17 | 北京理工大学 | 一种基于双目感知的无参考立体图像质量评价方法 |
| CN106127741A (zh) * | 2016-06-17 | 2016-11-16 | 西安电子科技大学 | 基于改良自然场景统计模型的无参考图像质量评价方法 |
-
2017
- 2017-04-28 CN CN201710291323.4A patent/CN107123122B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103200421A (zh) * | 2013-04-07 | 2013-07-10 | 北京理工大学 | 一种基于Curvelet变换和相位一致的无参考图像质量评价方法 |
| CN103475898A (zh) * | 2013-09-16 | 2013-12-25 | 北京理工大学 | 一种基于信息熵特征的无参考图像质量评价方法 |
| CN105007488A (zh) * | 2015-07-06 | 2015-10-28 | 浙江理工大学 | 基于变换域和空间域的通用无参考图像质量评价方法 |
| CN105338343A (zh) * | 2015-10-20 | 2016-02-17 | 北京理工大学 | 一种基于双目感知的无参考立体图像质量评价方法 |
| CN106127741A (zh) * | 2016-06-17 | 2016-11-16 | 西安电子科技大学 | 基于改良自然场景统计模型的无参考图像质量评价方法 |
Non-Patent Citations (3)
| Title |
|---|
| HUAN YANG 等: "Perceptual Quality Assessment of Screen Content Images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| LIXIONG LIU 等: "No-reference image quality assessment based on spatial and spectral entropies", 《SIGNAL PROCESSING：IMAGE COMMUNICATION》 * |
| YUMING FANG 等: "Objective Quality Assessment of Screen Content Images by Uncertainty Weighting", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019057067A1 (zh) * | 2017-09-20 | 2019-03-28 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
| CN108090902A (zh) * | 2017-12-30 | 2018-05-29 | 中国传媒大学 | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 |
| CN108090902B (zh) * | 2017-12-30 | 2021-12-31 | 中国传媒大学 | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 |
| CN108596906A (zh) * | 2018-05-10 | 2018-09-28 | 嘉兴学院 | 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法 |
| CN108596906B (zh) * | 2018-05-10 | 2021-10-29 | 嘉兴学院 | 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法 |
| CN111368837A (zh) * | 2018-12-25 | 2020-07-03 | 中移（杭州）信息技术有限公司 | 一种图像质量评价方法、装置、电子设备及存储介质 |
| CN111368837B (zh) * | 2018-12-25 | 2023-12-05 | 中移（杭州）信息技术有限公司 | 一种图像质量评价方法、装置、电子设备及存储介质 |
| CN109978854A (zh) * | 2019-03-25 | 2019-07-05 | 福州大学 | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 |
| CN109978854B (zh) * | 2019-03-25 | 2022-07-08 | 福州大学 | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 |
| CN110827261A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 图像质量检测方法及装置、存储介质及电子设备 |
| CN111583213A (zh) * | 2020-04-29 | 2020-08-25 | 西安交通大学 | 一种基于深度学习和无参考质量评价的图像生成方法 |
| CN111583213B (zh) * | 2020-04-29 | 2022-06-07 | 西安交通大学 | 一种基于深度学习和无参考质量评价的图像生成方法 |
| CN112287898A (zh) * | 2020-11-26 | 2021-01-29 | 深源恒际科技有限公司 | 一种图像的文本检测质量评价方法及系统 |
| CN113222985A (zh) * | 2021-06-04 | 2021-08-06 | 中国人民解放军总医院 | 一种图像处理方法、装置、计算机设备和介质 |
| CN113222985B (zh) * | 2021-06-04 | 2022-01-21 | 中国人民解放军总医院 | 一种图像处理方法、装置、计算机设备和介质 |
| CN113506260A (zh) * | 2021-07-05 | 2021-10-15 | 北京房江湖科技有限公司 | 一种人脸图像质量评估方法、装置、电子设备及存储介质 |
| CN113506260B (zh) * | 2021-07-05 | 2023-08-29 | 贝壳找房(北京)科技有限公司 | 一种人脸图像质量评估方法、装置、电子设备及存储介质 |
| CN113610862A (zh) * | 2021-07-22 | 2021-11-05 | 东华理工大学 | 一种屏幕内容图像质量评估方法 |
| CN113610862B (zh) * | 2021-07-22 | 2023-08-01 | 东华理工大学 | 一种屏幕内容图像质量评估方法 |
| CN114067006A (zh) * | 2022-01-17 | 2022-02-18 | 湖南工商大学 | 一种基于离散余弦变换的屏幕内容图像质量评价方法 |
| CN114067006B (zh) * | 2022-01-17 | 2022-04-08 | 湖南工商大学 | 一种基于离散余弦变换的屏幕内容图像质量评价方法 |
| WO2023138590A1 (zh) * | 2022-01-20 | 2023-07-27 | 百果园技术(新加坡)有限公司 | 无参考的视频质量确定方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107123122B (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123122A (zh) | 无参考图像质量评价方法及装置 | |
| CN109344736B (zh) | 一种基于联合学习的静态图像人群计数方法 | |
| CN107027023B (zh) | 基于神经网络的VoIP无参考视频通信质量客观评价方法 | |
| CN107480725A (zh) | 基于深度学习的图像识别方法、装置和计算机设备 | |
| CN104023230B (zh) | 一种基于梯度关联性的无参考图像质量评价方法 | |
| CN106127741B (zh) | 基于改良自然场景统计模型的无参考图像质量评价方法 | |
| CN105608456B (zh) | 一种基于全卷积网络的多方向文本检测方法 | |
| CN108875067A (zh) | 文本数据分类方法、装置、设备及存储介质 | |
| CN106951825A (zh) | 一种人脸图像质量评估系统以及实现方法 | |
| CN105139004A (zh) | 基于视频序列的人脸表情识别方法 | |
| CN103310235B (zh) | 一种基于参数识别与估计的隐写分析方法 | |
| CN107688819A (zh) | 车辆的识别方法及装置 | |
| CN110097451B (zh) | 一种银行业务的监控方法及装置 | |
| CN107945003A (zh) | 信用评估方法及装置 | |
| CN104902268B (zh) | 基于局部三元模式的无参考立体图像客观质量评价方法 | |
| CN109740609A (zh) | 一种轨距检测方法及装置 | |
| CN104268590A (zh) | 基于互补性组合特征与多相回归的盲图像质量评价方法 | |
| CN103310227A (zh) | 基于神经网络的自动窗宽窗位提取方法 | |
| CN104156717A (zh) | 基于图像处理技术的驾驶员驾车打电话违章识别方法 | |
| CN110136153A (zh) | 一种图像处理方法、设备及存储介质 | |
| CN109614990A (zh) | 一种目标检测装置 | |
| CN112686388A (zh) | 一种在联邦学习场景下的数据集划分方法及系统 | |
| CN107360577A (zh) | 一种基于机器学习的频谱感知方法及装置 | |
| CN109840905A (zh) | 电力设备锈迹检测方法及系统 | |
| CN104834990B (zh) | 旅客信息化编码的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200612 Termination date: 20210428 |