CN114926461A - 一种全盲屏幕内容图像质量评价方法 - Google Patents

一种全盲屏幕内容图像质量评价方法 Download PDF

Info

Publication number
CN114926461A
CN114926461A CN202210846434.8A CN202210846434A CN114926461A CN 114926461 A CN114926461 A CN 114926461A CN 202210846434 A CN202210846434 A CN 202210846434A CN 114926461 A CN114926461 A CN 114926461A
Authority
CN
China
Prior art keywords
image
feature
representing
characteristic
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210846434.8A
Other languages
English (en)
Inventor
石彪
符静
杨俊丰
刘利枚
胡双林
鲁晓海
曹文治
余海航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202210846434.8A priority Critical patent/CN114926461A/zh
Publication of CN114926461A publication Critical patent/CN114926461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全盲屏幕内容图像质量评价方法，包括：将失真屏幕内容图像进行分割，得到文字图像和自然图像；根据文字图像得到文字特征；将自然图像进行色彩空间转换，分离出彩色分量和灰度分量；基于彩色分量得到自然图像彩色分量特征；基于灰度分量得到自然图像灰度分量特征；根据文字特征、自然图像彩色分量特征以及自然图像灰度分量特征，得到图像特征向量；将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。这种方法能够在不丢失数据一致性的前提下对屏幕内容图像质量进行评价。

Description

一种全盲屏幕内容图像质量评价方法
技术领域
本发明涉及屏幕内容图像质量评价技术领域，具体涉及一种全盲屏幕内容图像质量评价方法。
背景技术
在图像采集、传输、压缩、恢复、增强等应用场景中，能够准确评判图像经处理后的失真程度，定量评估图像的感知质量在现代图像处理和计算视觉研究中具有重要意义。在参考图像无法获取的实际情况中，如何针对图文俱存的屏幕内容图像进行盲图像质量评价是当前研究热点。现有屏幕内容图像质量评价方法大多不区分文字部分与自然图像部分，但相比于一般图像，屏幕内容图像有更多的线条和快速变化的边缘，文字部分与自然图像部分的特征差异较大；且现有的图像质量评价方法往往将彩色图像灰度化提取特征，这可能导致数据一致性丢失，不能完全反映不同类型的失真图像或不同失真程度的图像。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的缺陷，从而提供一种全盲屏幕内容图像质量评价方法。
本发明提供了一种全盲屏幕内容图像质量评价方法，包括步骤：
S1：将失真屏幕内容图像进行分割，得到文字图像和自然图像；
S2：根据文字图像得到文字特征；
S3：将自然图像进行色彩空间转换，分离出彩色分量和灰度分量；
S4：基于彩色分量得到自然图像彩色分量特征；基于灰度分量得到自然图像灰度分量特征；
S5：根据文字特征、自然图像彩色分量特征以及自然图像灰度分量特征，得到图像特征向量；采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；
S6：将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。
优选的，S1中，在失真屏幕内容图像中，采用文字识别技术定位文字区域，并引入亮暗补偿函数以及局部统计灰度模式，分离出文字图像，分离后剩余的失真屏幕内容图像即为自然图像；
亮暗补偿函数表示为：
Figure 100002_DEST_PATH_IMAGE001
Figure 670706DEST_PATH_IMAGE002
其中，T’(x,y)表示亮暗补偿函数；f(x,y)表示阈值像素点灰度值；t ’ xy 表示计算阈值；m ’ xy 表示以像素点（x，y）为中心的局部领域内所有像素点灰度值的高斯加权平均值；
Figure 100002_DEST_PATH_IMAGE003
；
Figure 493037DEST_PATH_IMAGE004
表示以像素点（x，y）为中心的局部领域的亮暗补偿函数，a表示亮暗补偿系数，𝑚𝑥𝑦表示局部领域内像素点灰度值均值。
优选的，S2中，文字特征包括梯度特征和局部二值模式直方图特征；
选用Sobel滤波器对文本图像进行卷积，得到梯度特征；计算公式为：
Figure 586895DEST_PATH_IMAGE005
其中，
Figure 573830DEST_PATH_IMAGE006
表示文本图像在位置索引i处的梯度特征；*表示卷积运算，R表示图像像素值，h x 表示Sobel滤波器的水平方向模板，h y 表示Sobel滤波器的垂直方向模板，且定义如下：
Figure 100002_DEST_PATH_IMAGE007
；
选取文字区域中一像素点（x c ，y c ），将像素点（x c ，y c ）的灰度值与其相邻的8个像素点的灰度值进行比较，得到二进制数，将二进制数换算为十进制数，将十进制数作为局部二值模式算子，局部二值模式算子记为：
Figure 776141DEST_PATH_IMAGE008
Figure 621737DEST_PATH_IMAGE009
其中，LBP(x c ,y c )表示像素点（x c ，y c ）的局部二值模式算子；x=i n -i c ；n=8；i n 表示与像素点（x c ，y c ）相邻的8个像素点的灰度值；i c 表示像素点（x c ，y c ）的灰度值；
根据所述局部二值模式算子得到特征位数，根据所述特征维数得到所述局部二值模式直方图特征，所述局部二值模式直方图特征记为：
Figure 819369DEST_PATH_IMAGE010
其中，u为256。
优选的，S3中，将自然图像进行色彩空间转换，由RGB色彩空间转换为Lαβ色彩空间，并引入色度信息，通过Lαβ色彩空间分离出自然图像的彩色分量和灰度分量；Lαβ色彩空间包括L通道、α通道以及β通道；α通道为黄-蓝通道，β通道为红-绿通道，根据α通道、β通道得到彩色分量；L通道包括自然图像的亮度信息；根据L通道得到灰度分量。
优选的，由RGB色彩空间转换为Lαβ色彩空间的过程为：
由RGB色彩空间转换为LMS色彩空间，转换公式为：
Figure 100002_DEST_PATH_IMAGE011
；
将所述LMS色彩空间转换为对数空间，计算公式为：
Figure 256167DEST_PATH_IMAGE012
；
进而根据对数空间得到Lαβ色彩空间，计算公式为：
Figure 100002_DEST_PATH_IMAGE013
。
优选的，S4中，通过彩色分量得到彩色图像，基于彩色图像，并根据α通道以及β通道，得到自然图像彩色分量特征；
通过灰度分量得到灰度图，基于灰度图，并根据L通道得到自然图像灰度分量特征。
优选的，S4中，自然图像彩色分量特征包括左方差特征、右方差特征、形状参数特征、峰度特征以及偏度特征；
对α通道、β通道进行非对称广义高斯分布拟合，表达式为：
Figure 742512DEST_PATH_IMAGE014
Figure 100002_DEST_PATH_IMAGE015
其中，x表示函数输入，包括α通道、β通道像素信息；
Figure 784942DEST_PATH_IMAGE016
表示形状参数特征；
Figure 102660DEST_PATH_IMAGE017
表示左方差特征；
Figure 179200DEST_PATH_IMAGE018
表示右方差特征；
通过表达式提取出左方差特征、右方差特征以及形状参数特征；
然后根据左方差特征以及右方差特征，计算自然图像彩色分量的峰度特征和偏度特征，峰度特征与偏度特征的表达式分别为：
Figure 480737DEST_PATH_IMAGE019
Figure 668136DEST_PATH_IMAGE020
其中，Kurtosi表示峰度特征；Skewness表示偏度特征；x i 代表通道像素信息，n代表通道信息范围，σ表示方差特征，当x i 为正时σ取左方差特征，当x i 为负时σ取右方差特征；λ代表x i 处像素的均值，具体计算如下：
Figure 840360DEST_PATH_IMAGE021
其中M,N分别为灰度图像的行和列；f(i,j)表示阈值像素点灰度值；
组合形状参数特征、左方差特征、右方差特征、峰度特征以及偏度特征，得到自然图像彩色分量特征；自然图像彩色分量特征记为：
Figure 353381DEST_PATH_IMAGE022
其中，Colorfulness表示自然图像彩色分量特征；
Figure 71109DEST_PATH_IMAGE016
表示形状参数特征；
Figure 983570DEST_PATH_IMAGE017
表示左方差特征；
Figure 88929DEST_PATH_IMAGE018
表示右方差特征；Kurtosi表示峰度特征；Skewness表示偏度特征。
优选的，S4中，自然图像灰度分量特征包括亮度统计特征和滤波器响应特征；
采用非对称广义高斯分布模型对于自然图像的亮度信息进行处理，得到亮度统计特征；计算公式为：
Figure 507272DEST_PATH_IMAGE023
Figure 252243DEST_PATH_IMAGE024
Figure 47024DEST_PATH_IMAGE025
其中，
Figure 193840DEST_PATH_IMAGE026
表示空间坐标i和j处的亮度统计特征；i和j为空间坐标；
Figure 100002_DEST_PATH_IMAGE027
表示灰度分量的平均值；
Figure 379490DEST_PATH_IMAGE028
表示灰度分量的标准差；
Figure 100002_DEST_PATH_IMAGE029
表示中心对称的高斯加权滤波窗口；k和l分别表示高斯函数的窗口范围；K=L=3；
灰度图包括统计数据；采用log-Gabor滤波器对统计数据进行响应；计算公式为：
Figure 283861DEST_PATH_IMAGE030
其中，
Figure 100002_DEST_PATH_IMAGE031
表示频率为ω以及方向角为θ时的滤波器响应特征；其中,
Figure 521813DEST_PATH_IMAGE032
是方向角，j表示空间坐标，J是方向数，
Figure 100002_DEST_PATH_IMAGE033
表示中心频率；
Figure 604694DEST_PATH_IMAGE034
为控制滤波器的径向带宽；
Figure 100002_DEST_PATH_IMAGE035
表示决定滤波器的角带宽；
组合亮度统计特征和滤波器响应特征，得到自然图像灰度分量特征。
优选的，S5中，根据梯度特征、局部二值模式直方图特征、形状参数特征、左方差特征、右方差特征、峰度特征、偏度特征、亮度统计特征以及滤波器响应特征，得到图像特征向量；图像特征向量记为：
Figure 817369DEST_PATH_IMAGE036
其中，feature表示图像特征向量；
Figure 100002_DEST_PATH_IMAGE037
表示梯度特征；
Figure 536933DEST_PATH_IMAGE038
表示局部二值模式直方图特征；
Figure 939095DEST_PATH_IMAGE016
表示形状参数特征；
Figure 100002_DEST_PATH_IMAGE039
表示左方差特征；
Figure 201449DEST_PATH_IMAGE040
表示右方差特征；Kurtosi表示峰度特征；Skewness表示偏度特征；
Figure 100002_DEST_PATH_IMAGE041
表示亮度统计特征；
Figure 915852DEST_PATH_IMAGE042
表示滤波器响应特征；
采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型。
优选的，训练随机森林模型的过程为：
步骤1：设置一个训练集，训练集中每个样本具有p维特征；
步骤2：采用自展法从训练集中抽取大小为a的数据集；
步骤3：在数据集中从p维特征中随机选择d维特征，通过决策树模型学习得到一颗决策树；
步骤4：重复执行步骤2、步骤3直至得到M棵决策树；输出训练完成的随机森林模型，记为：
Figure 607864DEST_PATH_IMAGE043
，其中，m表示决策树的序列，
Figure 668DEST_PATH_IMAGE044
表示第m棵决策树，x’表示输入的特征。
本发明技术方案，具有如下优点：通过本发明提供的这种全盲屏幕内容图像质量评价方法能够在不丢失数据一致性的前提下对屏幕内容图像质量进行评价。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施中一种全盲屏幕内容图像质量评价方法的流程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
如图1所示，本实施里提供了一种全盲屏幕内容图像质量评价方法，包括：
S1：将失真屏幕内容图像进行分割，得到文字图像和自然图像；
具体的，在失真屏幕内容图像中，采用文字识别技术定位文字区域，并引入亮暗补偿函数以及局部统计灰度模式，分离出文字图像，分离后剩余的失真屏幕内容图像即为自然图像；
亮暗补偿函数表示为：
Figure 851950DEST_PATH_IMAGE001
Figure 281794DEST_PATH_IMAGE002
其中，T’(x,y)表示亮暗补偿函数；f(x,y)表示阈值像素点灰度值；t ’ xy 表示计算阈值；m ’ xy 表示以像素点（x，y）为中心的局部领域内所有像素点灰度值的高斯加权平均值；
Figure 975949DEST_PATH_IMAGE045
；
Figure 454335DEST_PATH_IMAGE046
表示以像素点（x，y）为中心的局部领域的亮暗补偿函数，a表示亮暗补偿系数，𝑚𝑥𝑦表示局部领域内像素点灰度值均值。
S2：根据文字图像得到文字特征；
具体的，文字特征包括梯度特征和局部二值模式直方图特征；
选用Sobel滤波器对文本图像进行卷积，得到梯度特征；计算公式为：
Figure 237088DEST_PATH_IMAGE005
其中，
Figure 41096DEST_PATH_IMAGE047
表示文本图像在位置索引i处的梯度特征；*表示卷积运算，R表示图像像素值，h x 表示Sobel滤波器的水平方向模板，h y 表示Sobel滤波器的垂直方向模板，且定义如下：
Figure 691389DEST_PATH_IMAGE048
；
选取文字区域中一像素点（x c ，y c ），将像素点（x c ，y c ）的灰度值与其相邻的8个像素点的灰度值进行比较，得到二进制数，将二进制数换算为十进制数，将十进制数作为局部二值模式算子，局部二值模式算子记为：
Figure 301362DEST_PATH_IMAGE008
Figure 737023DEST_PATH_IMAGE009
其中，LBP(x c ,y c )表示像素点（x c ，y c ）的局部二值模式算子；x=i n -i c ；n=8；i n 表示与像素点（x c ，y c ）相邻的8个像素点的灰度值；i c 表示像素点（x c ，y c ）的灰度值；
根据局部二值模式算子得到特征位数，根据特征维数得到局部二值模式直方图特征，局部二值模式直方图特征（LBP直方图特征）记为：
Figure 898883DEST_PATH_IMAGE010
其中，u为256。
S3：将自然图像进行色彩空间转换，分离出彩色分量和灰度分量；
具体的，将自然图像进行色彩空间转换，由RGB色彩空间转换为Lαβ色彩空间，并引入色度信息，通过Lαβ色彩空间分离出自然图像的彩色分量和灰度分量；Lαβ色彩空间包括L通道、α通道以及β通道；α通道为黄-蓝通道，β通道为红-绿通道，根据α通道、β通道得到彩色分量；L通道包括自然图像的亮度信息；根据L通道得到灰度分量。
其中，由RGB色彩空间转换为Lαβ色彩空间的过程为：
由RGB色彩空间转换为LMS色彩空间，转换公式为：
Figure 52784DEST_PATH_IMAGE049
；
将所述LMS色彩空间转换为对数空间，计算公式为：
Figure 200868DEST_PATH_IMAGE050
；
在本实施里中，该对数空间是以10为底的对数空间；
进而根据对数空间得到Lαβ色彩空间，计算公式为：
Figure 5882DEST_PATH_IMAGE051
。
S4：基于彩色分量得到自然图像彩色分量特征；基于灰度分量得到自然图像灰度分量特征；
具体的，通过彩色分量得到彩色图像，基于彩色图像，并根据α通道以及β通道，得到自然图像彩色分量特征。
Lαβ色彩空间不仅包含了 RGB、CMYK 的所有色域，还能表现它们不能表现的色彩。同时Lαβ色彩空间的各通道具有最小的相关性，在该颜色空间，亮度和色度信息进行了最大限度的分离，可以分别处理而不相互影响，因此我们对Lαβ色彩空间下的图像进行彩色特征提取，得到自然图像彩色分量特征；
自然图像彩色分量特征包括左方差特征、右方差特征、形状参数特征、峰度特征以及偏度特征；
对α通道、β通道进行非对称广义高斯分布拟合，表达式为：
Figure 89376DEST_PATH_IMAGE014
Figure 982770DEST_PATH_IMAGE015
其中，x表示函数输入，包括α通道、β通道像素信息；
Figure 934545DEST_PATH_IMAGE016
表示形状参数特征；
Figure 344798DEST_PATH_IMAGE039
表示左方差特征；
Figure 848461DEST_PATH_IMAGE040
表示右方差特征；
通过表达式提取出左方差特征、右方差特征以及形状参数特征；
然后根据左方差特征以及右方差特征，计算自然图像彩色分量的峰度特征和偏度特征，峰度特征与偏度特征的表达式分别为：
Figure 711374DEST_PATH_IMAGE019
Figure 388212DEST_PATH_IMAGE020
其中，Kurtosi表示峰度特征；Skewness表示偏度特征；x i 代表通道像素信息，n代表通道信息范围，σ表示方差特征，当x i 为正时σ取左方差特征，当x i 为负时σ取右方差特征；λ代表x i 处像素的均值，具体计算如下：
Figure 980868DEST_PATH_IMAGE021
其中M,N分别为灰度图像的行和列；f(i,j)表示阈值像素点灰度值；
组合形状参数特征、左方差特征、右方差特征、峰度特征以及偏度特征，得到自然图像彩色分量特征；自然图像彩色分量特征记为：
Figure 202901DEST_PATH_IMAGE022
其中，Colorfulness表示自然图像彩色分量特征；
Figure 5641DEST_PATH_IMAGE016
表示形状参数特征；
Figure 236902DEST_PATH_IMAGE039
表示左方差特征；
Figure 684064DEST_PATH_IMAGE040
表示右方差特征；Kurtosi表示峰度特征；Skewness表示偏度特征。
通过灰度分量得到灰度图，基于灰度图，并根据L通道得到自然图像灰度分量特征；
自然图像灰度分量特征包括亮度统计特征和滤波器响应特征。
根据人眼对亮度感知特性可知，当人们看到一幅图像时往往会被明亮的区域所吸引，所以本实施例提取亮度统计特征作为评价图像质量的灰度特征之一；过程为：
采用非对称广义高斯分布模型对于自然图像的亮度信息进行处理，得到亮度统计特征；计算公式为：
Figure 329197DEST_PATH_IMAGE023
Figure 166703DEST_PATH_IMAGE024
Figure 123026DEST_PATH_IMAGE025
其中，
Figure 362378DEST_PATH_IMAGE026
表示空间坐标i和j处的亮度统计特征；i和j为空间坐标；
Figure 441061DEST_PATH_IMAGE027
表示灰度分量的平均值；
Figure 828180DEST_PATH_IMAGE028
表示灰度分量的标准差；
Figure 135665DEST_PATH_IMAGE029
表示中心对称的高斯加权滤波窗口；k和l分别表示高斯函数的窗口范围；K=L=3。
由于视觉皮层中的神经元选择性地对刺激方向和频率做出反应，因此对图像的多尺度、多方向滤波反应的统计数据也有助于生成具有质量意识的特征，其中，灰度图包括统计数据；故采用log-Gabor滤波器对统计数据进行响应；计算公式为：
Figure 744369DEST_PATH_IMAGE052
其中，
Figure 682370DEST_PATH_IMAGE031
表示频率为ω以及方向角为θ时的滤波器响应特征；其中,
Figure 746665DEST_PATH_IMAGE032
是方向角，j表示空间坐标，J是方向数，
Figure 920157DEST_PATH_IMAGE033
表示中心频率；
Figure 134101DEST_PATH_IMAGE034
为控制滤波器的径向带宽；
Figure 492270DEST_PATH_IMAGE035
表示决定滤波器的角带宽；
组合亮度统计特征和滤波器响应特征，得到自然图像灰度分量特征。
S5：根据文字特征、自然图像彩色分量特征以及自然图像灰度分量特征，得到图像特征向量；采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；
具体的，根据梯度特征、局部二值模式直方图特征、形状参数特征、左方差特征、右方差特征、峰度特征、偏度特征、亮度统计特征以及滤波器响应特征，得到图像特征向量；图像特征向量记为：
Figure 526085DEST_PATH_IMAGE036
其中，feature表示图像特征向量；
Figure 690219DEST_PATH_IMAGE037
表示梯度特征；
Figure 493090DEST_PATH_IMAGE038
表示局部二值模式直方图特征；
Figure 897527DEST_PATH_IMAGE016
表示形状参数特征；
Figure 933485DEST_PATH_IMAGE039
表示左方差特征；
Figure 589725DEST_PATH_IMAGE040
表示右方差特征；Kurtosi表示峰度特征；Skewness表示偏度特征；
Figure 487581DEST_PATH_IMAGE041
表示亮度统计特征；
Figure 602DEST_PATH_IMAGE042
表示滤波器响应特征；
采用随机森林算法将图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型。
本实施例提供了训练随机森林模型的过程，其过程为：
步骤1：设置一个训练集，训练集中每个样本具有p维特征；
步骤2：采用自展法从训练集中抽取大小为a的数据集；
步骤3：在数据集中从p维特征中随机选择d维特征，通过决策树模型学习得到一颗决策树；
步骤4：重复执行步骤2、步骤3直至得到M棵决策树；输出训练完成的随机森林模型，记为：
Figure 602485DEST_PATH_IMAGE043
，其中，m表示决策树的序列，
Figure 46104DEST_PATH_IMAGE044
表示第m棵决策树，x’表示输入的特征。
在本实施例中，训练集记为
Figure 823567DEST_PATH_IMAGE053
；其中每个样本具有k维特征。
S6：将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种全盲屏幕内容图像质量评价方法，其特征在于，包括：
S1：将失真屏幕内容图像进行分割，得到文字图像和自然图像；
在失真屏幕内容图像中，采用文字识别技术定位文字区域，并引入亮暗补偿函数以及局部统计灰度模式，分离出所述文字图像，分离后剩余的失真屏幕内容图像即为自然图像；
所述亮暗补偿函数表示为：
Figure DEST_PATH_IMAGE001
Figure 127898DEST_PATH_IMAGE002
其中，T’(x,y)表示亮暗补偿函数；f(x,y)表示阈值像素点灰度值；t ’ xy 表示计算阈值；m ’ xy 表示以像素点（x，y）为中心的局部领域内所有像素点灰度值的高斯加权平均值；
Figure DEST_PATH_IMAGE003
；
Figure 104950DEST_PATH_IMAGE004
表示以像素点（x，y）为中心的局部领域的亮暗补偿函数，a表示亮暗补偿系数，𝑚𝑥𝑦表示局部领域内像素点灰度值均值；
S2：根据所述文字图像得到文字特征；
S3：将所述自然图像进行色彩空间转换，分离出彩色分量和灰度分量；
S4：基于所述彩色分量得到自然图像彩色分量特征；基于所述灰度分量得到自然图像灰度分量特征；
S5：根据所述文字特征、所述自然图像彩色分量特征以及所述自然图像灰度分量特征，得到图像特征向量；采用随机森林算法将所述图像特征向量与失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型；
S6：将待测的失真屏幕内容图像输入至训练完成的随机森林模型中，输出失真屏幕内容图像的质量分数。
2.根据权利要求1所述的一种全盲屏幕内容图像质量评价方法，其特征在于，S2中，所述文字特征包括梯度特征和局部二值模式直方图特征；
选用Sobel滤波器对文本图像进行卷积，得到所述梯度特征；计算公式为：
Figure 796963DEST_PATH_IMAGE005
其中，
Figure 986504DEST_PATH_IMAGE006
表示文本图像在位置索引i处的梯度特征；*表示卷积运算，R表示图像像素值，h x 表示Sobel滤波器的水平方向模板，h y 表示Sobel滤波器的垂直方向模板，且定义如下：
Figure DEST_PATH_IMAGE007
；
选取所述文字区域中一像素点（x c ，y c ），将像素点（x c ，y c ）的灰度值与其相邻的8个像素点的灰度值进行比较，得到二进制数，将所述二进制数换算为十进制数，将所述十进制数作为局部二值模式算子，所述局部二值模式算子记为：
Figure 837786DEST_PATH_IMAGE008
Figure 205313DEST_PATH_IMAGE009
其中，LBP(x c ,y c )表示像素点（x c ，y c ）的局部二值模式算子；x=i n -i c ；n=8；i n 表示与像素点（x c ，y c ）相邻的8个像素点的灰度值；i c 表示像素点（x c ，y c ）的灰度值；
根据所述局部二值模式算子得到特征位数，根据所述特征维数得到所述局部二值模式直方图特征，所述局部二值模式直方图特征记为：
Figure 712518DEST_PATH_IMAGE010
其中，u为256。
3.根据权利要求2所述的一种全盲屏幕内容图像质量评价方法，其特征在于，S3中，将所述自然图像进行色彩空间转换，由RGB色彩空间转换为Lαβ色彩空间，并引入色度信息，通过所述Lαβ色彩空间分离出自然图像的彩色分量和灰度分量；所述Lαβ色彩空间包括L通道、α通道以及β通道；所述α通道为黄-蓝通道，所述β通道为红-绿通道，根据所述α通道、所述β通道得到彩色分量；所述L通道包括自然图像的亮度信息；根据所述L通道得到灰度分量。
4.根据权利要求3所述的一种全盲屏幕内容图像质量评价方法，其特征在于，由RGB色彩空间转换为Lαβ色彩空间的过程为：
由RGB色彩空间转换为LMS色彩空间，转换公式为：
Figure DEST_PATH_IMAGE011
；
将所述LMS色彩空间转换为对数空间，计算公式为：
Figure 290437DEST_PATH_IMAGE012
；
进而根据对数空间得到Lαβ色彩空间，计算公式为：
Figure DEST_PATH_IMAGE013
。
5.根据权利要求4所述的一种全盲屏幕内容图像质量评价方法，其特征在于，S4中，通过所述彩色分量得到彩色图像，基于所述彩色图像，并根据所述α通道以及所述β通道，得到所述自然图像彩色分量特征；
通过所述灰度分量得到灰度图，基于所述灰度图，并根据所述L通道得到所述自然图像灰度分量特征。
6.根据权利要求5所述的一种全盲屏幕内容图像质量评价方法，其特征在于，S4中，所述自然图像彩色分量特征包括左方差特征、右方差特征、形状参数特征、峰度特征以及偏度特征；
对所述α通道、所述β通道进行非对称广义高斯分布拟合，表达式为：
Figure 871591DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
其中，x表示函数输入，包括α通道、β通道像素信息；
Figure 862549DEST_PATH_IMAGE016
表示形状参数特征；
Figure 512842DEST_PATH_IMAGE017
表示左方差特征；
Figure 794919DEST_PATH_IMAGE018
表示右方差特征；
通过所述表达式提取出所述左方差特征、所述右方差特征以及所述形状参数特征；
然后根据所述左方差特征以及所述右方差特征，计算自然图像彩色分量的峰度特征和偏度特征，峰度特征与偏度特征的表达式分别为：
Figure 482777DEST_PATH_IMAGE019
Figure 926528DEST_PATH_IMAGE020
其中，Kurtosi表示峰度特征；Skewness表示偏度特征；x i 代表通道像素信息，n代表通道信息范围，σ表示方差特征，当x i 为正时σ取左方差特征，当x i 为负时σ取右方差特征；λ代表x i 处像素的均值，具体计算如下：
Figure 532959DEST_PATH_IMAGE021
其中M,N分别为灰度图像的行和列；f(i,j)表示阈值像素点灰度值；
组合所述形状参数特征、所述左方差特征、所述右方差特征、所述峰度特征以及所述偏度特征，得到所述自然图像彩色分量特征；所述自然图像彩色分量特征记为：
Figure 353147DEST_PATH_IMAGE022
其中，Colorfulness表示自然图像彩色分量特征；
Figure 892582DEST_PATH_IMAGE016
表示形状参数特征；
Figure 772813DEST_PATH_IMAGE017
表示左方差特征；
Figure 397698DEST_PATH_IMAGE018
表示右方差特征；Kurtosi表示峰度特征；Skewness表示偏度特征。
7.根据权利要求6所述的一种全盲屏幕内容图像质量评价方法，其特征在于，S4中，所述自然图像灰度分量特征包括亮度统计特征和滤波器响应特征；
采用非对称广义高斯分布模型对于所述自然图像的亮度信息进行处理，得到所述亮度统计特征；计算公式为：
Figure 349474DEST_PATH_IMAGE023
Figure 494147DEST_PATH_IMAGE024
Figure 63056DEST_PATH_IMAGE025
其中，
Figure 925970DEST_PATH_IMAGE026
表示空间坐标i和j处的亮度统计特征；i和j为空间坐标；
Figure DEST_PATH_IMAGE027
表示灰度分量的平均值；
Figure 478174DEST_PATH_IMAGE028
表示灰度分量的标准差；
Figure DEST_PATH_IMAGE029
表示中心对称的高斯加权滤波窗口；k和l分别表示高斯函数的窗口范围；K=L=3；
所述灰度图包括统计数据；采用log-Gabor滤波器对所述统计数据进行响应；计算公式为：
Figure 195463DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
表示频率为ω以及方向角为θ时的滤波器响应特征；其中,
Figure 932344DEST_PATH_IMAGE032
是方向角，j表示空间坐标，J是方向数，
Figure DEST_PATH_IMAGE033
表示中心频率；
Figure 472434DEST_PATH_IMAGE034
为控制滤波器的径向带宽；
Figure DEST_PATH_IMAGE035
表示决定滤波器的角带宽；
组合所述亮度统计特征和所述滤波器响应特征，得到所述自然图像灰度分量特征。
8.根据权利要求7所述的一种全盲屏幕内容图像质量评价方法，其特征在于，S5中，根据所述梯度特征、所述局部二值模式直方图特征、所述形状参数特征、所述左方差特征、所述右方差特征、所述峰度特征、所述偏度特征、所述亮度统计特征以及所述滤波器响应特征，得到所述图像特征向量；所述图像特征向量记为：
Figure 562750DEST_PATH_IMAGE036
其中，feature表示图像特征向量；
Figure DEST_PATH_IMAGE037
表示梯度特征；
Figure 72229DEST_PATH_IMAGE038
表示局部二值模式直方图特征；
Figure 980011DEST_PATH_IMAGE016
表示形状参数特征；
Figure DEST_PATH_IMAGE039
表示左方差特征；
Figure 83096DEST_PATH_IMAGE040
表示右方差特征；Kurtosi表示峰度特征；Skewness表示偏度特征；
Figure DEST_PATH_IMAGE041
表示亮度统计特征；
Figure 54068DEST_PATH_IMAGE042
表示滤波器响应特征；
采用随机森林算法将所述图像特征向量与所述失真屏幕内容图像的平均意见得分值建立回归映射关系，构建随机森林模型，并训练随机森林模型。
9.根据权利要求8所述的一种全盲屏幕内容图像质量评价方法，其特征在于，训练所述随机森林模型的过程为：
步骤1：设置一个训练集，训练集中每个样本具有p维特征；
步骤2：采用自展法从训练集中抽取大小为a的数据集；
步骤3：在数据集中从p维特征中随机选择d维特征，通过决策树模型学习得到一颗决策树；
步骤4：重复执行步骤2、步骤3直至得到M棵决策树；输出训练完成的随机森林模型，记为：
Figure 277108DEST_PATH_IMAGE043
，其中，m表示决策树的序列，
Figure 840944DEST_PATH_IMAGE044
表示第m棵决策树，x’表示输入的特征。
CN202210846434.8A 2022-07-19 2022-07-19 一种全盲屏幕内容图像质量评价方法 Pending CN114926461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210846434.8A CN114926461A (zh) 2022-07-19 2022-07-19 一种全盲屏幕内容图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210846434.8A CN114926461A (zh) 2022-07-19 2022-07-19 一种全盲屏幕内容图像质量评价方法

Publications (1)

Publication Number Publication Date
CN114926461A true CN114926461A (zh) 2022-08-19

Family

ID=82816003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210846434.8A Pending CN114926461A (zh) 2022-07-19 2022-07-19 一种全盲屏幕内容图像质量评价方法

Country Status (1)

Country Link
CN (1) CN114926461A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156935A (ja) * 2016-03-01 2017-09-07 日本テレビ放送網株式会社 画質評価装置、画質評価方法及びプログラム
WO2018195891A1 (zh) * 2017-04-28 2018-11-01 深圳大学 无参考图像质量评价方法及装置
CN109978854A (zh) * 2019-03-25 2019-07-05 福州大学 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN110363753A (zh) * 2019-07-11 2019-10-22 北京字节跳动网络技术有限公司 图像质量评估方法、装置及电子设备
CN111311554A (zh) * 2020-01-21 2020-06-19 腾讯科技（深圳）有限公司 图文内容的内容质量确定方法、装置、设备及存储介质
CN112348809A (zh) * 2020-11-30 2021-02-09 天津大学 基于多任务深度学习的无参考屏幕内容图像质量评价方法
KR102225753B1 (ko) * 2020-08-27 2021-03-09 세종대학교산학협력단 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
CN112613303A (zh) * 2021-01-07 2021-04-06 福州大学 一种基于知识蒸馏的跨模态图像美学质量评价方法
CN114067006A (zh) * 2022-01-17 2022-02-18 湖南工商大学 一种基于离散余弦变换的屏幕内容图像质量评价方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156935A (ja) * 2016-03-01 2017-09-07 日本テレビ放送網株式会社 画質評価装置、画質評価方法及びプログラム
WO2018195891A1 (zh) * 2017-04-28 2018-11-01 深圳大学 无参考图像质量评价方法及装置
CN109978854A (zh) * 2019-03-25 2019-07-05 福州大学 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN110363753A (zh) * 2019-07-11 2019-10-22 北京字节跳动网络技术有限公司 图像质量评估方法、装置及电子设备
CN111311554A (zh) * 2020-01-21 2020-06-19 腾讯科技（深圳）有限公司 图文内容的内容质量确定方法、装置、设备及存储介质
KR102225753B1 (ko) * 2020-08-27 2021-03-09 세종대학교산학협력단 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
CN112348809A (zh) * 2020-11-30 2021-02-09 天津大学 基于多任务深度学习的无参考屏幕内容图像质量评价方法
CN112613303A (zh) * 2021-01-07 2021-04-06 福州大学 一种基于知识蒸馏的跨模态图像美学质量评价方法
CN114067006A (zh) * 2022-01-17 2022-02-18 湖南工商大学 一种基于离散余弦变换的屏幕内容图像质量评价方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HEESEOK OH 等: "Blind Deep S3D Image Quality Evaluation via Local to Global Feature Aggregation", 《IEEE》 *
刘佳成: "面向屏幕内容图像的无参考图像质量评价研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
朱映映 等: "无参考屏幕内容图像质量评价", 《软件学报》 *
程博 等: "基于深度学习的供应商资质证书智能识别技术研究", 《数字通信世界》 *
范赐恩 等: "颜色空间统计联合纹理特征的无参考图像质量评价", 《光学精密工程》 *
韩九强: "《机器视觉智能组态软件XAVIS及应用》", 31 May 2018 *

Similar Documents

Publication Publication Date Title
CN110274908B (zh) 缺陷检查装置、缺陷检查方法以及计算机可读记录介质
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
CN107292307B (zh) 一种倒置汉字验证码自动识别方法及系统
CN112614060A (zh) 人脸图像头发渲染方法、装置、电子设备和介质
CA3153067C (en) Picture-detecting method and apparatus
CN109948566A (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN111160194B (zh) 一种基于多特征融合的静态手势图像识别方法
CN116468640B (zh) 一种用于互联网教学的视频图像增强方法
CN108647696B (zh) 图片颜值确定方法及装置、电子设备、存储介质
CN107730568B (zh) 基于权重学习的着色方法和装置
CN107256539B (zh) 一种基于局部对比度的图像锐化方法
CN114998290A (zh) 基于有监督模式的织物瑕疵检测方法、装置、设备及介质
WO2018151043A1 (ja) 画像処理方法、及びコンピュータプログラム
CN114049264A (zh) 暗光图像增强方法、装置、电子设备及存储介质
JP2019046225A (ja) 認識装置、認識プログラム、及び認識方法
CN112348809A (zh) 基于多任务深度学习的无参考屏幕内容图像质量评价方法
JP3636936B2 (ja) 濃淡画像の２値化方法および濃淡画像の２値化プログラムを記録した記録媒体
EP4083937A1 (en) System and method for hair analysis of user
CN114926461A (zh) 一种全盲屏幕内容图像质量评价方法
CN114067006B (zh) 一种基于离散余弦变换的屏幕内容图像质量评价方法
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN115358972A (zh) 基于视觉特征融合的烟叶分级方法及系统
CN110348530B (zh) 用于识别口红色号的方法
CN110245590B (zh) 一种基于皮肤图像检测的产品推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220819