CN114638793A - 一种屏幕老化程度检测方法及装置 - Google Patents
一种屏幕老化程度检测方法及装置 Download PDFInfo
- Publication number
- CN114638793A CN114638793A CN202210205904.2A CN202210205904A CN114638793A CN 114638793 A CN114638793 A CN 114638793A CN 202210205904 A CN202210205904 A CN 202210205904A CN 114638793 A CN114638793 A CN 114638793A
- Authority
- CN
- China
- Prior art keywords
- image
- screen
- gradient
- screen content
- content image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000032683 aging Effects 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007637 random forest analysis Methods 0.000 claims abstract description 13
- 230000000295 complement effect Effects 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000011049 filling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000006731 degradation reaction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007654 immersion Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000001303 quality assessment method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000007634 remodeling Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 2
- 239000004973 liquid crystal related substance Substances 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000006872 improvement Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/1306—Details
- G02F1/1309—Repairing; Testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nonlinear Science (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了屏幕老化程度检测方法，将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，在U和V两个色度通道中提取颜色特征作为互补特征，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，提高了屏幕老化检测的效率和精确度。
Description
技术领域
本发明属于屏幕检测技术领域，尤其涉及一种屏幕老化程度检测方法及装置。
背景技术
随着液晶屏的市场需求逐步增大和应用应用领域的不断扩大，液晶显示屏的应用环境也日趋复杂，因此对液晶屏整合性能的要求也在不断挺高，现代液晶屏应能克服高温、低温、潮湿、超长工作时间等各种恶劣环境，拥有超强的工作稳定性和可靠性。由于屏幕的老化会使得屏幕分辨率较低而导致图像失真，屏幕内容图像的视觉质量也会随之下降，严重影响了交互性能和用户的满意度，因此，有必要对屏幕老化问题进行检测。
发明内容
有鉴于此，本发明提供了一种屏幕老化程度检测方法及装置，通过对屏幕内容图像评估使得液晶屏自动老化生产线随生产液晶屏幕的不同、设备布局等灵活性检测，可以提高屏幕老化检测的效率和经确定，具体采用以下技术方案来实现。
第一方面，本发明提供了一种屏幕老化程度检测方法，包可以以下步骤：
将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
在U和V两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且随着平台参数进行变化。
作为上述技术方案的进一步改进，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，包括：
在色度通道U上计算参考图像与失真图像之间的颜色相似性特征分量Usim，其表达式为
其中U1为参考屏幕内容图像的U通道，U2为失真屏幕内容图像的U通道，(x,y)为屏幕内容图像中的像素点，N为屏幕内容图像中像素点的总数，c1用于避免分母为零造成Usim的不稳定设置的常数；在色度通道V上提取其相似性特征分量Vsim，其表达式为
其中V1为参考图像的V通道，V2为失真图像的V通道，c2用于避免分母为零造成Vsim到的不稳定设置的常数；两幅屏幕内容图像的颜色相似性特征表示为Csim，其表达式为
作为上述技术方案的进一步改进，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，包括：
通过计算屏幕内容图像的像素点周边的灰度值进行边缘信息提取，图像f(x)的水平梯度分量Gx(x)与垂直梯度分量Gy(x)分别表示为：
其中·为卷积运算，f(x)为原始图像，f(x)中的x为图像中的像素点，图像f(x)的梯度幅度值的表达式为
其中
为Gx(x)与自身进行点乘运算，Gy(x)为Gy(x)与自身进行点乘运算；将梯度特征进行归一化以进行多特征融合，使得获取的特征向量落在[0,1]区间内，梯度归一化的表达式为G(x)＝{G(x)|Gmax}，Gmax为图像中的最大梯度值。
作为上述技术方案的进一步改进，将输入信号的颜色空间由RGB转换到YUV三个颜色通道，包括：
通过提取图像中的屏幕区域来获得感兴趣区域，其中感兴趣区域为处理数字图像过程中从待处理的图像中剥离出的需要进一步处理分析的重点区域；
将得到的感兴趣区域四角和左侧异形区域使用浸水填充方法进行屏幕颜色填充，以使整个屏幕背景单一化，并突出瑕疵与屏幕背景的类外差得到背景干净单一的感兴趣区域图片；
将高分辨率图片在图像上进行纵向和横向的滑动，采集连续的若干分区图像，将得到的感兴趣区域图片进行分割，获得连续的小图片作为输入数据集。
作为上述技术方案的进一步改进，在U和V两个色度通道中提取颜色特征作为互补特征，包括：
将目标图像与高斯函数进行卷积运算得到一幅目标图像的低通滤波结果，在某一尺度上的特征通过两个相邻高斯尺度工件的图像相减以得到响应值图像；
根据不同失真类型下提取的高斯差分特征图将高斯差分图像在频域中进行五级分解，以提供屏幕内容图像的品与信息，对梯度、相位特征进行补充，图像的高斯差分表达式为：
其中I为输入的屏幕内容图像，
用于角点检测的高斯函数，
为不同的标准差，高斯响应的标准偏差的表达式为
作为上述技术方案的进一步改进，将输入的屏幕内容图像i分解为五级高斯差分图像；
原始图像信号的表达式为：
各组成部分的总和与原始图像相同，分解不会丢失原始图像中的任何信息。
作为上述技术方案的进一步改进，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，包括：
通过对屏幕内容图像和失真屏幕内容图像进行特征提取，以获得一个8-D特征相似向量，其表达式为：f＝[f1,f2,f3,f4,f5,f6,f7,f8]，其中f1为参考图像和失真图像的颜色相似性，f2为梯度相似特征，f3～f7为五级高斯差分的相似性特征，f8为相应一致性的相似性特征。
作为上述技术方案的进一步改进，生成梯度特征图的过程包括：
读入彩色图像，将图像转换为对应的灰度图像并获得图像的宽和高，采用Gamma校正法对输入的屏幕内容图像进行颜色空间的归一化处理，并设置gamma值为0.5；
计算图像每个像素的梯度以捕获轮廓信息，其中梯度包括大小和方向，通过梯度算子进行求导的操作以期初梯度幅值和方向；
将图像分成若干个细胞单元格并经过设置不同的参数的特征可视化，选择最合适的梯度图，将图像内所有分割块的HOG特征描述符串联起来得到检测图像的HOG特征。
作为上述技术方案的进一步改进，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，包括：
将梯度特征和深层语义特征向量融合后作为输入，并通过第五层卷积神经网络输出的最后一张图片与每一层权重，经过训练后以得到待评估的屏幕内容图像的质量分数；
基于深度学习的质量评估的表达式为f(x,φ)＝Q，其中f为深度学习的网络模型，x为输入的屏幕内容图像，φx为网络模型的整体参数，Q为待评估屏幕内容图像的质量分数；
对图像质量进行预测时，图像内容的表达式为f(x,φx)＝Q，其中φx为由输入的失真图像x得到的模型参数；权重生成的输入为ResNet50网络的Conv5_x层的最后一层特征图，其表达式为f(Vx,g(s(x)))＝Q，其中Vx为融合后的多层特征，g为权重生成模块，s(x)为输入图像在经过ResNet50提取的Conv5_x层的最后一层特征图；
将Vx转换为全连接层，使用三层1×1卷积对s(x)进行降维，通过二维卷积和形状重塑生成相应全连接层的权重，并利用全局平均池化和形状重塑生成相应全连接层的偏差，生成的权值尺寸和多层次特征尺寸满足表达式fc(i)*fc(i+1)/(fs^2)＝n，其中fc(i)为多尺度特征的第i层全连接层的维度，fs为s(x)的大小，n为正整数。
第二方面，本发明还提供了一种屏幕老化程度检测装置，包括：
提取单元，用于将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
分析单元，用于在U和V两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
计算单元，用于计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
构建单元，用于建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且随着平台参数进行变化。
本发明提供了一种屏幕老化程度检测方法及装置，相对于现有技术，具有以下有益效果：
通过将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，在U和V两个色度通道中提取颜色特征作为互补特征，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且岁平台参数进行变化。在图像的空域信息中提取图像的梯度特征，用以描述图像的边缘结构信息和纹理信息，在图像的频域信息中提取相位一致性的特征，用以补充梯度特征在某些失真类型图片汇总的边缘结构信息的缺失，采用五级高斯差分在频域中提取图像的角点特征和空间频率特征，并将其与梯度和相位一致性互为补充的表征图像的感知质量，将图像提取的多种相似性特征输入到随机森林回归模型中进行训练，用于预测待评估的屏幕内容图像的质量分数，以提高屏幕老化检测装置的工作稳定性和可靠性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的屏幕老化程度检测方法的流程图；
图2为本发明的数据集生成的流程图；
图3为本发明的梯度特征图生成的流程图；
图4为本发明的图像训练的流程图；
图5为本发明的屏幕老化程度检测装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参阅图1，本发明提供了一种屏幕老化程度检测方法，包括以下步骤：
S10：将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
S11：在U和V两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
S12：计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
S13：建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且岁平台参数进行变化。
本实施例中，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，包括：在色度通道U上计算参考图像与失真图像之间的颜色相似性特征分量Usim，其表达式为
其中U1为参考屏幕内容图像的U通道，U2为失真屏幕内容图像的U通道，(x,y)为屏幕内容图像中的像素点，N为屏幕内容图像中像素点的总数，c1用于避免分母为零造成Usim的不稳定设置的常数；在色度通道V上提取其相似性特征分量Vsim，其表达式为
其中V1为参考图像的V通道，V2为失真图像的V通道，c2用于避免分母为零造成Vsim到的不稳定设置的常数；两幅屏幕内容图像的颜色相似性特征表示为Csim，其表达式为
需要说明的是，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，包括：通过计算屏幕内容图像的像素点周边的灰度值进行边缘信息提取，图像f(x)的水平梯度分量Gx(x)与垂直梯度分量Gy(x)分别表示为：
其中·为卷积运算，f(x)为原始图像，f(x)中的x为图像中的像素点，图像f(x)的梯度幅度值的表达式为
其中
为Gx(x)与自身进行点乘运算，Gy(x)为Gy(x)与自身进行点乘运算；将梯度特征进行归一化以进行多特征融合，使得获取的特征向量落在[0,1]区间内，梯度归一化的表达式为G(x)＝{G(x)|Gmax}，Gmax为图像中的最大梯度值。
应理解，以老化生产的液晶屏尺寸为主要参数，厂家提出的个性化的个性化要求为辅助参数，对液晶屏自动老化生产线各模块进行快速部署，最终组合新的液晶屏自动老化生产线，以实现液晶屏自动老化生产线的快速设计，能够快速对液晶频屏自动老化生产线中相同或相似模块进行重新设计、排列和重组，形成满足用户个性化需求的新生产线。液晶屏的自动精确传输，液晶屏自动老化生产线也是一条自动传输线，由计算机程序控制，对每一个pallet进行精确定时传输，实现对液晶屏自动老化、自动冷却、视觉检测等功能，确保每一块屏幕的生产时间，从而确保生产量。液晶屏自动老化生产线的核心功能便是对液晶屏实现老化，通过计算机对pallet的传输的控制，以及对老化室环境的精确调控，确保了每一块液晶屏都能合格老化，确保老化工作的正常完成。液晶屏自动老化生产线对每一块液晶屏设置了唯一的ID，且与pallet进行了精确匹配，对每一块生产的液晶屏都能进行实时检测知道生产结束。接着进行屏幕内容图像的检测，以进一步提高屏幕老化检测的精确度。
参阅图2，可选地，将输入信号的颜色空间由RGB转换到YUV三个颜色通道，包括：
S20：通过提取图像中的屏幕区域来获得感兴趣区域，其中感兴趣区域为处理数字图像过程中从待处理的图像中剥离出的需要进一步处理分析的重点区域；
S21：将得到的感兴趣区域四角和左侧异形区域使用浸水填充方法进行屏幕颜色填充，以使整个屏幕背景单一化，并突出瑕疵与屏幕背景的类外差得到背景干净单一的感兴趣区域图片；
S22：将高分辨率图片在图像上进行纵向和横向的滑动，采集连续的若干分区图像，将得到的感兴趣区域图片进行分割，获得连续的小图片作为输入数据集。
本实施例中，在U和V两个色度通道中提取颜色特征作为互补特征，包括：将目标图像与高斯函数进行卷积运算得到一幅目标图像的低通滤波结果，在某一尺度上的特征通过两个相邻高斯尺度工件的图像相减以得到响应值图像；根据不同失真类型下提取的高斯差分特征图将高斯差分图像在频域中进行五级分解，以提供屏幕内容图像的品与信息，对梯度、相位特征进行补充，图像的高斯差分表达式为：
其中I为输入的屏幕内容图像，
用于角点检测的高斯函数，
为不同的标准差，高斯响应的标准偏差的表达式为
需要说明的是，将输入的屏幕内容图像i分解为五级高斯差分图像；
原始图像信号的表达式为：
各组成部分的总和与原始图像相同，分解不会丢失原始图像中的任何信息。
应理解，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，包括：通过对屏幕内容图像和失真屏幕内容图像进行特征提取，以获得一个8-D特征相似向量，其表达式为：f＝[f1,f2,f3,f4,f5,f6,f7,f8]，其中f1为参考图像和失真图像的颜色相似性，f2为梯度相似特征，f3～f7为五级高斯差分的相似性特征，f8为相应一致性的相似性特征。当屏幕内容图像的质量发生损失时，图像的结构边缘信息就会在梯度图中显示出来，对比图中不同失真类型下的梯度图像，可以得出不同失真类型的屏幕内容图像利用梯度描述的图像边缘信息是不一样的，且经过归一化处理后的梯度图的边缘结构更加清晰，将梯度特征进行归一化操作是梯度特征提取过程中必不可少的一部分。
参阅图3，可选地，生成梯度特征图的过程包括：
S30：读入彩色图像，将图像转换为对应的灰度图像并获得图像的宽和高，采用Gamma校正法对输入的屏幕内容图像进行颜色空间的归一化处理，并设置gamma值为0.5；
S31：计算图像每个像素的梯度以捕获轮廓信息，其中梯度包括大小和方向，通过梯度算子进行求导的操作以期初梯度幅值和方向；
S32：将图像分成若干个细胞单元格并经过设置不同的参数的特征可视化，选择最合适的梯度图，将图像内所有分割块的HOG特征描述符串联起来得到检测图像的HOG特征。
本实施例中，输入原始图像之前，利用事先标定好的图片计算得到相机内参，而后根据计算这些参数重新计算即便图像对应校准图像像素位置和灰度，之后分离图片前景和背景，获得最大轮廓，即手机屏幕区域的最小外接矩形，包覆轮廓的最小斜矩形，根据这个最小外接矩形与水平方向的偏离角度计算得到二维仿射变换旋转参数，使得屏幕区域水平，再通过霍夫变换获得屏幕四边水平的位置，取拟合四边水平线端点作为轮廓点进行分类，通过求四边水平线延伸交点作为四个角点，三维透视变换将参照四个点计算得到变换矩阵的参数，从而获得感兴趣区域。
需要说明的是，通过比较对比对比度失真等级不同的失真图像，可以发现相位特征对图像边缘的表达比较清晰，两者的体区的结构信息差异较小，相位特征可以不受图像局部光线明暗变化的影响，与梯度特征融合可以增加图像的边缘信息。为了减少不相干因素的干扰，对获得的轮廓信息进行处理，提取可以区分屏幕与其他无关因素的特征，并以此为依据筛选，获得想要的感兴趣区域，可以通过计算之前提取到的轮廓的面积来区分目标和噪声。
参阅图4，可选地，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，包括：
S40：将梯度特征和深层语义特征向量融合后作为输入，并通过第五层卷积神经网络输出的最后一张图片与每一层权重，经过训练后以得到待评估的屏幕内容图像的质量分数；
S41：基于深度学习的质量评估的表达式为f(x,φ)＝Q，其中f为深度学习的网络模型，x为输入的屏幕内容图像，φx为网络模型的整体参数，Q为待评估屏幕内容图像的质量分数；
S42：对图像质量进行预测时，图像内容的表达式为f(x,φx)＝Q，其中φx为由输入的失真图像x得到的模型参数；权重生成的输入为ResNet50网络的Conv5_x层的最后一层特征图，其表达式为f(Vx,g(s(x)))＝Q，其中Vx为融合后的多层特征，g为权重生成模块，s(x)为输入图像在经过ResNet50提取的Conv5_x层的最后一层特征图；
S43：将Vx转换为全连接层，使用三层1×1卷积对s(x)进行降维，通过二维卷积和形状重塑生成相应全连接层的权重，并利用全局平均池化和形状重塑生成相应全连接层的偏差，生成的权值尺寸和多层次特征尺寸满足表达式fc(i)*fc(i+1)/(fs^2)＝n，其中fc(i)为多尺度特征的第i层全连接层的维度，fs为s(x)的大小，n为正整数。
本实施例中，屏幕内容图像是由文本区域和计算机生成的图形、图像区域构成，存在大量的锐利线条，屏幕内容图像具有较强的边缘性，为了保证屏幕内容图像特征的完整提取，使用不同类型的特征进行融合后用于屏幕内容图像的质量预测，使用梯度直方图进行梯度特征的体区，再通过ResNet50的网络对屏幕内容图像进行多尺度的深层信息提取，将提取后的特征图进行融合，融合后的图像对于屏幕内容图像结构特征的缺失，增强了边缘特征，再将融合后的图像输入四层全连接网络进行屏幕内容图像质量的预测，以提高屏幕老化检测效率。
参阅图5，本发明还提供了一种屏幕老化程度检测装置，包括：
提取单元，用于将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
分析单元，用于在U和V两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
计算单元，用于计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
构建单元，用于建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且岁平台参数进行变化。
本实施例中，在图像的空域信息中提取图像的梯度特征，用以描述图像的边缘结构信息和纹理信息，在图像的频域信息中提取相位一致性的特征，用以补充梯度特征在某些失真类型图片汇总的边缘结构信息的缺失，采用五级高斯差分在频域中提取图像的角点特征和空间频率特征，并将其与梯度和相位一致性互为补充的表征图像的感知质量，将图像提取的多种相似性特征输入到随机森林回归模型中进行训练，用于预测待评估的屏幕内容图像的质量分数，以提高屏幕老化检测装置的工作稳定性和可靠性。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种屏幕老化程度检测方法，其特征在于，包括以下步骤：
将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
在U和V两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且随着平台参数进行变化。
2.根据权利要求1所述的屏幕老化程度检测方法，其特征在于，计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，包括：
在色度通道U上计算参考图像与失真图像之间的颜色相似性特征分量Usim，其表达式为
其中U1为参考屏幕内容图像的U通道，U2为失真屏幕内容图像的U通道，(x,y)为屏幕内容图像中的像素点，N为屏幕内容图像中像素点的总数，c1用于避免分母为零造成Usim的不稳定设置的常数；在色度通道V上提取其相似性特征分量Vsim，其表达式为
其中V1为参考图像的V通道，V2为失真图像的V通道，c2用于避免分母为零造成Vsim到的不稳定设置的常数；两幅屏幕内容图像的颜色相似性特征表示为Csim，其表达式为
3.根据权利要求1所述的屏幕老化程度检测方法，其特征在于，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，包括：
通过计算屏幕内容图像的像素点周边的灰度值进行边缘信息提取，图像f(x)的水平梯度分量Gx(x)与垂直梯度分量Gy(x)分别表示为：
其中·为卷积运算，f(x)为原始图像，f(x)中的x为图像中的像素点，图像f(x)的梯度幅度值的表达式为
其中
为Gx(x)与自身进行点乘运算，Gy(x)为Gy(x)与自身进行点乘运算；将梯度特征进行归一化以进行多特征融合，使得获取的特征向量落在[0,1]区间内，梯度归一化的表达式为G(x)＝{G(x)|Gmax}，Gmax为图像中的最大梯度值。
4.根据权利要求1所述的屏幕老化程度检测方法，其特征在于，将输入信号的颜色空间由RGB转换到YUV三个颜色通道，包括：
通过提取图像中的屏幕区域来获得感兴趣区域，其中感兴趣区域为处理数字图像过程中从待处理的图像中剥离出的需要进一步处理分析的重点区域；
将得到的感兴趣区域四角和左侧异形区域使用浸水填充方法进行屏幕颜色填充，以使整个屏幕背景单一化，并突出瑕疵与屏幕背景的类外差得到背景干净单一的感兴趣区域图片；
将高分辨率图片在图像上进行纵向和横向的滑动，采集连续的若干分区图像，将得到的感兴趣区域图片进行分割，获得连续的小图片作为输入数据集。
5.根据权利要求1所述的屏幕老化程度检测方法，其特征在于，在U和V两个色度通道中提取颜色特征作为互补特征，其特征在于，
将目标图像与高斯函数进行卷积运算得到一幅目标图像的低通滤波结果，在某一尺度上的特征通过两个相邻高斯尺度工件的图像相减以得到响应值图像；
根据不同失真类型下提取的高斯差分特征图将高斯差分图像在频域中进行五级分解，以提供屏幕内容图像的品与信息，对梯度、相位特征进行补充，图像的高斯差分表达式为：
其中I为输入的屏幕内容图像，
用于角点检测的高斯函数，
为不同的标准差，高斯响应的标准偏差的表达式为
6.根据权利要求5所述的屏幕老化程度检测方法，其特征在于，还包括：
将输入的屏幕内容图像i分解为五级高斯差分图像；
原始图像信号的表达式为：
各组成部分的总和与原始图像相同，分解不会丢失原始图像中的任何信息。
7.根据权利要求1所述的屏幕老化程度检测方法，其特征在于，建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，包括：
通过对屏幕内容图像和失真屏幕内容图像进行特征提取，以获得一个8-D特征相似向量，其表达式为：f＝[f1,f2,f3,f4,f5,f6,f7,f8]，其中f1为参考图像和失真图像的颜色相似性，f2为梯度相似特征，f3～f7为五级高斯差分的相似性特征，f8为相应一致性的相似性特征。
8.根据权利要求7所述的屏幕老化程度检测方法，其特征在于，生成梯度特征图的过程包括：
读入彩色图像，将图像转换为对应的灰度图像并获得图像的宽和高，采用Gamma校正法对输入的屏幕内容图像进行颜色空间的归一化处理，并设置gamma值为0.5；
计算图像每个像素的梯度以捕获轮廓信息，其中梯度包括大小和方向，通过梯度算子进行求导的操作以期初梯度幅值和方向；
将图像分成若干个细胞单元格并经过设置不同的参数的特征可视化，选择最合适的梯度图，将图像内所有分割块的HOG特征描述符串联起来得到检测图像的HOG特征。
9.根据权利要求1所述的屏幕老化程度检测方法，其特征在于，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分，包括：
将梯度特征和深层语义特征向量融合后作为输入，并通过第五层卷积神经网络输出的最后一张图片与每一层权重，经过训练后以得到待评估的屏幕内容图像的质量分数；
基于深度学习的质量评估的表达式为f(x,φ)＝Q，其中f为深度学习的网络模型，x为输入的屏幕内容图像，φx为网络模型的整体参数，Q为待评估屏幕内容图像的质量分数；
对图像质量进行预测时，图像内容的表达式为f(x,φx)＝Q，其中φx为由输入的失真图像x得到的模型参数；权重生成的输入为ResNet50网络的Conv5_x层的最后一层特征图，其表达式为f(Vx,g(s(x)))＝Q，其中Vx为融合后的多层特征，g为权重生成模块，s(x)为输入图像在经过ResNet50提取的Conv5_x层的最后一层特征图；
将Vx转换为全连接层，使用三层1×1卷积对s(x)进行降维，通过二维卷积和形状重塑生成相应全连接层的权重，并利用全局平均池化和形状重塑生成相应全连接层的偏差，生成的权值尺寸和多层次特征尺寸满足表达式fc(i)*fc(i+1)/(fs^2)＝n，其中fc(i)为多尺度特征的第i层全连接层的维度，fs为s(x)的大小，n为正整数。
10.一种根据权利要求1-9任一项所述的屏幕老化程度检测方法的屏幕老化程度检测装置，其特征在于，包括：
提取单元，用于将输入信号的颜色空间由RGB转换到YUV三个颜色通道，在亮度Y通道中提取频域信息和空域信息来表征屏幕内容图像的强边缘特征和纹理信息，其中梯度特征表征图像的边缘结构和纹理，相位特征用于补充梯度的边缘信息；
分析单元，用于在U和V两个色度通道中提取颜色特征作为互补特征，其中强化屏幕内容图像的结构信息，高斯差分用于提取图像的角点信息和空间频率特征；
计算单元，用于计算参考屏幕内容图像与失真图像内容图像之间不同特征的相似性，将多种相似性特征输入到随机森林的机器学习模型中进行回归训练得到质量得分；
构建单元，用于建立质量得分对应的特征参数和特征采纳数对应结构的关系映射，特征参数对模块中的每一个零部件随特征参数变化时的反应进行分析，确定特征参数变化时的反应进行分析，确定特征参数对零部件结构的映射关系，以确定平台元素，其中将平台元素作为平台通用模块部分且随着平台参数进行变化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210205904.2A CN114638793B (zh) | 2022-04-19 | 一种屏幕老化程度检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210205904.2A CN114638793B (zh) | 2022-04-19 | 一种屏幕老化程度检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114638793A true CN114638793A (zh) | 2022-06-17 |
| CN114638793B CN114638793B (zh) | 2024-07-02 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116631319A (zh) * | 2023-05-29 | 2023-08-22 | 上海傲显科技有限公司 | 屏幕显示补偿方法、智能终端及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160358321A1 (en) * | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
| CN110334628A (zh) * | 2019-06-26 | 2019-10-15 | 华中科技大学 | 一种基于结构化随机森林的室外单目图像深度估计方法 |
| CN112508847A (zh) * | 2020-11-05 | 2021-03-16 | 西安理工大学 | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 |
| CN112651945A (zh) * | 2020-12-29 | 2021-04-13 | 台州学院 | 一种基于多特征的多曝光图像感知质量评价方法 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160358321A1 (en) * | 2015-06-05 | 2016-12-08 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
| CN110334628A (zh) * | 2019-06-26 | 2019-10-15 | 华中科技大学 | 一种基于结构化随机森林的室外单目图像深度估计方法 |
| CN112508847A (zh) * | 2020-11-05 | 2021-03-16 | 西安理工大学 | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 |
| CN112651945A (zh) * | 2020-12-29 | 2021-04-13 | 台州学院 | 一种基于多特征的多曝光图像感知质量评价方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116631319A (zh) * | 2023-05-29 | 2023-08-22 | 上海傲显科技有限公司 | 屏幕显示补偿方法、智能终端及存储介质 |
| CN116631319B (zh) * | 2023-05-29 | 2024-05-14 | 上海傲显科技有限公司 | 屏幕显示补偿方法、智能终端及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10719937B2 (en) | Automated detection and trimming of an ambiguous contour of a document in an image | |
| Sun et al. | SPSIM: A superpixel-based similarity index for full-reference image quality assessment | |
| CN107833220B (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| CN115115644B (zh) | 一种基于人工智能的车辆焊接缺陷检测方法 | |
| CN110443800B (zh) | 视频图像质量的评价方法 | |
| CN113781406B (zh) | 电子元器件的划痕检测方法、装置及计算机设备 | |
| Bugeau et al. | Patch-based image colorization | |
| Silvestre-Blanes | Structural similarity image quality reliability: Determining parameters and window size | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN117788957B (zh) | 一种基于深度学习的资质图像分类方法及系统 | |
| CN111641822A (zh) | 一种重定位立体图像质量评价方法 | |
| CN114445410A (zh) | 基于图像识别的电路板检测方法、计算机及可读存储介质 | |
| CN109741358B (zh) | 基于自适应超图学习的超像素分割方法 | |
| CN117557784B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| JP2014056442A (ja) | 画質推定装置、画質推定方法および画質推定プログラム | |
| CN113298763B (zh) | 一种基于显著性窗口策略的图像质量评估方法 | |
| CN117456376A (zh) | 一种基于深度学习的遥感卫星影像目标检测方法 | |
| JP2011170890A (ja) | 顔検出方法および装置並びにプログラム | |
| CN114511862B (zh) | 表格识别方法、装置及电子设备 | |
| CN114638793A (zh) | 一种屏幕老化程度检测方法及装置 | |
| JP2014130427A (ja) | 画質推定装置、画質推定方法および画質推定プログラム | |
| CN114638793B (zh) | 一种屏幕老化程度检测方法及装置 | |
| CN114548250A (zh) | 一种基于数据分析的手机外观检测方法及装置 | |
| CN112508847A (zh) | 一种基于深度特征与结构加权lbp特征的图像质量评价方法 | |
| CN110827238A (zh) | 一种改进的全卷积神经网络的侧扫声纳图像特征提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |