发明内容
为了解决上述技术问题,本发明提供一种智能戒指显示屏幕检测方法,以解决现有的问题。
本发明的一种智能戒指显示屏幕检测方法采用如下技术方案:
本发明一个实施例提供了一种智能戒指显示屏幕检测方法,该方法包括以下步骤:
根据显示屏幕图像中各像素点邻域内的灰度差异获取各像素点的幅度向量模长;根据各像素点邻域内的灰度变化方向获取各像素点的幅度向量方向;各像素点的幅度向量模长及方向组成各像素点的幅度向量;对各像素点邻域内灰度值进行灰度级量化获取邻域内不同灰度级对应的各连通域,根据各像素点邻域内的灰度及幅度向量差异得到邻域内每个灰度级各连通域的域内色延度;根据邻域内灰度级各连通域的域内色延度及连通域数量得到邻域内灰度级的域间差异系数;根据各像素点邻域内所有灰度级的域间差异系数得到各像素点的邻域异常度;根据各像素点的邻域异常度及邻域内像素点的邻域异常度的差异获取各像素点的瑕疵异常系数;
根据各像素点的瑕疵异常系数得到各像素点增强处理的修正参数,根据修正参数结合retinex算法获取不同颜色显示下各显示屏幕图像的增强图像,结合神经网络得到各增强图像的语义分割效果图,根据各增强图像的语义分割效果图得到智能戒指显示屏幕的瑕疵区域,完成智能戒指显示屏幕的检测。
优选的,所述根据显示屏幕图像中各像素点邻域内的灰度差异获取各像素点的幅度向量模长,包括:对于各像素点,计算像素点灰度值与邻域内各像素点灰度值的差值绝对值,将所述差值绝对值的最大值作为像素点的幅度向量模长。
优选的,所述根据各像素点邻域内的灰度变化方向获取各像素点的幅度向量方向包括:获取所述差值绝对值的最大值所对应的邻域像素点,将各像素点指向所述邻域像素点的方向记为各像素点的幅度向量方向。
优选的,所述根据各像素点邻域内的灰度及幅度向量差异得到邻域内每个灰度级各连通域的域内色延度包括:
对于邻域内每个灰度级的各连通域,计算连通域内各像素点幅度向量的和值,计算连通域内相邻像素点幅度向量模长的差值与相邻像素点灰度值差值的乘积的绝对值,连通域的域内色延度与所述和值成正比,与所述绝对值成反比。
优选的,所述根据邻域内灰度级各连通域的域内色延度及连通域数量得到邻域内灰度级的域间差异系数,包括:对于邻域内灰度级的各连通域,获取任意两个不同连通域域内色延度的余弦值,计算所述余弦值的和值,将所述和值与邻域内灰度级连通域数量倒数加1的乘积作为邻域内灰度级的域间差异系数。
优选的,所述根据各像素点邻域内所有灰度级的域间差异系数得到各像素点的邻域异常度,表达式为:
式中,为变化系数,/>为灰度级数,/>为像素点u邻域内第i灰度级的像素点数量,/>为线性归一化函数,/>为像素点u邻域内第i灰度级的域间差异系数,/>为像素点u的邻域异常度。
优选的,所述根据各像素点的邻域异常度及邻域内像素点的邻域异常度的差异获取各像素点的瑕疵异常系数,包括:
对于各像素点,计算像素点邻域异常度及邻域内各像素点的邻域异常度差值绝对值;计算像素点与邻域内各像素点的归一化欧式距离;计算所述差值绝对值与所述归一化欧式距离的比值;将所述比值的和作为以自然常数e为底数的指数函数的指数,将所述指数函数作为像素点的瑕疵异常系数。
优选的,所述根据各像素点的瑕疵异常系数得到各像素点增强处理的修正参数,表达式为:
式中,为初始参数,/>为线性归一化函数,/>为像素点u的瑕疵异常系数,/>为第一控制参数,/>为第二控制参数,/>为修正参数。
优选的,所述结合神经网络得到各增强图像的语义分割效果图,具体为:
将各增强图像作为神经网络的输入,神经网络的输出为对应增强图像的语义分割效果图,语义分割效果图中灰度值为1的像素点为瑕疵像素点。
优选的,所述根据各增强图像的语义分割效果图得到智能戒指显示屏幕的瑕疵区域,包括:
对各增强图像的语义分割效果图进行逐点取并运算得到融合图像,将融合图像中的瑕疵像素点集合作为智能戒指显示屏幕的瑕疵区域。
本发明至少具有如下有益效果:
传统的图像处理技术对智能戒指显示屏幕的检测尚不成熟,在使用图像增强技术对瑕疵进行增强时,不易区分显示屏幕的水波纹现象,导致算法的准确率较低,不易识别出屏幕中的瑕疵。
本发明通过采用retinex理论中基于单尺度的SSR算法,根据对每个像素点邻域窗口内的各种灰度级的分布进行分析,使得将灰度级内差异较大的域间差异系数作为评价是否存在瑕疵区域,再结合各灰度级不同的像素点数量以及邻域窗口内其他像素点的邻域异常度得到各像素点的瑕疵异常系数,使用基于单尺度的SSR算法对图像中的瑕疵区域进行增强,避免了水波纹对瑕疵区域的干扰问题,提升了算法的准确率。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种智能戒指显示屏幕检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种智能戒指显示屏幕检测方法的具体方案。
本发明一个实施例提供的一种智能戒指显示屏幕检测方法。
具体的,提供了如下的一种智能戒指显示屏幕检测方法,请参阅图1,该方法包括以下步骤:
步骤S001,采集智能戒指的显示屏幕图像,并对采集的图像预处理。
检测瑕疵时应该在不同的背景颜色下检查,因为瑕疵可能只在某些颜色下才会显示出来。因此,本实施例设置需要拍摄在黑、白、红、绿、蓝五种颜色下的智能戒指显示屏幕图像,针对每种颜色的图像检测瑕疵的存在。
由于智能戒指显示屏幕的刷新率过低,所以在采用CCD相机的拍摄下会出现屏幕抖动的现象,即拍摄出来的图像很模糊。因此需要对图像进行去噪,去噪方法有高斯滤波、中值滤波等去噪方法,本实施例采用高斯滤波技术对图像进行去噪。高斯滤波技术为公知技术,本实施例不再阐述。
至此,即可通过本实施例上述方法获取不同颜色显示下的智能戒指的显示屏幕图像,作为智能戒指显示屏幕检测分析的基础数据。
步骤S002:对显示屏幕图像中各像素点进行瑕疵分析构建特征指标,作为retinex算法增强过程中的特征参数。
下面将针对其中一种颜色显示下的显示屏幕图像瑕疵区域的提取进行详细说明。
由于使用相机对智能戒指的显示屏幕拍摄时,会产生水波纹现象,这种水波纹会干扰到显示屏幕中的瑕疵检测,原本只有一种颜色画面的显示屏幕图像也会出现大面积的颜色变化,即在图像中会出现一定的规律性的颜色分布。
针对这种情况,鉴于水波纹为一种有规律性波动分布的条纹,对于显示屏幕图像中的像素点u,以像素点u为中心像素点构建八邻域,需要说明的是,所述构建邻域的尺寸实施者可根据实际情况自行设定,本实施例对此不做限制。根据八邻域内像素点的灰度值,可以得到像素点u的幅度向量,幅度向量可以表征该像素点在小范围内表现出来的水波纹局部状态。其中,像素点u的幅度向量的模长表达式为:
式中,/>为像素点u的灰度值,/>为像素点u的八邻域内第i个像素点的灰度值,/>为最大值函数,/>为求向量的模长,/>为像素点u的幅度向量的模长。
其中,像素点u的幅度向量的方向为像素点u指向/>对应像素点的方向。
需要说明的是,像素点u的幅度向量可以表征该像素点在小范围内的小幅度变化,幅度向量的模长越大,说明该像素点处可能存在水波纹的边界,基于此便于对后面分析大范围水波纹变化情况。
重复上述步骤,可以得到显示屏幕图像中的每个像素点的幅度向量。
由于一个像素点的幅度向量只能表示该像素点周围小范围内的灰度变化情况,而显示屏幕图像中的水波纹的范围较大,因此针对图像中的每个像素点构建21x21大小的邻域窗口,需要说明的是,所述邻域窗口尺寸本实施例同样不做限制,实施者可自行定义,进一步本实施例将分析每个像素点邻域窗口内水波纹的走势特征。
对于像素点u的邻域窗口,将该邻域窗口内的灰度值等比例均匀划分到1-5共五个灰度级S上。对邻域窗口像素点灰度值的量化,其中,量化灰度级数S本实施例不做限制,实施者可自行定义。针对像素点u的邻域窗口内的每一灰度级的其中一个连通域,根据每一灰度级的任意一个连通域内像素点的幅度向量和灰度信息得到表征该灰度级连通域的域内色延度A。其中,以像素点u的邻域窗口内的第i灰度级的第z个连通域为例,所述域内色延度表达式具体为:
式中,/>为像素点u邻域窗口内第i灰度级第z个连通域的像素点数量,/>为像素点u邻域窗口内第i灰度级第z个连通域第j个像素点的幅度向量,/>为修正因子,/>为像素点u邻域窗口内第i灰度级第z个连通域第j个像素点的灰度值,/>为像素点u邻域窗口内第i灰度级第z个连通域第j+1个像素点的灰度值,/>为像素点u邻域窗口第i灰度级第z个连通域第j个像素点的幅度向量的模长,/>为像素点u邻域窗口第i灰度级第z个连通域第j+1个像素点的幅度向量的模长,/>为像素点u邻域窗口第i灰度级第z个连通域的域内色延度。
需要说明的是,域内色延度公式的分母表示在该灰度级连通域上,灰度级连通域内将所有像素点都与相邻的后一个像素点的灰度值与幅度向量的模长计算之间的差异,来表征在该灰度级连通域下的灰度值分布是否均匀且小范围内的幅度变化是否呈现规律性,即分母越小,说明该灰度级连通域下的灰度值分布较均匀,且小范围内的幅度变化较规律;域内色延度公式的分子表示该灰度级连通域下的所有像素点的幅度向量之和表征该灰度级连通域内的中幅度变化,即相较于小幅度变化,这种变化可以更准确表征该灰度级连通域的变化情况。
通过结合分母对于该灰度级连通域下的像素点的灰度值分布及幅度向量的规律性的表示,可以在分子的幅度向量之和越大的情况下,分母越小说明该灰度级连通域下的幅度向量之和表征的水波纹现象越显著,且置信度越高。
因为可能存在像素点u邻域窗口的部分位置出现水波纹现象,但是如果只使用这种方法计算邻域窗口内存在瑕疵的可能性,就会使得误差结果较大。
因此基于邻域窗口内每个灰度级中的各个连通域之间的差异,就能更好地表征水波纹存在的同时瑕疵区域的特征,或者当水波纹不存在时瑕疵区域的特征也能很好地表征出来。
将像素点u邻域窗口第i灰度级的所有连通域分别计算其域间色延度之间的差异,用来表征在同一个邻域窗口下的每灰度级内是否出现差异较大的情况,即不具有相同的水波纹规律变化。因此,本实施例将对不同连通域的域内色延度之间的差异情况进行分析,构建域间差异系数,所述域间差异系数表达式为:
式中,为像素点u邻域窗口第i灰度级的连通域数量,/>为余弦函数,为像素点u邻域窗口第i灰度级第z个连通域的域内色延度,/>为像素点u邻域窗口第i灰度级第x个连通域的域内色延度,/>为像素点u邻域窗口第i灰度级的域间差异系数。
需要说明的是,通过计算每个灰度级内各连通域之间的域间色延度之间的差异,用来表征该灰度级内的分布是否因为连通域不同而导致域间差异较大,这种差异较大也恰好表征该灰度级内可能出现一些不规则的情况,通过从小幅度向量到中幅度向量,将很小的差异变化进行放大,便于将显示屏幕中的瑕疵区域更准确地通过指标地形式识别出来。即级内任意两个连通域之间的域内色延度之间的角度越大,则越小,表示该灰度级域间的存在较大的差异。
结合邻域窗口内的五个灰度级,将每个灰度级的域间差异系数与该灰度级的像素点数量产生的影响通过修正像素点数量表现出来,即如果该灰度级的域间差异越大,同时该灰度级的像素点数量越多,则该灰度级表现出来越异常,由此得到邻域异常度C,表达式为:
式中,为变化系数,/>为灰度级数,/>为像素点u邻域内第i灰度级的像素点数量,/>为线性归一化函数,/>为像素点u邻域内第i灰度级的域间差异系数,/>为像素点u的邻域异常度,本实施例中/>取值为0.5,实施者可自行设定。
需要说明的是,对每个灰度级的像素点数量在对应域间差异系数的影响下进行相应的放大、缩小,使得该邻域窗口内修正后的像素点数量与原来的像素点数量之间的比值作为该邻域窗口的邻域异常度。像素点u的邻域异常度越大,表示该窗口内越异常,越可能存在瑕疵区域。
根据显示屏幕图像中的每个像素点的邻域异常度,结合邻域窗口内各像素点的邻域异常度分布情况,如果邻域窗口内的像素点与中心像素点的邻域异常度之间的差异越大,说明该窗口越具有异常现象。需要说明的是,所述邻域窗口尺寸实施者可自行设定,本实施例对此不做限制,本实施例中将所述邻域窗口设定为7*7。根据像素点的邻域异常度以及邻域窗口内的邻域异常度变化情况,计算各像素点的瑕疵异常系数,所述瑕疵异常系数表达式为:
式中,W为邻域窗口像素点总数,本实施例中为7*7,为以自然常数e为底数的指数函数,/>为像素点u的邻域异常度,/>为像素点u在邻域窗口内第i个像素点的邻域异常度,/>为像素点u邻域窗口的第i个像素点与像素点u之间的欧式距离,/>为线性归一化函数,/>为消零参数,/> 为像素点u的瑕疵异常系数。
其中,取经验值为0.01,目的是为了不让分子为0。
需要说明的是,通过计算像素点u与邻域窗口内像素点之间的邻域异常度的差异,来表征像素点u的是否是真实异常,即可能除了水波纹现象,还有其他非瑕疵区域对邻域异常度干扰,导致邻域异常度较大;但是这种基于邻域窗口内其他像素点的邻域异常度之间的差异,可能更好地评估像素点u的异常程度,即通过每次移动较小范围的另一个像素点的窗口与移动之前的差异应该较小,直到出现瑕疵区域,这种差异就会被放大,可以更准确识别瑕疵区域。
至此,重复本实施例上述方法,可获取各像素点的瑕疵异常系数,并获取在不同颜色显示下屏幕图像中各像素点的瑕疵异常系数,用于对不同颜色显示下屏幕图像中各像素点的显著程度进行表征,以便后续对各像素点进行自适应增强处理。
步骤S003:根据各像素点的瑕疵异常系数对各像素点进行自适应增强,结合增强图像采用神经网络实现智能戒指显示屏幕的检测。
根据本实施例上述方法可得到各像素点的瑕疵异常系数,用于对各像素点的自适应增强过程进行调控。根据retinex理论中的高斯环绕函数中的参数进行分析可知,参数越大可以对图像中低照度的增强效果更佳的特点,对瑕疵异常系数越大的像素点进行放大参数以提高增强效果。
因此,通过将显示屏幕图像中的每个像素点的瑕疵异常系数对retinex理论中的高斯环绕函数中的初始参数进行修正,得到修正参数/>。
式中,为初始参数,/>为线性归一化函数,/>为像素点u的瑕疵异常系数,/>为第一控制参数,/>为第二控制参数,/>为修正参数。其中,初始参数/>取经验值为90,/>取经验值0.2,/>取经验值0.9。需要说明的是,对于初始参数/>、第一控制参数/>、第二控制参数/>的取值实施者可根据实际情况自行设定,本实施例对此不做限制。
需要说明的是,通过第一控制参数和第二控制参数/>将修正参数控制在80-100的数值之间,即增强效果最好的参数范围;如果瑕疵异常系数越大,则会将该像素点的高斯环绕函数的参数进行缩小,增强瑕疵区域的细节。
重复上述方法,获取不同颜色显示下屏幕图像中各像素点增强处理的修正参数,根据修正参数结合retinex算法对不同颜色显示下的显示屏幕图像进行增强处理,得到不同颜色显示下增强后的显示屏幕图像,记为各增强图像。
至此,根据本实施例上述方法得到了不同颜色显示下的各增强图像,增强后可使得图像中的瑕疵区域更显著地表现出来,提高智能戒指显示屏幕中异常区域的对比度,方便对智能戒指显示屏幕进行精确检测。
对于各增强图像,本实施将结合神经网络对各显示屏幕图像中的瑕疵区域进行提取,本实施例中采用语义分割网络对瑕疵区域进行提取识别,语义分割网络训练的损失函数采用交叉熵损失函数进行迭代训练,网络训练的标签为人为标注,将各增强图像中瑕疵像素点的灰度值人为标注为1,其他区域像素点的灰度值标注为0,获取大量的标签数据结合损失函数对语义分割网络进行迭代训练。需要说明的是,网络训练的具体过程不在本实施例保护范围内,不做详细阐述。将显示屏幕图像的增强图像作为网络的输入,网络输出语义分割效果图,所述语义分割效果图中灰度值为1的为瑕疵区域,灰度值为0的为正常区域。网络训练以及网络模型为现有公知技术,不在本实施例保护范围内。
根据本实施例上述过程可获取不同颜色显示下增强后的显示屏幕图像所对应的语义分割效果图,考虑到图像采集过程中保持图像尺寸且视角统一,因此,不同颜色显示下增强后的显示屏幕图像所对应的语义分割效果图尺寸一致,因此,本实施例将各语义分割效果图进行取并运算,将得到的图像记为融合图像,融合图像中瑕疵像素点集合作为智能戒指显示屏幕的瑕疵区域。当智能戒指显示屏幕中出现瑕疵区域时,预警提示智能戒指显示屏幕有异常,需要进行再次加工检修,以保证智能戒指显示屏幕的质量,至此完成智能戒指显示屏幕的检测,可实现对智能戒指显示屏幕异常情况的精确检测。
至此,通过本发明实施例上述方法可实现对智能戒指显示屏幕进行全面检测评估,本发明实施例考虑到传统的图像处理技术对智能戒指显示屏幕的检测尚不成熟,在使用图像增强技术对瑕疵进行增强时,不易区分显示屏幕的水波纹现象,导致算法的准确率较低,不易识别出屏幕中的瑕疵。
本发明通过采用retinex理论中基于单尺度的SSR算法,根据对每个像素点邻域窗口内的各种灰度级的分布进行分析,使得将灰度级内差异较大的域间差异系数作为评价是否存在瑕疵区域,再结合各灰度级不同的像素点数量以及邻域窗口内其他像素点的邻域异常度得到各像素点的瑕疵异常系数,使用基于单尺度的SSR算法对图像中的瑕疵区域进行增强,避免了水波纹对瑕疵区域的干扰问题,提升了算法的准确率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。