CN111882528A

CN111882528A - 一种面向屏幕视觉检测的子像素排序方法及装置

Info

Publication number: CN111882528A
Application number: CN202010677779.6A
Authority: CN
Inventors: 郑跃瑜; 马聪; 李浪浪; 肖学军
Original assignee: Suzhou Jiazhicai Optoelectronics Technology Co ltd
Current assignee: Suzhou Jiazhicai Optoelectronics Technology Co ltd
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2020-11-03

Abstract

本发明提供了一种用于屏幕亚像素级定位的排序方法及装置，以特殊定位图的四个顶点坐标为基础，将定位图通过信号发生器导入待检测屏幕中，并用高分辨率相机拍摄目标图像，获取待检测图像，通过待检测图像中的特征点进行定位，找到待检测图像的四个顶点，经由透射变换将目标图像网格化，在相机坐标系中以左上角点为起始点，同时通过网格交叉点的邻域内搜索极大值点对网格交叉点进行局部补偿校准，判定并记录符合要求的点坐标。本发明区别于传统的逐行搜索方法极大地依赖屏幕图像的完整性，克服了出现分散分布坏点或大面积坏点时排序错乱的不足，同时也解决了当屏幕与相机坐标系夹角过大时找点错位的问题。

Description

一种面向屏幕视觉检测的子像素排序方法及装置

技术领域

本发明属于图像处理领域，更具体地，涉及一种面向屏幕视觉检测的子像素排序方法及装置。

背景技术

主动发光型显示器，例如有机发光二极体(Organic Light Emitting Diode，OLED)显示屏，MiniLED显示屏，以及uLED显示屏具有高亮度、宽视角、主动发光、响应速度快等优点，随着市场对显示器大尺寸形态变化、超薄化、高分辨率的需求不断提升，导致OLED这些显示屏在制备过程产生缺陷的几率不断增加。提升制备工艺的同时，在出厂前进行缺陷检测或者是实施Demura来提升亮度均一性，是保证产品良率的关键，。传统人工检测的方法容易受人视力水平、情绪等和外界环境变化等因素的影响，利用机器视觉开展OLED显示屏缺陷的自动化光学检测(AOI)，其意义在于可以提高产品良率，提升使用寿命。

Mura缺陷是一种常见的面状缺陷，在屏幕上表现为显示亮度不均匀，其本质上是像素间的发光亮度差异，是OLED显示屏生产过程面临的严峻问题。，解决此类问题主要依赖Demura技术，其整体补偿方案主要包括OLED显示屏发光均匀性测量和外部驱动电流调整两个部分。具体来讲，利用高分辨CCD相机感光面接收OLED显示屏自发光点的光强信息，转化为屏幕相应像素的发光强度值，与相应灰阶下标准亮度数据比较，计算出像素的输入模拟信号的调整量，使用信号发生器驱动补偿模块对输入信号进行调整，但现有技术存在准确度不高的问题，同时，对像素缺失、图像有倾角等问题的解决也需要进一步研究。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种面向屏幕视觉检测的子像素排序方法及装置，包括：以特殊定位图的四个顶点坐标为基础，将定位图通过信号发神器导入待检测屏幕中，并用高分辨率相机拍摄目标图像并获取待排序图像，通过待排序图像中的特征点进行定位，找到待排序图像的四个顶点，经由透射变换将待排序图像网格化。在相机坐标系中以左上角点为起始点，同时通过网格交叉点的邻域内搜索极大值点对网格交叉点进行局部补偿校准，判定并记录符合要求的点坐标。

为实现上述目的，按照本发明的第一方面，提供了一种面向屏幕视觉检测的子像素排序方法，具体包括：

第一步，目标图像采集，获取待排序图像；

第二步，以特殊定位图为基础找到所述待排序图像特征点的坐标并获取四个顶点；

第三步，利用透射变换将图像网格化，以左上顶点为起始点，搜索网格点邻域内非零的中心点，记下坐标(x,y),若邻域内无非零点，则记下网格点坐标信息，直到所有点找完；

第四步，对网格点坐标信息进行校准及填补缺失坐标，完成排序。

进一步的，为了获取较小的图像，减少计算量的同时删除目标外的干扰点，所述获取待排序图像的方法是对所述目标图像下采样和阈值分割，这样使所述待排序图像较目标图像只有1/8甚至更小的数据量，极大减少了计算量。

进一步的，为了使顶点位置在缺失两个以内时仍可正常排序，所述获取四个顶点的方式是建立一个防错模型，所述防错模型包括三种情况，当特征点顶点只有两个对角线点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为三个顶点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为四个顶点时，确定四个顶点坐标并以左上角为起始点。进一步的，所述搜索网格点邻域内非零的中心点方法是以极大值为中心点或重心为中心点。

按照本发明的第二方面，还提供了一种面向屏幕视觉检测的子像素排序装置，包括：第一模块，用于目标图像采集，获取待排序图像；第二模块，用于以特殊定位图为基础找到待排序图像的特征点的坐标并获取四个顶点；第三模块，用于利用利用透射变换将图像网格化，以左上顶点为起始点，搜索网格点邻域内非零的中心点，记下坐标(x,y),若邻域内无非零点，则记下网格点坐标信息，直到所有点找完；第四模块，用于对网格点坐标信息进行校准及填补缺失坐标，完成排序。

进一步的，所述第一模块获取待排序图像的方法是对所述目标图像下采样和阈值分割。

进一步的，所述第二模块获取四个顶点的方式是建立一个防错模型，所述防错模型包括三种情况，当特征点顶点只有两个对角线点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为三个顶点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为四个顶点时，确定四个顶点坐标并以左上角为起始点。

进一步的，所述第三模块搜索网格点邻域内非零的中心点方法是以极大值为中心点或重心为中心点。

本发明提出的一种面向屏幕视觉检测的子像素排序方法及装置，在传统像素排序的基础上，对排序的起点定义，在像素缺失处理等方面进行了优化改进，提出了具有更好强适用性，计算方式更快的像素排序方法，能大幅提升现有Demura技术及显示屏画面AOI技术的准确性和精度，并对面板画面的自动光学检测AOI技术的后续图像处理算法开发大有裨益。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1是本发明实施例提供的子像素排序方法的流程示意图；

图2是实施例中显示屏点亮画面的成像像素点局部图及像素点搜索方向示意图；

图3是实施例中d/2邻域内搜索非零点示意图；

图4是实施例中缺失坐标补足结果样例图，其中，4(a)显示的是部分原始图及其中心点位置，4(c)显示的是部分原始图及其中心点位置标记，4(b)、4(d)中分别标记的是4(a)、4(c)两种情况下缺陷点的位置；

图5是实施例中全局坐标示意图；

图6是实施例中排序结果样例图；

图7是实施例中排序结果样例局部放大图。

具体实施方式

为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。此外，下面所描述的本发明的各个实施方式中所涉及到的技术特征只要彼此间未构成冲突就可以相互组合。

本实施例中排序装置利用排序方法，采用软件和/或硬件的方式实现，并可集成在电子设备上。

如图1是本发明实施例提供的子像素排序方法的流程示意图，在相机拍摄到的屏幕发光画面图像如图2所示，每个白团代表一个发光子像素，其排列近似于规则的二维晶格结构，晶胞及其排列方式就近似于白团的排列方式，在上一个位置点坐标(x1,y1)上顺次向内采用多项式插值方式，以此来大致预估下一个中心位置点的坐标(x2,y2)。

在(x1,y1)位置周围间隔为d/2区域内搜索非零值，如图3中方形框所示，d为亮团在相机图像坐标中的平均距离。假设搜索到(x′₂，y′₂)为非零点，那么以新的位置点代替(x2,y2)，若没搜索到非零点，那么该位置点(x2,y2)就代替并对应到当前的坐标系(n1,n2)，n1、n2分别代表该像素的横、纵坐标。按照上述方法，依次类推迭代最终校正或补足图像所有位置点的准确信息，循环往复得到全局的子像素成像白团所在位置的坐标信息。

子像素共享(Sub-PixelRendering,SPR)是在有较少的像素颗粒情况下，使用子像素光量共享技术达到高清分辨的彩色图像效果。每个主像素实际由两个子像素构成，它们以“红+绿”或“绿+蓝”“蓝+红”顺序周期排列而成。本发明方法对于像这样等多种类型显示屏也可以实现像素点的成像定位。实施例具体操作分为两个步骤：

(1)依据发光区的整体边界的长度和倾角，来间接等效代替局部的相邻中心点之间向量的长度和方向，并作为描述白团的“间隔向量”；

(2)间隔向量的初始点是前一个像素的中心位置点，末尾是后一个像素的中心位置点。以末尾坐标为定点，一定大小窗口范围内查找极值点图像上非零值点，作为下一个中心位置，查找失败则标记向量末尾为中心点。实现了对实际中心位置作微调整并补足暗点、缺陷点的位置，同时做排序标记，循环以上步骤找到所有的位置信息。

如图4所示，4(a)显示的是部分原始图及其中心点位置，中间有缺陷点的情况；4(c)显示的是部分原始图及其中心点位置标记，是边角有缺陷点的情况；在4(b)、4(d)中分别标记的是4(a)、4(c)两种情况下缺陷点的位置。

实施例以四个顶点坐标的左上角为起始点，当顶点缺失一个时可以根据其余三个顶点做出的矩形预估第四个顶点，当顶点缺失两个且已知的两个连线为对角线时，可以根据矩形的夹角以及已知的长宽比值计算出另外两个点的坐标信息，如图5所示，以四个顶点确定屏幕顶点，在网格点grid(i，j)的邻域内搜索坐标(x，y)，若存在记录该点，若不存在记录网格点坐标。

在计算得出四个顶点后可以依据下面公式(1)进行透视变换：

其中u，v是原始图片对应得到变换后的图片坐标x，y，w为变换系数，

由已知的四个点即可表示成：(0，0)→(x₀，y₀)，(1，0)→(x₁，y₁)，(1，1)→(x₂，y₂)，(0.1)→(x₃，y₃)。

a₃₁＝x₀

a₁₁+a₃₁-a₁₃x₁＝x₁

a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂＝x₂

a₂₁+a₃₁-a₂₃x₃＝x₃

a₃₂＝y₀

a₁₂+a₃₂-a₁₃y₁＝y₁

a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂＝y₂

a₂₂+a₃₂-a₂₃y₃＝y₃

当原平面与变换平面平行时：

a₁₁＝x₁-x₀

a₂₁＝x₂-x₁

a₃₁＝x₀

a₁₂＝y₁-y₀

a₂₂＝y₂-y₁

a₃₂＝y₀

a₁₃＝0

a₁₂＝0

反之：

a₁₁＝x₁-x₀+a₁₂x₁

a₂₁＝x₃-x₀+a₁₂x₂

a₃₁＝x₀

a₁₂＝y₁-y₀+a₁₃y₁

a₂₂＝y₃-y₀+a₂₃y₃

a₃₂＝y₀

其中：

Δx₁＝x₁-x₂ Δx₂＝x₃-x₂ Δx₃＝x₀-x₁+x₂-x₃

Δy₁＝y₁-y₂ Δy₂＝y₃-y₂ Δy₃＝y₀-y₁+y₂-y₃

求解上述透视变换矩阵(1)之后即可计算网格化的点来得到初始坐标。当坐标求解完成时排序已完成且得到的初始坐标会经过二次校准，排序结果如图6、如图7所示。

综上所述，本发明实施例可克服图像内部点群的分散性和整体偏转角度对中心点检测造成的困难，确保在图像倾斜和桶形失真情况下，仍保持良好的鲁棒性，解决了发光像素成像位置的确定问题，适用于工业上各类显示屏的光学亮度高精度测量。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种面向屏幕视觉检测的子像素排序方法，其特征在于，所述方法包括：

目标图像采集，获取待排序图像；

以特殊定位图为基础找到所述待排序图像特征点的坐标并获取四个顶点；

利用透射变换将图像网格化，以左上顶点为起始点，搜索网格点邻域内非零的中心点，记下坐标（x,y）,若邻域内无非零点，则记下网格点坐标信息，直到所有点找完；

对网格点坐标信息进行校准及填补缺失坐标，完成排序。

2.根据权利要求1所述一种面向屏幕视觉检测的子像素排序方法，其特征在于，所述获取待排序图像的方法是对所述目标图像下采样和阈值分割。

3.根据权利要求1所述一种面向屏幕视觉检测的子像素排序方法，其特征在于，所述获取四个顶点的方式是建立一个防错模型，所述防错模型包括三种情况，当特征点顶点只有两个对角线点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为三个顶点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为四个顶点时，确定四个顶点坐标并以左上角为起始点。

4.根据权利要求1所述的面向屏幕视觉检测的子像素排序方法，其特征在于，所述搜索网格点邻域内非零的中心点方法是以极大值为中心点或重心为中心点。

5.一种面向屏幕视觉检测的子像素排序装置，其特征在于，包括：

第一模块，用于目标图像采集，获取待排序图像；

第二模块，用于以特殊定位图为基础找到待排序图像的特征点的坐标并获取四个顶点；

第三模块，用于利用利用透射变换将图像网格化，以左上顶点为起始点，搜索网格点邻域内非零的中心点，记下坐标（x,y）,若邻域内无非零点，则记下网格点坐标信息，直到所有点找完；

第四模块，用于对网格点坐标信息进行校准及填补缺失坐标，完成排序。

6.根据权利要求5所述一种面向屏幕视觉检测的子像素排序装置，其特征在于，所述第一模块获取待排序图像的方法是对所述目标图像下采样和阈值分割。

7.根据权利要求5所述一种面向屏幕视觉检测的子像素排序装置，其特征在于，所述第二模块获取四个顶点的方式是建立一个防错模型，所述防错模型包括三种情况，当特征点顶点只有两个对角线点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为三个顶点时，补充缺失点坐标，并以左上角为起始点；当特征点顶点为四个顶点时，确定四个顶点坐标并以左上角为起始点。

8.根据权利要求5所述一种面向屏幕视觉检测的子像素排序装置，其特征在于，所述第三模块搜索网格点邻域内非零的中心点方法是以极大值为中心点或重心为中心点。