CN112561913B - 一种显示面板mura缺陷样本数据的生成方法及装置 - Google Patents

Abstract

本发明公开了一种显示面板mura缺陷样本数据的生成方法及装置，通过颜色域的转换将与图像采集装置颜色域对应的第一缺陷样本数据得到与显示面板颜色域对应的第二缺陷样本数据，通过与背景图像样本数据融合得到对应的融合数据后，再通过gamma转换得到显示面板驱动数据，或者将第二缺陷样本数据进行gamma转换为显示面板对应的驱动数据，再进行背景图像样本数据的融合，消除图像采集装置的RGB的响应曲线和显示屏的发光光谱之间存在交叠带来的影响，从而使得后续通过PG及相机对其进行成像后的得到的图像相对真实。

Description

一种显示面板mura缺陷样本数据的生成方法及装置

技术领域

本发明属于人工智能技术领域，具体涉及一种显示面板mura缺陷样本数据的生成方法及装置。

背景技术

现有技术中，显示面板显示缺陷检测一般是通过人眼观察或者通过深度神经网络模型进行检测。人眼检测的过程存在很强的主观性，不利于严格划分等级，同时随着工作时间的延长，人也会出现疲劳，导致检测效率降低；而通过深度神经网络模型进行检测，需要通过大量的训练样本训练出用于缺陷检测的深度神经网络模型。

训练样本的真实性以及多样性会直接影响训练出的用于缺陷检测的深度神经网络模型的优劣性。目前，一般是对原始图片进行裁剪、缩放，增加噪声、改变亮暗程度、旋转等常规变换来进行数据扩展，从而得到训练样本。这种方式得到的训练样本的真实性以及多样性较差，从而导致训练得到的深度神经网络模型的通用性和泛化性难以满足实际的缺陷检测需求。

以色偏Mura缺陷为示例，在显示面板的光学自动化检测中，色偏Mura是重点也是难点，人眼对色偏Mura也最难以接受。使用传统的图像处理算法，准确率不高 ，同时不能应对产线出现色偏Mura的多样性。深度学习训练需要大量的样本，但在工业中产品生产的初期能收集到样本数量非常有限，不能满足训练的需要，例如彩色相机的RGB的响应曲线和OLED等显示屏的发光光谱之间存在交叠，相机不能准确获得OLED显示屏的色偏，由于现场缺陷小图是属于cRGB（彩色相机的RGB），与实际屏幕实际显示的RGB（dRGB）并不相符，造成后续通过PG及相机对其进行成像后的得到的图像也并不真实。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种显示面板mura缺陷样本数据的生成方法及装置，以解决现有技术中因为训练样本的真实性以及多样性导致训练得到的深度神经网络模型的通用性和泛化性难以满足实际缺陷检测需求的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种显示面板mura缺陷样本数据的生成方法，该方法包括：

获取具有mura缺陷的缺陷屏显示的图像在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，第一颜色域为色度探测设备对应的颜色域，第二颜色域为显示面板显示对应的颜色域；

在第二颜色域下，将第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合，或者第二缺陷样本数据与所述背景图像进行融合，获得融合之后的图像数据；

利用标准显示屏显示融合后的图像数据，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。

作为本发明的进一步改进，色度探测设备为：

彩色相机，利用彩色相机获取显示的图像各像素点的RGB值，将 各像素点的RGB值作为第一缺陷样本数据；或，

成像式色度计，利用成像式色度计获取显示的图像各像素点的三刺激值XYZ，将图像各像素点的三刺激值XYZ转换为对应的RGB值，将RGB值作为第一缺陷样本数据。

作为本发明的进一步改进，色度探测设备对应的颜色域为在色度探测设备的光谱下显示的图像各个像素点的RGB值，显示面板显示对应的颜色域为在显示面板的光谱下各个像素点的RGB值。

作为本发明的进一步改进，将第一缺陷样本数据转换为第二缺陷样本数据具体为：

获取缺陷屏的非缺陷区域或者标准显示屏的若干像素点在第一颜色域下的第三样本数据，及在第二颜色域下的第四样本数据，利用第三样本数据和第四样本数据拟合得到第一颜色域与第二颜色域之间的转换矩阵；

根据转换矩阵将第一缺陷样本数据转换为第二缺陷样本数据。

作为本发明的进一步改进，将第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合包括：

图像处理包括改变第二缺陷样本数据的大小和/或强度和/或位置，得到多幅经过图像处理后的数据；

将多幅经过图像处理后的数据分别与背景图像进行融合，得到融合之后的多幅图像数据。

作为本发明的进一步改进，利用标准显示屏显示所述融合后的图像数据包括：

获取标准显示屏的gamma曲线，根据标准显示屏的gamma曲线获取融合后的图像数据的驱动值，根据驱动值驱动标准显示屏，从而显示融合之后的图像。

为实现上述目的，按照本发明的一个方面，提供了一种显示面板mura缺陷样本数据的生成方法，该方法包括：

获取具有mura缺陷的缺陷屏显示的图像在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，第一颜色域为色度探测设备对应的颜色域，第二颜色域为显示面板显示对应的颜色域；

在第二颜色域下，获取第二缺陷样本数据和背景图像在标准显示屏下的驱动值，将第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；或者，将第二缺陷样本数据进行图像处理，获取经过图像处理的第二缺陷样本数据和背景图像在标准显示屏下的驱动值，将经过图像处理的第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；

根据融合后的驱动值驱动标准显示屏，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。

作为本发明的进一步改进，色度探测设备对应的颜色域为在色度探测设备的光谱下显示的图像各个像素点的RGB值，显示面板显示对应的颜色域为在显示面板的光谱下各个像素点的RGB值。

为实现上述目的，按照本发明的一个方面，提供了一种显示面板mura缺陷样本数据的生成装置，该装置包括：

颜色域转换单元，用于获取具有mura缺陷的缺陷屏在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，第一颜色域为色度探测设备对应的颜色域，第二颜色域为显示面板显示对应的颜色域；

缺陷数据融合单元，用于在第二颜色域下，将第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合，或者第二缺陷样本数据与所述背景图像进行融合，获得融合之后的图像数据；或者用于获取标准显示屏的gamma曲线，根据标准显示屏的gamma曲线分别获取第二缺陷样本数据的驱动值和背景图像的驱动值，将第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；

缺陷样本生成单元，用于利用标准显示屏显示所述融合后的图像数据，或者根据融合后的驱动值驱动标准显示屏，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。

作为本发明的进一步改进，色度探测设备对应的颜色域为在色度探测设备的光谱下显示的图像各个像素点的RGB值，显示面板显示对应的颜色域为在显示面板的光谱下各个像素点的RGB值。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明的一种显示面板mura缺陷样本数据的生成方法及装置，通过颜色域的转换得到与显示面板颜色域对应的第二缺陷样本数据，通过与背景图像样本数据融合得到对应的融合数据后，再转换得到显示面板驱动数据，或者将第二缺陷样本数据转换为显示面板驱动数据，再进行背景图像样本数据的融合，通过该方式消除图像采集装置的RGB的响应曲线和显示屏的发光光谱之间存在交叠带来的影响，从而使得后续通过PG及相机对其进行成像后的得到的图像相对真实。

本发明的一种显示面板mura缺陷样本数据的生成方法及装置，通过背景图像样本数据和缺陷样本数据的多种融合方式，生成多样性以及真实性均较高的训练数据集，从而使得基于该训练数据集训练得到的用于缺陷检测的深度神经网络模型具有高度泛化性和通用性。

附图说明

图1为本发明技术方案的一种显示面板mura缺陷样本数据的生成方法的示意图之一；

图2为本发明技术方案的一种显示面板mura缺陷样本数据的生成方法的示意图之二。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。

本发明所涉及的技术术语解释如下：

显示屏Mura缺陷：显示时的亮度和色度（颜色）不均匀性造成的缺陷，具体的观察方法如：需要显示一个平整且一致性很好纯白色墙面，需要对各个像素点给予相同的驱动强度信号如W128，由于显示器的TFT晶体管开关速率阻抗等不能做到完全一致，人眼看到的显示器上的“纯白墙面”是有亮暗且局部发黄的墙面；

颜色域：由于颜色感知是（人）复杂的感觉和认知，属于一个高维度空间信号，表征这个信号有多种不同的方法，也就是有多种颜色域。类似于空间坐标系有平面（笛卡尔）坐标系，极坐标系，还有球面坐标系，柱面坐标系等，都是可以通过一些方法想换转换；b.颜色本质上也是一种对某一感知或物理量的描述，例如，RGB彩色相机的响应颜色空间是由RGB彩色相机的光谱响应曲线决定，RGB彩色显示屏的显示颜色空间由RGB彩色显示屏的发光光谱曲线决定，RGB彩色显示屏的驱动显示颜色空间是由RGB彩色显示屏的Gamma曲线和发光光谱曲线共同决定。

图1为本发明技术方案的一种显示面板mura缺陷样本数据的生成方法的示意图之一。如图1所示，在一个实施例中，提供了一种显示面板mura缺陷样本数据的生成方法，该方法包括：

利用色度探测设备（如彩色相机或成像式色度计）获取第一颜色域下第一缺陷样本数据，并将其转换为第二颜色域下的第二缺陷样本数据，其中，第一颜色域为色度探测设备对应的颜色域，例如，色度探测设备对应的颜色域为在色度探测设备的光谱下显示的图像各个像素点的RGB值，第二颜色域为显示面板显示对应的颜色域，例如，显示面板显示对应的颜色域为在显示面板的光谱下各个像素点的RGB值；作为一个示例，第一缺陷样本数据包括缺陷样本区域内像素点及与第一颜色域对应的第一Gamma调制值，第二缺陷样本数据包括缺陷样本区域内像素点及与第二颜色域对应的第二Gamma调制值，其中，Gamma调制值为亮度或色度，还可以依据需要调整为其他可反映Gamma调制绑点特性的参量；

获取第二颜色域下背景图像样本数据，该背景图像样本数据可以为已有样本数据或者通过已有样本数据变形得到，将至少一个第二缺陷样本数据和至少一个背景图像样本数据进行融合，并结合显示面板像素点的Gamma曲线获取与融合数据对应的所有像素点的寄存器值，背景图像样本数据包括所有像素点与第二颜色域对应的第二Gamma调制值，显示面板像素点的Gamma曲线用于表征显示面板的单个像素点的寄存器值与Gamma调制值之间的映射关系；

利用所有像素点的寄存器值驱动显示面板进行画面显示，通过图像采集装置获取第一颜色域下显示面板的显示数据以生成缺陷样本更新数据，利用缺陷样本更新数据更新缺陷样本数据集。

作为一种优选的方式，将第一缺陷样本数据转换为第二颜色域下的第二缺陷样本数据具体为：

获取所述缺陷屏的非缺陷区域或者标准显示屏的若干像素点，在第一颜色域下对应的第一Gamma调制值，在第二颜色域下对应的第二Gamma调制值，不同像素点所对应的第一Gamma调制值和第二Gamma调制值的变化趋势相同，可以近似为线性变换关系，即可以认为不同像素点所对应的第一Gamma调制值和第二Gamma调制值之间的转换矩阵近似相同，因此，可以通过选取若干像素点的第一Gamma调制值和第二Gamma调制值样本数据，线性拟合获取单个像素点对应的第一Gamma调制值与第二Gamma调制值的转换矩阵，利用转换矩阵将第一缺陷样本数据转换为第二颜色域下的第二缺陷样本数据。

优选的，将至少一个第二缺陷样本数据和至少一个背景图像样本数据进行融合包括：

分别在至少一个背景图像样本上添加不同类型的第二缺陷样本数据；

和/或，分别在至少一个背景图像样本的不同位置上添加第二缺陷样本数据；

和/或，分别在至少一个背景图像样本上添加同一类型不同大小的第二缺陷样本数据；

和/或，分别在至少一个背景图像样本上添加同一类型不同对比度的第二缺陷样本数据。以第二缺陷样本数据为Mura缺陷为例，例如背景图像样本为图像A，对图像A进行复制，得到多张图像A，然后在每张图像A上添加不同类型的Mura缺陷。例如，在一图片A上添加点类型的Mura缺陷，在另一图片A上添加线类型的Mura缺陷，在另一图片A上添加面类型的Mura缺陷等等。和/或，在每张图像A上的不同位置添加Mura缺陷。例如，在一图片A的位置1上添加Mura缺陷，在另一图片A的位置2上添加Mura缺陷，在另一图片A的位置3上添加Mura缺陷等等。和/或，在每张图像A上添加同一类型不同大小的Mura缺陷。例如，分别在每张图片A上的固定位置添加类型相同但大小不同的Mura缺陷，或分别在每张图片A上的随机位置上添加类型相同但大小不同的Mura缺陷。和/或，在每张图像A上添加同一类型不同对比度的Mura缺陷。例如，分别在每张图片A上的固定位置添加类型相同但对比度不同的Mura缺陷，或分别在每张图片A上的随机位置上添加类型相同但对比度不同的Mura缺陷。通过本实施例，可大大提高缺陷样本图片集的多样性，从而提高后续生成的训练数据集的多样性。

图2为本发明技术方案的一种显示面板mura缺陷样本数据的生成方法的示意图之二。如图2所示，在另一个实施例中，提供了一种显示面板mura缺陷样本数据的生成方法，该方法包括：

获取第一颜色域下第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，第二颜色域为成像式色度计对应的颜色域；所述第一缺陷样本数据包括缺陷样本区域内像素点及与第一颜色域对应的第一Gamma调制值，所述第二缺陷样本数据包括缺陷样本区域内像素点及与第二颜色域对应的第二Gamma调制值；

利用显示面板像素点的Gamma曲线和第二缺陷样本数据获取第三缺陷样本数据，第三缺陷样本数据为缺陷样本区域内像素点的寄存器值；

获取第二颜色域下背景图像样本数据，背景图像样本数据为与其对应的所有像素点的寄存器值；

将至少一个第三缺陷样本数据和至少一个背景图像样本数据进行融合，显示面板像素点的Gamma曲线用于表征显示面板的单个像素点的寄存器值与Gamma调制值之间的映射关系；

利用所有像素点的寄存器值驱动显示面板，获取第一颜色域下显示面板的显示数据以生成缺陷样本更新数据，利用缺陷样本更新数据更新缺陷样本集。

作为一种优选的方式，将第一缺陷样本数据转换为第二颜色域下的第二缺陷样本数据具体为：

获取缺陷屏的非缺陷区域或者标准显示屏的若干像素点，在第一颜色域下对应的第一Gamma调制值，在第二颜色域下对应的第二Gamma调制值，不同像素点所对应的第一Gamma调制值和第二Gamma调制值的变化趋势相同，可以近似为线性变换关系，即可以认为不同像素点所对应的第一Gamma调制值和第二Gamma调制值之间的转换矩阵近似相同，因此，可以通过选取若干像素点的第一Gamma调制值和第二Gamma调制值样本数据，线性拟合获取单个像素点对应的第一Gamma调制值与第二Gamma调制值的转换矩阵，利用转换矩阵将第一缺陷样本数据转换为第二颜色域下的第二缺陷样本数据。

优选的，将至少一个第三缺陷样本数据和至少一个背景图像样本数据进行融合包括：

利用部分或全部第二缺陷样本数据中像素点的驱动值取代背景图像中对应的像素点的驱动值。通过本实施例，可大大提高缺陷样本图片集的多样性，从而提高后续生成的训练数据集的多样性。

一种显示面板mura缺陷样本数据的生成装置，该装置包括：

颜色域转换单元，用于获取具有mura缺陷的缺陷屏在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，第一颜色域为色度探测设备对应的颜色域，第二颜色域为显示面板显示对应的颜色域；

缺陷数据融合单元，用于在第二颜色域下，将第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合，或者第二缺陷样本数据与所述背景图像进行融合，获得融合之后的图像数据；或者用于获取标准显示屏的gamma曲线，根据标准显示屏的gamma曲线分别获取第二缺陷样本数据的驱动值和背景图像的驱动值，将第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；

缺陷样本生成单元，用于利用标准显示屏显示所述融合后的图像数据，或者根据融合后的驱动值驱动标准显示屏，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。该装置的实现原理、技术效果与上述方法类似，在此不做累述。

与上述显示面板的缺陷样本数据集的生成方法相对应地，本发明还公开了一种计算机可读介质，其存储有可由终端设备执行的计算机程序，当程序在终端设备上运行时，使得终端设备执行上述生成方法的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种显示面板mura缺陷样本数据的生成方法，其特征在于，所述方法包括：

获取具有mura缺陷的缺陷屏显示的图像在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，所述第一颜色域为色度探测设备对应的颜色域，所述第二颜色域为显示面板显示对应的颜色域；

在第二颜色域下，将所述第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合，或者所述第二缺陷样本数据与所述背景图像进行融合，获得融合之后的图像数据；

利用标准显示屏显示所述融合后的图像数据，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。

2.根据权利要求1所述的一种显示面板mura缺陷样本数据的生成方法，其中，所述色度探测设备为：

彩色相机，利用所述彩色相机获取所述显示的图像各像素点的RGB值，将所述各像素点的RGB值作为第一缺陷样本数据；或，

成像式色度计，利用所述成像式色度计获取所述显示的图像各像素点的三刺激值XYZ，将所述图像各像素点的三刺激值XYZ转换为对应的RGB值，将所述RGB值作为第一缺陷样本数据。

3.根据权利要求1所述的一种显示面板mura缺陷样本数据的生成方法，其中，所述色度探测设备对应的颜色域为在所述色度探测设备的光谱下所述显示的图像各个像素点的RGB值，所述显示面板显示对应的颜色域为在所述显示面板的光谱下各个像素点的RGB值。

4.根据权利要求1所述的一种显示面板mura缺陷样本数据的生成方法，其中，将第一缺陷样本数据转换为第二缺陷样本数据具体为：

获取所述缺陷屏的非缺陷区域或者标准显示屏的若干像素点在第一颜色域下的第三样本数据，及在第二颜色域下的第四样本数据，利用第三样本数据和第四样本数据拟合得到第一颜色域与第二颜色域之间的转换矩阵；

根据所述转换矩阵将所述第一缺陷样本数据转换为第二缺陷样本数据。

5.根据权利要求1-4中任一项所述的一种显示面板mura缺陷样本数据的生成方法，其中，将所述第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合包括：

所述图像处理包括改变所述第二缺陷样本数据的大小和/或强度和/或位置，得到多幅经过图像处理后的数据；

将所述多幅经过图像处理后的数据分别与背景图像进行融合，得到融合之后的多幅图像数据。

6.根据权利要求1-4中任一项所述的一种显示面板mura缺陷样本数据的生成方法，其中，利用标准显示屏显示所述融合后的图像数据包括：

获取所述标准显示屏的gamma曲线，根据所述标准显示屏的gamma曲线获取所述融合后的图像数据的驱动值，根据所述驱动值驱动所述标准显示屏，从而显示所述融合之后的图像。

7.一种显示面板mura缺陷样本数据的生成方法，其特征在于，所述方法包括：

获取具有mura缺陷的缺陷屏显示的图像在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，所述第一颜色域为色度探测设备对应的颜色域，所述第二颜色域为显示面板显示对应的颜色域；

在第二颜色域下，获取所述第二缺陷样本数据和背景图像在标准显示屏下的驱动值，将第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；或者，将所述第二缺陷样本数据进行图像处理，获取经过图像处理的所述第二缺陷样本数据和背景图像在标准显示屏下的驱动值，将经过图像处理的所述第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；

根据融合后的驱动值驱动所述标准显示屏，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。

8.根据权利要求7所述的一种显示面板mura缺陷样本数据的生成方法，其中，所述色度探测设备对应的颜色域为在所述色度探测设备的光谱下所述显示的图像各个像素点的RGB值，所述显示面板显示对应的颜色域为在所述显示面板的光谱下各个像素点的RGB值。

9.一种显示面板mura缺陷样本数据的生成装置，其特征在于，所述装置包括：

颜色域转换单元，用于获取具有mura缺陷的缺陷屏在第一颜色域下的第一缺陷样本数据，并转换为第二颜色域下的第二缺陷样本数据，其中，所述第一颜色域为色度探测设备对应的颜色域，所述第二颜色域为显示面板显示对应的颜色域；

缺陷数据融合单元，用于在第二颜色域下，将所述第二缺陷样本数据进行图像处理，将处理后的图像与背景图像进行融合，或者所述第二缺陷样本数据与所述背景图像进行融合，获得融合之后的图像数据；或者用于获取标准显示屏的gamma曲线，根据所述标准显示屏的gamma曲线分别获取所述第二缺陷样本数据的驱动值和背景图像的驱动值，将第二缺陷样本数据的驱动值和背景图像的驱动值进行融合；

缺陷样本生成单元，用于利用标准显示屏显示所述融合后的图像数据，或者根据融合后的驱动值驱动所述标准显示屏，并利用图像采集器采集标准显示屏的图像数据，得到样本数据。

10.根据权利要求9所述的一种显示面板mura缺陷样本数据的生成装置，其中，所述色度探测设备对应的颜色域为在所述色度探测设备的光谱下所述显示的图像各个像素点的RGB值，所述显示面板显示对应的颜色域为在所述显示面板的光谱下各个像素点的RGB值。

Images