CN114862856B - 一种面板缺陷区域识别方法、装置、电子设备及介质 - Google Patents

Abstract

本申请公开了一种面板缺陷区域识别方法、装置、电子设备及介质，旨在解决现有识别方法对面板缺陷识别准确率较低的技术问题；涉及人工智能领域。所述面板缺陷区域识别方法，包括以下步骤：获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；基于所述差分图像，识别获得所述待识别图像的缺陷区域。

Description

一种面板缺陷区域识别方法、装置、电子设备及介质

技术领域

本申请涉及人工智能领域，尤其涉及一种面板缺陷区域识别方法、装置、电子设备及介质。

背景技术

工业面板制造过程中因其工艺波动、机台差异等因素，会使得所制造面板产生各种各样的面板缺陷。目前大多数工业面板的缺陷检测基本都是工人肉眼观察或者借助放大镜肉眼观察，容易发生漏检错检的情况。

因此，亟需一种识别缺陷位置准确率更高的方法。

发明内容

本申请的主要目的是提供一种面板缺陷区域识别方法、装置、电子设备及介质，旨在解决现有识别方法对面板缺陷识别准确率较低的技术问题。

为解决上述技术问题，本申请提出了：一种面板缺陷区域识别方法，包括以下步骤：

获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；

基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；

对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；

基于所述差分图像，识别获得所述待识别图像的缺陷区域。

作为本申请一些可选实施方式，所述基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像，包括：

基于所述待识别图像，获得所述待识别图像的裁切像素错位值；

基于所述待识别图像的裁切像素错位值，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像。

在上述可选实施方式中，面板图像通常会呈现出一定的规律，因此本申请主要利用差分处理技术对所述面板图像中的缺陷区域进行识别；而在对所述面板图像进行差分处理之前，需要对所述面板图像进行预处理，即将所述面板图像按照其图像中像素点的规律分布进行像素错位值设置，并基于所述像素错位值、按照相同尺寸对所述面板图像进行裁切，从而获得第一裁切图像和第二裁切图像。

作为本申请一些可选实施方式，所述基于所述待识别图像，获得所述待识别图像的裁切像素错位值，包括：

基于所述待识别图像，获得相邻像素距离值；

基于所述相邻像素距离值，获得所述待识别图像的裁切像素错位值。

在上述可选实施方式中，所述方法可以针对不同的待识别图像，获得更适合的裁切像素错位值，以提高后续图像差分处理时的准确率。

作为本申请一些可选实施方式，所述基于所述待识别图像，获得相邻像素距离值，包括：

基于所述待识别图像，获得待识别图像的基本数据库；所述基本数据库包括：图像数据指针数据、图像宽度数据、图像高度数据、图像通道数据和图像位深数据；

基于所述基本数据库，获得相邻像素距离值。

在上述可选实施方式中，可以更好的对所述待识别图像进行裁切框的设置，以提高后续图像差分处理的准确率。

作为本申请一些可选实施方式，所述基于所述基本数据库，获得相邻像素距离值，包括：

基于基本数据库，获得第一像素区域的第一中心点坐标值和第二像素区域的第二中心点坐标值；所述第一像素区域和所述第二像素区域处于同一水平线或同一垂直线；

基于所述第一中心点坐标值和所述第二中心点坐标值，获得相邻像素距离值。

在上述可选实施方式中，选择处于同一水平线或同一垂直线的第一像素区域和第二像素区域，并基于所述第一像素区域的第一中心点坐标值和所述第二像素区域的第二中心点坐标值，获得相邻像素距离值；可以看出，该方法适用于不同的待识别图像，并可以基于不同的待识别图像，都可以计算获得准确的相邻像素距离值，以更好的对所述待识别图像进行裁切，使后续图像差分处理的结果更为准确。

作为本申请一些可选实施方式，所述基于所述第一中心点坐标值和所述第二中心点坐标值，获得相邻像素距离值，包括：

基于所述第一中心点坐标值和所述第二中心点坐标值，获得所述第一中心点和所述第二中心点的间距值；

基于所述中心点间距值，获得相邻像素距离值。

在上述可选实施方式中，提供了一种更具体的获得相邻像素距离值的方法，通过上述方法可以获得更准确的相邻像素距离值。

作为本申请一些可选实施方式，所述待识别图像的裁切像素错位值为所述相邻像素距离值的N倍，N为≥1的整数。

在上述可选实施方式中，为了适用于不同的待识别图像，并降低裁切难度，将所述待识别图像的裁切像素错位值限定为所述相邻像素距离值的N倍，N为≥1的整数，当然，所述N越小越好。

作为本申请一些可选实施方式，所述基于所述待识别图像的裁切像素错位值，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像，包括：

基于所述待识别图像的裁切像素错位值，获得所述待识别图像的第一裁切框和所述待识别图像的第二裁切框；

基于所述第一裁切框，对所述待识别图像进行裁切，获得第一裁切图像；

基于所述第二裁切框，对所述待识别图像进行裁切，获得第二裁切图像。

在上述可选实施方式中，基于所述待识别图像特征，获得在差分处理时需要上下错位像素值，假设需要上下错位X个像素作差，那么基于此，在对所述待识别图像进行裁切时，所述第一裁切图像的裁切框坐标为（- X，0，height-1，width 1），其中（- X，0）为裁切框在图像上的左上坐标，（height-1，width 1）为裁切框在图像上的右下坐标；所述第二裁切图像的裁切框坐标为（0，0，height-X-1，width-1），其中（0，0）为裁切框在图像上的左上坐标，（height-1，width 1）为裁切框在图像上的右下坐标。在具体应用中，可以通过将待识别图像输入至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切框坐标，从而对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；或输入裁切框坐标至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切后图像，即第一裁切图像和第二裁切图像。

作为本申请一些可选实施方式，所述第一裁切图像和所述第二裁切图像在垂直方向或水平方向存在像素错位值。

作为本申请一些可选实施方式，所述对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像，包括：

基于所述第一裁切图像和所述第二裁切图像，将所述第一裁切图像和所述第二裁切图像重合，计算所述第一裁切图像和所述第二裁切图像对应像素点的灰度值差；

基于所述灰度值差，获得所述第一裁切图像和所述第二裁切图像的图像差分图像。

在上述可选实施方式中，通过计算所述第一裁切图像和所述第二裁切图像对应像素点的灰度值差，以判断所述待识别图像中是否具有缺陷区域；而为了更准确的计算所述第一裁切图像和所述第二裁切图像对应像素点的灰度值差，在计算所述第一裁切图像和所述第二裁切图像对应像素点的灰度值差之前，需先将所述第一裁切图像和所述第二裁切图像对其，即将对应的像素点进行重合。

作为本申请一些可选实施方式，所述基于所述差分图像，识别获得所述待识别图像的缺陷区域，包括：

基于所述差分图像，对所述差分图像进行二值化处理，识别获得所述待识别图像的缺陷区域。

在上述可选实施方式中，为了更好的识别所述待识别图像中是否包含缺陷区域，对所述差分图像进行二值化处理，以使得所述待识别图像中的缺陷区域更为突出，从而提高对所述待识别图像中缺陷区域的识别率。

作为本申请一些可选实施方式，所述基于所述差分图像，对所述差分图像进行二值化处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述差分图像，对所述差分图像进行二值化处理，获得第一识别图像；

基于所述第一识别图像，对所述第一识别图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域。

在上述可选实施方式中，为了提高对所述待识别图像的缺陷区域的识别效率，本申请采用Blob分析技术提取获得所述第一识别图像中的连通域分析处理，并分析获得所述第一识别图像中的连通域的宽度、高度、面积、矩形相似度、圆形相似度、轮廓长度等信息，再通过这些信息识别获得所述待识别图像的缺陷区域。

作为本申请一些可选实施方式，所述基于所述第一识别图像，对所述第一识别图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述第一识别图像，对所述第一识别图像进行膨胀处理，获得第二识别图像；

基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域。

在上述可选实施方式中，对所述第一识别图像进行连通域分析处理，即形态学闭运算后，识别获得所述待识别图像的缺陷区域；所述形态学闭运算是指先将所述第一识别图像进行膨胀处理后，即把二值化后的图像每个像素点连接成分的边界扩大一层后获得第二识别图像；再将所述第二识别图像中的缺陷区域图像进行连通域分析处理，即把二值化图像中每个像素连接成分的边界缩小一层后，识别获得所述待识别图像的缺陷区域；在具体实施过程中，所述将二值化后的图像每个像素点连接成分的边界扩大一层或缩小一层的层数可以根据实际情况设置。

作为本申请一些可选实施方式，所述基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，获得若干连通区域图像；

基于若干所述连通区域图像，与预设阈值信息相比，识别获得所述待识别图像的缺陷区域。

在上述可选实施方式中，基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域过程中，会先基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，获得若干连通区域图像；再将若干所述连通区域图像，与预设阈值信息相比，识别获得所述待识别图像的缺陷区域。这里的预设阈值是为了将目标体即缺陷区域和背景即正常区域之间进行有效分割，可以根据实际应用场景进行设置。

为解决上述技术问题，本申请还提供了：一种面板缺陷区域识别装置，包括：

图像获取模块，用于获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；

图像裁切模块，用于基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；

图像差分模块，用于对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；

缺陷识别模块，用于基于所述差分图像，识别获得所述待识别图像的缺陷区域。

为解决上述技术问题，本申请还提供了：一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如上所述的方法。

为解决上述技术问题，本申请还提供了：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如上所述的方法。

与现有技术相比，本申请所述面板缺陷区域识别方法，通过将包含目标缺陷区域的待识别图像进行裁切获得大小相同，但存在像素错位的第一裁切图像和第二裁切图像；由于面板图像会呈现出一定的规律，因此本申请将所述第一裁切图像和所述第二裁切图像进行图像差分处理，即将所述第一裁切图像和所述第二裁切图像在对齐后，针对两张裁切图像中对应的像素点的像素值相减，以削弱两张裁切图中的相同部分，突出显示两张裁切图像中的差异部分；即如果面板图像中不包含缺陷区域，那么像素错位的两张裁切图像应当为完全相同的，继而两张裁切图像的像素值差应当是全为0，因此对应获得的差分图像也应当是全黑色的；但如果说待识别面板图像中包含了缺陷区域，导致两张裁切图像存在差异部分，那么两张裁切图像中差异部分的像素值差应当是大于0的，因此对应获得的差分图像也应当存在非黑色区域，即缺陷区域。由此可见，通过本申请所述方法能有效识别待识别面板图像中的缺陷区域。

附图说明

图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；

图2为本申请实施例所述面板缺陷区域识别方法的流程示意图；

图3为本申请实施例所述的待识别图像一；

图4为本申请实施例所述待识别图像一的第一裁切图像；

图5为本申请实施例所述待识别图像一的第二裁切图像；

图6为本申请实施例所述的待识别图像二；

图7为本申请实施例所述待识别图像二的第一裁切图像；

图8为本申请实施例所述待识别图像二的第二裁切图像；

图9为本申请实施例所述待识别图像一的差分图像；

图10为本申请实施例所述待识别图像二的差分图像；

图11为本申请实施例所述待识别图像一的缺陷阈值图；

图12为本申请实施例所述待识别图像二的缺陷阈值图；

图13为本申请实施例所述待识别图像一的识别结果图像；

图14为本申请实施例所述待识别图像二的识别结果图像；

图15为本申请实施例所述电视屏幕面板放大后的晶体管图；

图16为本申请实施例所述晶体管图的像素选择示意图；

图17为本申请实施例所述晶体管图的第一裁切图像；

图18为本申请实施例所述晶体管图的第二裁切图像；

图19为本申请实施例所述晶体管图的第一裁切图像和第二裁切图像的差分图像；

图20为本申请实施例所述晶体管图的识别缺陷图像；

图21为本申请实施例所述面板缺陷区域识别装置的功能模块示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

工业面板制造过程中因其工艺波动、机台差异等因素会产生各种各样的面板形态缺陷，通过面板缺陷区域的识别可以很好地了解在面板制造过程中所出现的缺陷原因，从而可以减少后续工业面板出现相同的缺陷问题提高工业面板的制造效率。目前大多数工业面板的缺陷检测基本都是工人肉眼观察或者借助放大镜肉眼观察，但由于人工目视定位缺陷存在不稳定性，不同的检测人员的检测标准难以统一，且在检测人员的长时间工作的疲劳状态下同样可能导致目测分类结果不准确，因此容易发生漏检错检的情况。

因此，亟需一种识别缺陷位置准确率更高的方法。

参照图1，图1为本申请的实施例涉及的硬件运行环境的电子设备结构示意图。

如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在图1所示的电子设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的面板缺陷区域识别装置，并执行本申请实施例提供的面板缺陷区域识别方法。

如图2所示，本申请实施例提供了：一种面板缺陷区域识别方法，包括以下步骤：

S10、获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像。

在具体的应用中，待识别图像是指需要识别是否具有缺陷的面板，所述待识别图像可通过人工拍照或AOI获得，在实际应用中，所述待识别图像还可以是经过计算机视觉算法处理后获得的。所述计算机视觉算法是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器识别的图像。所述面板图像是指在工业制造过程所生产出的工业面板图像，如工艺面板、液晶面板以及电子面板等。

S20、基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位。

在具体的应用中，面板图像通常会呈现出一定的规律，因此本申请主要利用差分处理技术对所述面板图像中的缺陷区域进行识别；而在对所述面板图像进行差分处理之前，需要对所述面板图像进行预处理，即将所述面板图像按照其图像中像素点的规律分布进行像素错位值设置，并基于所述像素错位值、按照相同尺寸对所述面板图像进行裁切，作为后续图像差分处理的第一裁切图像和第二裁切图像。当然，在对所述面板图像进行裁切之前，也可以先基于所述待识别图像，获取所述图像的基础数据，如图像数据指针、图像宽度、图像高度、图像通道数和图像位深等数据；具体的获取方法可以是由halcon算法库的get_image_size(输入图像,输出宽度,输出高度)获得。在获取所述图像的基础数据之后，通过所述待识别图像特征，设置裁切区域，对所述待识别图像进行裁切。

S30、对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像。

在具体应用中，基于上述步骤S20所获得的第一裁切图像和所述第二裁切图像，将所述第一裁切图像和所述第二裁切图像对齐后，针对两张裁切图像中对应的像素点的像素值相减，以削弱两张裁切图中的相同部分，突出显示两张裁切图像中的差异部分。

S40、基于所述差分图像，识别获得所述待识别图像的缺陷区域。

在具体应用中，基于上述差分图像，对所述待识别图像的缺陷区域进行识别；即如果面板图像中不包含缺陷区域，那么像素错位的两张裁切图像应当为完全相同的，继而两张裁切图像的像素值差应当是全为0，因此对应获得的差分图像也应当是全黑色的；但如果说待识别面板图像中包含了缺陷区域，导致两张裁切图像存在差异部分，那么两张裁切图像中差异部分的像素值差应当是大于0的，因此对应获得的差分图像也应当存在非黑色区域，即缺陷区域。由此可见，通过本申请所述方法能有效识别待识别面板图像中的缺陷区域。

作为本申请一些可选实施方式，步骤S20所述基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像，包括：

S201、基于所述待识别图像，获得所述待识别图像的裁切像素错位值；

在具体应用中，基于所述待识别图像，先是获取待识别图像的基础数据，如图像数据指针、图像宽度、图像高度、图像通道数和图像位深等数据；具体的获取方法可以是由halcon算法库的get_image_size算法获得，即输入图像，输出图像的基础数据。在获取所述图像的基础数据之后，通过所述待识别图像特征，设置获得所述待识别图像的裁切像素错值。

作为本申请一些可选实施方式，所述基于所述待识别图像，获得所述待识别图像的裁切像素错位值，包括：

S2011、基于所述待识别图像，获得相邻像素距离值。

在具体应用中，在获取待识别图像后，也可以先基于所述待识别图像，获取所述图像的基础数据库，如图像数据指针、图像宽度、图像高度、图像通道数和图像位深等数据；具体的获取方法可以是由halcon算法库的get_image_size(输入图像,输出宽度,输出高度)获得；并基于所获得的基本数据库，对所述相邻像素距离值进行计算。

如基于所述待识别图像，获得待识别图像的基本数据库；所述基本数据库包括：图像数据指针数据、图像宽度数据、图像高度数据、图像通道数据和图像位深数据；基于所述基本数据库，获得相邻像素距离值。也可以基于基本数据库，获得第一像素区域的第一中心点坐标值和第二像素区域的第二中心点坐标值；所述第一像素区域和所述第二像素区域处于同一水平线或同一垂直线；基于所述第一中心点坐标值和所述第二中心点坐标值，获得相邻像素距离值。更具体来说，如基于所述第一中心点坐标值和所述第二中心点坐标值，获得所述第一中心点和所述第二中心点的间距值；基于所述中心点间距值，获得相邻像素距离值。

S2012、基于所述相邻像素距离值，获得所述待识别图像的裁切像素错位值。

在具体应用中，基于所述相邻像素距离值，获得所述待识别图像的裁切像素错位值，所述裁切像素错位值为所述相邻像素距离值的N倍，N为≥1的整数。

在具体应用中，在步骤S201之后还包括：

S202、基于所述待识别图像的裁切像素错位值，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像。

在具体应用中，基于所述待识别图像特征，获得在差分处理时需要上下错位像素值，假设需要上下错位X个像素作差，那么基于此，在对所述待识别图像进行裁切时，所述第一裁切图像的裁切框坐标为（- X，0，height-1，width 1），其中（- X，0）为裁切框在图像上的左上坐标，（height-1，width 1）为裁切框在图像上的右下坐标；所述第二裁切图像的裁切框坐标为（0，0，height-X-1，width-1），其中（0，0）为裁切框在图像上的左上坐标，（height-1，width 1）为裁切框在图像上的右下坐标。在具体应用中，可以通过将待识别图像输入至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切框坐标，从而对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；或输入裁切框坐标至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切后图像，即第一裁切图像和第二裁切图像。如图3所示待识别图像，在裁切时，第一裁切图像示意图如图4所示，第二裁切图像示意图如图5所示，其中图4-图5中的线框为对应的裁切框。再如图6所示的待识别图像，在裁切时，第一裁切图像示意图如图7所示，第二裁切图像示意图如图8所示，其中图7-图8中的线框为对应的裁切框。

在具体应用中，所述步骤S202包括：

S2021、基于所述待识别图像的裁切像素错位值，获得所述待识别图像的第一裁切框和所述待识别图像的第二裁切框。

在具体应用中，在通过上述步骤S201获得所述待识别图像的裁切像素错位值后，可以将通过将待识别图像输入至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切框坐标。

S2022、基于所述第一裁切框，对所述待识别图像进行裁切，获得第一裁切图像。

在具体应用中，可以基于步骤S2021所述方法获得所述待识别图像的第一裁切框和所述待识别图像的第二裁切框，将所述待识别图像的第一裁切框输入至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切后图像，即第一裁切图像。

S2023、基于所述第二裁切框，对所述待识别图像进行裁切，获得第二裁切图像。

在具体应用中，可以基于步骤S2021所述方法获得所述待识别图像的第一裁切框和所述待识别图像的第二裁切框，将所述待识别图像的第二裁切框输入至halcon算法库的gen_rectangle1算法或reduce_domain算法中，使其输出相应的裁切后图像，即第二裁切图像。

作为本申请一些可选实施方式，所述第一裁切图像和所述第二裁切图像在垂直方向或水平方向存在像素错位值。

在具体应用中，由于所述待识别面板图像均呈现出一定规律，因此本申请采用图像差分处理技术对所述待识别面板图像进行缺陷区域识别，而在对所述待识别面板图像进行差分处理之前，需获得两张在垂直方向或水平方向存在像素错位值的第一裁切图像和第二裁切图像，便于后续在进行图像差分处理时对两张裁切图像进行对应像素点差值的计算。

作为本申请一些可选实施方式，步骤S30所述对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像，包括：

S301、基于所述第一裁切图像和所述第二裁切图像，将所述第一裁切图像和所述第二裁切图像重合，计算所述第一裁切图像和所述第二裁切图像对应像素点的灰度值差。

在具体应用中，由于所述待识别面板图像均呈现出一定规律，因此本申请采用图像差分处理技术对所述待识别面板图像进行缺陷区域识别，而在对所述待识别面板图像进行差分处理之前，需获得两张在垂直方向或水平方向存在像素错位值的第一裁切图像和第二裁切图像，进而将所述第一裁切图像和所述第二裁切图像在对齐后，针对两张裁切图像中对应的像素点的灰度值相减，以削弱两张裁切图中的相同部分，突出显示两张裁切图像中的差异部分；即如果面板图像中不包含缺陷区域，那么像素错位的两张裁切图像应当为完全相同的，继而两张裁切图像的灰度值差应当是全为0；如果面板图像中包含缺陷区域，那么像素错位的两张裁切图像应当为不完全相同的，继而两张裁切图像的灰度值差应当是大于0。

S302、基于所述灰度值差，获得所述第一裁切图像和所述第二裁切图像的图像差分图像。

在具体应用中，由于所述待识别面板图像均呈现出一定规律，因此本申请采用图像差分处理技术对所述待识别面板图像进行缺陷区域识别，而在对所述待识别面板图像进行差分处理之前，需获得两张在垂直方向或水平方向存在像素错位值的第一裁切图像和第二裁切图像，进而将所述第一裁切图像和所述第二裁切图像在对齐后，针对两张裁切图像中对应的像素点的灰度值相减，以削弱两张裁切图中的相同部分，突出显示两张裁切图像中的差异部分；即如果面板图像中不包含缺陷区域，那么像素错位的两张裁切图像应当为完全相同的，继而两张裁切图像的灰度值差应当是全为0；如果面板图像中包含缺陷区域，那么像素错位的两张裁切图像应当为不完全相同的，继而两张裁切图像的灰度值差应当是大于0；基于所述两张裁切图像的灰度值，可以通过相应的算法获得图像差分图像。如图3所示的待识别图像所对应获得的差分图像如图9所示，如图6所示的待识别图像所对应获得的差分图像如图10所示。

作为本申请一些可选实施方式，步骤S40所述基于所述差分图像，识别获得所述待识别图像的缺陷区域，包括：

S401、基于所述差分图像，对所述差分图像进行二值化处理，识别获得所述待识别图像的缺陷区域。

在具体应用中，通过上述步骤S10-步骤S30所获得的差分图像，可能对于所述待识别图像中的缺陷区域表征的并不明显，因为在获得所述差分图像后，本申请通过将差分图像进行二值化处理，以更好的对所述待识别图像中的缺陷区域进行识别。所述二值化处理是指将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果；如一幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，最常用的方法就是设定一个阈值T，用T将图像的数据分成两部分:大于T的像素群和小于T的像素群。这是研究灰度变换的最特殊的方法，称为图像的二值化。在实际应用中，可以通过将差分图像、最小阈值和最大阈值输入至halcon算法库的threshold算法中，通过计算输出获得所述差分图像中的缺陷区域，所输出的缺陷阈值图像中在阈值范围内的为缺陷区域，阈值范围外的为正常区域。

作为本申请一些可选实施方式，步骤S401所述基于所述差分图像，对所述差分图像进行二值化处理，识别获得所述待识别图像的缺陷区域，包括：

S4011、基于所述差分图像，对所述差分图像进行二值化处理，获得第一识别图像。

在具体应用中，所述第一识别图像为缺陷阈值图像，即可以通过将差分图像、最小阈值和最大阈值输入至halcon算法库的threshold算法中，通过计算输出获得所述差分图像中的缺陷区域，所输出的缺陷阈值图像中在阈值范围内的为缺陷区域，阈值范围外的为正常区域。如图3所示的待识别图像所对应获得的缺陷阈值图像如图11所示，如图6所示的待识别图像所对应获得的缺陷阈值图像如图12所示。

S4012、基于所述第一识别图像，对所述第一识别图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域。

在具体应用中，为了提高对所述待识别图像的缺陷区域的识别效率，本申请采用Blob分析技术提取获得所述第一识别图像中的连通域分析处理，并分析获得所述第一识别图像中的连通域的宽度、高度、面积、矩形相似度、圆形相似度、轮廓长度等信息，再通过这些信息识别获得所述待识别图像的缺陷区域。所述的Blob分析的Blob为工业相机图像中一块连通区域，即瑕疵区域；Blob分析将工业相机图像进行二值化并分割得到目标像素与背景像素，然后对目标像素进行连通域分析，并计算连通域区域特征。所述的Blob分析采用平均背景法分割工业相机图像的目标像素与背景像素。在具体实施时，可以将所述第一识别图像输入至halcon算法库的connection算法中，使其输出为所述第一识别图像中的连通域；再将所获得的连通域输入至select_shape算法中，输出获得被选择出来的连通域；再输入选择条件（如宽度、高度、面积、矩形相似度、圆形相似度和轮廓长度等数据信息）和最小阈值、最大阈值，从而识别获得所述待识别图像的缺陷区域。如图3所示的待识别图像所对应获得的识别结果图像如图13所示，如图6所示的待识别图像所对应获得的识别结果图像如图14所示。

作为本申请一些可选实施方式，步骤S4012所述基于所述第一识别图像，对所述第一识别图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述第一识别图像，对所述第一识别图像进行膨胀处理，获得第二识别图像；基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域。

在具体应用中，本申请在对所述第一识别图像进行连通域分析处理，即形态学闭运算后，识别获得所述待识别图像的缺陷区域；所述形态学闭运算是指先将所述第一识别图像进行膨胀处理后，即把二值化后的图像每个像素点连接成分的边界扩大一层后获得第二识别图像；再将所述第二识别图像中的缺陷区域图像进行连通域分析处理，即把二值化图像中每个像素连接成分的边界缩小一层后，识别获得所述待识别图像的缺陷区域；在具体实施过程中，所述将二值化后的图像每个像素点连接成分的边界扩大一层或缩小一层的层数可以根据实际情况设置。具体的实施方法可以是将形态学处理的区域和闭运算像素大小输入至closing_circle算法，输出获得结果区域，即所述待识别图像的缺陷区域。

在具体应用中，上述基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域过程中，会先基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，获得若干连通区域图像；再将若干所述连通区域图像，与预设阈值信息相比，识别获得所述待识别图像的缺陷区域。这里的预设阈值是为了将目标体即缺陷区域和背景即正常区域之间进行有效分割，可以根据实际应用场景进行设置。

获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；

基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；

对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；

基于所述差分图像，识别获得所述待识别图像的缺陷区域。

下面本申请在以电视屏幕为例对本申请所述方法进行举例说明：

下面以电视屏幕面板为例，对上述方法进行举例说明：

在获得如图15所示的电视屏幕面板放大后的晶体管图之后，先通过标定测量的方式获得所述相邻像素距离值，通过下述步骤获得所述待识别图像的相邻像素距离值：提取所述待识别图像中的白色区域，将被提取的白色区域对象进行排序，抽取任意同一排或同一列的两个区域进行中心点间距值计算，并利用中心点间距值/两个区域的间隔个数，获得相邻像素距离值。如图16所示，选择图15所示晶体管图中的第3排第3个和第3排第13个为第一区域和第二区域，在图16中对所述第一区域和所述第二区域已模糊处理；通过上述方法计算获得所述第一区域和所述第二区域的中心坐标间距为50，而第一区域和第二区域的像素间隔数为10，因此所述第一区域和所述第二区域的相邻像素距离值为50/10=5。

基于上述所计算的相邻像素距离值为5，那接下来可以以5或5的倍数作为像素错位值，当然倍数越小越好，因此本申请接下来以上下错位5个像素相减为例，第一裁切图像和第一裁切框如图17所示，为向下裁取5像素获得的；第二裁切图像和第二裁切框如图18所示，为向上裁取5像素获得的。

将所述第一裁切图像和所述第二裁切图像对齐后进行差分处理，获得如图19所示的差分图像，可以看出，在图19中，存在非黑色区域，可以判别出如图15所示的电视剧屏幕面板存在缺陷区域。

为了获得更为准确的识别缺陷图像，接下来再对如图19所示的差分图像进行Blob分析处理，获得如图20所示的识别缺陷图像。

可以看出，与现有技术相比，本申请所述面板缺陷区域识别方法，通过将包含目标缺陷区域的待识别图像进行裁切获得大小相同，但存在像素错位的第一裁切图像和第二裁切图像；由于面板图像会呈现出一定的规律，因此本申请将所述第一裁切图像和所述第二裁切图像进行图像差分处理，即将所述第一裁切图像和所述第二裁切图像在对齐后，针对两张裁切图像中对应的像素点的像素值相减，以削弱两张裁切图中的相同部分，突出显示两张裁切图像中的差异部分；即如果面板图像中不包含缺陷区域，那么像素错位的两张裁切图像应当为完全相同的，继而两张裁切图像的像素值差应当是全为0，因此对应获得的差分图像也应当是全黑色的；但如果说待识别面板图像中包含了缺陷区域，导致两张裁切图像存在差异部分，那么两张裁切图像中差异部分的像素值差应当是大于0的，因此对应获得的差分图像也应当存在非黑色区域，即缺陷区域。并基于上述方法还提出更进一步的优选方案，即在对两张裁切图像进行差分处理后，在对所获得的差分图像进行形态学处理，以获得更为准确的识别结果图。由此可见，通过本申请所述方法能有效识别待识别面板图像中的缺陷区域。

基于同样的发明思路，如图21所示，本申请还提供了：一种面板缺陷区域识别装置，包括：

图像获取模块，用于获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；

图像裁切模块，用于基于所述待识别图像，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；

图像差分模块，用于对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；

缺陷识别模块，用于基于所述差分图像，识别获得所述待识别图像的缺陷区域。

需要说明的是，本实施例中面板缺陷区域识别装置中各模块是与前述实施例中的面板缺陷区域识别方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述面板缺陷区域识别方法的实施方式，这里不再赘述。

此外，在一种实施例中，本申请的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如上所述的方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其他任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台多媒体终端设备（可以是手机，计算机，电视接收机，或者网络设备等）执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种面板缺陷区域识别方法，其特征在于，包括以下步骤：

获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；

基于所述待识别图像，获得待识别图像的基本数据库；所述基本数据库包括：图像数据指针数据、图像宽度数据、图像高度数据、图像通道数据和图像位深数据；基于所述基本数据库，获得相邻像素距离值；基于所述相邻像素距离值，获得所述待识别图像的裁切像素错位值；基于所述待识别图像的裁切像素错位值，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；

对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；

基于所述差分图像，识别获得所述待识别图像的缺陷区域。

2.根据权利要求1所述的面板缺陷区域识别方法，其特征在于，所述基于所述基本数据库，获得相邻像素距离值，包括：

基于基本数据库，获得第一像素区域的第一中心点坐标值和第二像素区域的第二中心点坐标值；所述第一像素区域和所述第二像素区域处于同一水平线或同一垂直线；

基于所述第一中心点坐标值和所述第二中心点坐标值，获得相邻像素距离值。

3.根据权利要求2所述的面板缺陷区域识别方法，其特征在于，所述基于所述第一中心点坐标值和所述第二中心点坐标值，获得相邻像素距离值，包括：

基于所述第一中心点坐标值和所述第二中心点坐标值，获得所述第一中心点和所述第二中心点的间距值；

基于所述第一中心点和所述第二中心点的间距值，获得相邻像素距离值。

4.根据权利要求1所述的面板缺陷区域识别方法，其特征在于，所述待识别图像的裁切像素错位值为所述相邻像素距离值的N倍，N为≥1的整数。

5.根据权利要求1所述的面板缺陷区域识别方法，其特征在于，所述基于所述待识别图像的裁切像素错位值，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像，包括：

基于所述待识别图像的裁切像素错位值，获得所述待识别图像的第一裁切框和所述待识别图像的第二裁切框；

基于所述第一裁切框，对所述待识别图像进行裁切，获得第一裁切图像；

基于所述第二裁切框，对所述待识别图像进行裁切，获得第二裁切图像。

6.根据权利要求5所述的面板缺陷区域识别方法，其特征在于，所述第一裁切图像和所述第二裁切图像在垂直方向或水平方向存在像素错位值。

7.根据权利要求1所述的面板缺陷区域识别方法，其特征在于，所述对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像，包括：

基于所述第一裁切图像和所述第二裁切图像，将所述第一裁切图像和所述第二裁切图像重合，计算所述第一裁切图像和所述第二裁切图像对应像素点的灰度值差；

基于所述灰度值差，获得所述第一裁切图像和所述第二裁切图像的图像差分图像。

8.根据权利要求1所述的面板缺陷区域识别方法，其特征在于，所述基于所述差分图像，识别获得所述待识别图像的缺陷区域，包括：

基于所述差分图像，对所述差分图像进行二值化处理，识别获得所述待识别图像的缺陷区域。

9.根据权利要求8所述的面板缺陷区域识别方法，其特征在于，所述基于所述差分图像，对所述差分图像进行二值化处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述差分图像，对所述差分图像进行二值化处理，获得第一识别图像；

基于所述第一识别图像，对所述第一识别图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域。

10.根据权利要求9所述的面板缺陷区域识别方法，其特征在于，所述基于所述第一识别图像，对所述第一识别图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述第一识别图像，对所述第一识别图像进行膨胀处理，获得第二识别图像；

基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域。

11.根据权利要求10所述的面板缺陷区域识别方法，其特征在于，所述基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，识别获得所述待识别图像的缺陷区域，包括：

基于所述第二识别图像，对所述第二识别图像中的缺陷区域图像进行连通域分析处理，获得若干连通区域图像；

基于若干所述连通区域图像，与预设阈值信息相比，识别获得所述待识别图像的缺陷区域。

12.一种面板缺陷区域识别装置，其特征在于，包括：

图像获取模块，用于获取待识别图像，所述待识别图像为包含目标缺陷区域的面板图像；

图像裁切模块，用于基于所述待识别图像，获得待识别图像的基本数据库；所述基本数据库包括：图像数据指针数据、图像宽度数据、图像高度数据、图像通道数据和图像位深数据；基于所述基本数据库，获得相邻像素距离值；基于所述相邻像素距离值，获得所述待识别图像的裁切像素错位值；基于所述待识别图像的裁切像素错位值，对所述待识别图像进行裁切，获得第一裁切图像和第二裁切图像；所述第一裁切图像和所述第二裁切图像大小相同，所述第一裁切图像与所述第二裁切图像存在像素错位；

图像差分模块，用于对所述第一裁切图像和所述第二裁切图像进行图像差分处理，获得所述第一裁切图像和所述第二裁切图像的差分图像；

缺陷识别模块，用于基于所述差分图像，识别获得所述待识别图像的缺陷区域。

13.一种电子设备，其特征在于，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，实现如权利要求1-11中任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，处理器执行所述计算机程序，实现如权利要求1-11中任一项所述的方法。

Images