CN112785545B - 一种异常灯珠定位方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种异常灯珠定位方法、装置及存储介质，该方法包括：分别获取显示屏通电后的显示屏图像对应于R通道、G通道、以及B通道的图像；对于对应于RGB三通道中的每一通道的图像，执行以下操作：提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

Description

一种异常灯珠定位方法、装置及存储介质

技术领域

本发明涉及显示控制及图像处理技术领域，特别涉及一种异常灯珠定位方法、装置及存储介质。

背景技术

目前的灯珠定位方法，是通过对图像数据二值化，根据二值化之后所述图像数据的连通域提取灯珠中心，然后按照一定的搜索步长，逐行或逐列的方式对灯珠中心点进行定位。

上述灯珠定位方法的准确度，在一定程度上依赖于给定的搜索步长，而搜索步长则是根据灯珠图像的灯间距确定，因此受实际灯珠图像大小的影响较大，而且在定位出所有灯珠之后，还需要进一步判断每个灯珠是否异常，才能够找出所有异常灯珠。

可以看出，在现有异常灯珠定位过程中，需要给定搜索步长，受实际灯珠图像大小的影响较，而且因为需要对所有灯珠的位置进行定位后再找出异常灯珠，计算量较大。

发明内容

有鉴于此，本发明的目的在于提供一种异常灯珠定位方法、装置及存储介质，不需要给定搜索步长，受实际灯珠图像大小的影响较小，且计算量较小。

为了达到上述目的，本发明提供了如下技术方案：

一种异常灯珠定位方法，包括：

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

一种异常灯珠定位装置，包括：

获取单元，用于分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

处理单元，对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如上述异常灯珠定位方法中的步骤。

一种电子设备，包括非瞬时计算机可读存储介质、处理器以及存储在非瞬时计算机可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

由上面的技术方案可知，本发明中，分别获取显示屏图像对应于R通道、G通道的图像、以及B通道的图像，通过对RGB三通道中每一通道的图像的行灰度特征和列灰度特征进行分析，剔除灯珠间隙，然后通过二值化处理，将异常灯珠所在的连通区域凸显出来，从而确定出异常灯珠位置。可以看出，本发明的技术方案中，不需要给定搜索步长，因此受实际灯珠图像大小的影响较小；而且本发明只需要根据显示屏图像中行灰度特征和列灰度特征就可以剔除灯珠间隙，然后通过二值化处理凸显出显示屏图像中的异常灯珠位置，整个过程中只对异常灯珠定位，不需要定位所有灯珠位置，因此计算量较小。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围：

图1是本发明实施例一异常灯珠定位方法流程图；

图2是本发明实施例二异常灯珠定位方法流程图；

图3是本发明实施例灯珠在显示屏中的分布示意图；

图4是本发明实施例行灰度特征波形和列灰度特征波形示意图；

图5是本发明实施例灯珠的行间隙和列间隙示意图；

图6是本发明实施例灰度特征波形及列灰度特征波形滤波前后对比图；

图7是本发明实施例拼接缝隙示意图；

图8是本发明实施例三异常灯珠定位方法流程图；

图9是本发明实施例异常灯珠定位装置的结构示意图；

图10是本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本发明的技术方案进行详细说明。

本发明实施例中，不再基于搜索步长采用逐行或逐列的方式对灯珠中心点进行定位，而是根据显示屏图像的行灰度特征和列灰度特征，将影响区分正常灯珠和异常灯珠的灯珠间隙从显示屏图像中剔除，并根据正常灯珠和异常灯珠的灰度差异，通过二值化处理将图像中的异常灯珠位置所在的连通区域凸显出来，由于只需要对异常灯珠定位，计算量较小。

参见图1，图1是本发明实施例一异常灯珠定位方法流程图，如图1所示，该方法主要包括以下步骤：

步骤101、分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像。

本发明实施例中，所述显示屏可以是LED显示屏、LCD显示屏、OLED显示屏等。

步骤102、对于对应于RGB三个通道中的每一通道的图像，执行以下操作步骤1021-1024，以确定该图像中的异常灯珠位置：

步骤1021、提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

步骤1022、根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

步骤1023、剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

在实际应用中，显示屏中的灯珠是整行整列分布的，但是行与行之间、列与列之间不可能完全贴合，会存在一定的行间隙和列间隙，这些行间隙和列间隙因为自身不会发光且远离灯珠中心，因此其灰度值会和不会发光的异常灯珠的灰度值接近，因此需要确定这次行间隙和列间隙并从图像中剔除，以避免其影响对异常灯珠的定位结果。

步骤1024、对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

在去除了行间隙和列间隙的图像中，由于正常灯珠发光是一致的，只有异常灯珠发光与正常灯珠发光不一致，因此，通过对图像进行二值化处理可以直接将异常灯珠所在区域凸显出来，只需要对二值化处理后的图像进行连通域分析，就可以很容易定位出异常灯珠位置。

可以看出，在图1所示本发明实施例中，通过获取显示屏图像对应于RGB三通道中每一通道的图像，并根据该通道的图像行灰度特征和列灰度特征剔除该图像中的灯珠间隙，对于经灯珠间隙剔除处理后的图像进行二值化处理，并通过连通域分析将二值化处理后的图像中的异常灯珠位置定位出来。整个处理过程中，不需要给定搜索步长并通过逐行或逐列的方式定位所有灯珠，因此受实际灯珠图像大小的影响较小，而且只需要通过连通域分析确定出异常灯珠位置，而不需要定位所有灯珠位置再进行异常灯珠分析，因此计算量较小。

参见图2，图2是本发明实施例二异常灯珠定位方法流程图，如图2所示，该方法主要包括以下步骤：

步骤2011、获取显示屏通电后灯珠仅发红色光时的显示屏图像，对该显示屏图像进行R通道的颜色抽取，得到对应于R通道的图像；

本步骤中，对该显示屏图像进行R通道的颜色抽取，可以使显示屏图像对应于R通道的图像中的红色像素点和非红色像素点的灰度值差异更加明显。

步骤2012、获取显示屏通电后灯珠仅发绿色光时的显示屏图像，对该显示屏图像进行G通道的颜色抽取，得到对应于G通道的图像；

本步骤中，对该显示屏图像进行G通道的颜色抽取，可以使显示屏图像对应于G通道的图像中的绿色像素点和非绿色像素点的灰度值差异更加明显。

步骤2013、获取显示屏通电后灯珠仅发蓝色光时的显示屏图像，对该显示屏图像进行B通道的颜色抽取，得到对应于B通道的图像。

本步骤中，对该显示屏图像进行B通道的颜色抽取，可以使显示屏图像对应于B通道的图像中的蓝色像素点和非蓝色像素点的灰度值差异更加明显。

以上三个步骤2011-2013，分别用于获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像。

在实际应用中，显示屏通电后显示屏中的正常灯珠可以在显示屏控制器的控制下发出单色光，如红色(R)、绿色(G)、蓝色(B)中的任一单色光，也可以发出R、G、B三种颜色的混合光(例如白色光)。异常灯珠则不会发光或发光颜色与正常灯珠发光颜色不一致，例如正常灯珠在显示屏控制器的控制下发白色光，而异常灯珠不发光，或者发R、G、B中的任一种单色光，或R、G、B中任意两种颜色的混合光。

本发明实施例中，将不发光和发光不正常的灯珠均称为异常灯珠。

由于发光异常的灯珠的灰度值与正常发光的灯珠之间的灰度值的区分可能并不明显，因此可能会出现定位不到异常发光的灯珠的情况，导致异常灯珠漏检问题。为克服此问题，本发明实施例中，需要获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像，然后分析对应于每种通道的图像，如果一个灯珠在对应于三种通道的图像中任一图像中被定位为异常灯珠，则均被认为是显示屏图像中的异常灯珠。

本发明实施例中，在使用摄像设备拍摄显示屏之前，先将显示屏通电，通电后的显示屏中的各个灯珠发出显示屏控制器指示的单色光，如红色、绿色、或蓝色，从而使整个显示屏呈现相应的颜色。摄像设备可以对通电后的显示屏进行拍摄并将拍摄的图像传送到异常灯珠定位设备中进行异常灯珠定位处理。

在通常情况下，使用摄像设备对显示屏进行拍摄时，会有一定程度的畸变，畸变会导致异常灯珠定位误差。为减小这种误差，本发明实施例中，可以提前对摄像设备进行网格棋盘标定以生成标定文件，而在摄像设备针对通电的显示屏拍摄图像后，可以利用该标定文件对摄像设备针对通电的显示屏拍摄的图像进行畸变纠正，从而得到未畸变的拍摄图像。

另外，在实际应用中，使用摄像设备拍摄通电的显示屏时，拍摄的图像中通常不仅包含显示屏本身，还会包含有拍摄的背景，背景内容可能会对显示屏中的异常灯珠定位产生影响，因此需要去除拍摄的图像中的背景内容，仅保留显示屏部分的图像内容。

因此，在本发明实施例中，无论是步骤2011中获取显示屏通电后灯珠仅发红色光时的显示屏图像，步骤2012中获取显示屏通电后灯珠仅发绿色光时的显示屏图像，还是步骤2013中显示屏通电后灯珠仅发蓝色光时的显示屏图像，都可以通过以下步骤实现(区别仅在于通电后的显示屏中的灯珠的发光颜色发生变化)：

S11、获取摄像设备针对通电后的显示屏的拍摄图像；

S12、利用对所述摄像设备进行网格棋盘标定时生成的标定文件对所述拍摄图像进行校正；

S13从经过校正的所述拍摄图像中截取仅包含所述显示屏的显示屏图像。

步骤S13中，可以通过对拍摄的图像进行二值化和膨胀计算，将显示屏部分的图像内容从拍摄的整张图像中截取/扣取出来，从而得到一张仅包含显示屏的图像，即用于后续的异常灯珠定位处理的显示屏图像。

步骤202、对于对应于RGB三个通道中的每一通道的图像，执行以下操作步骤2021-2024，以确定该图像中的异常灯珠位置：

步骤2021、提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

本发明实施例中，每一行像素的灰度特征用该行像素的灰度值之和(简称行灰度和)表示。提取该图像中每一行像素的灰度特征，具体包括：统计该图像中每一行像素的灰度值之和，将所述灰度值之和作为该行像素的灰度特征。

本发明实施例中，每一列像素的灰度特征用该列像素的灰度值之和(简称列灰度和)表示。提取该图像中每一列像素的灰度特征，具体包括：统计该图像中每一列像素的灰度值之和，将所述灰度值之和作为该列像素的灰度特征。

步骤2022、根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

步骤2023、剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

前面已经提到，显示屏中的灯珠是整行整列分布的，但是行与行之间、列与列之间不可能完全贴合，会存在一定的行间隙和列间隙，具体如图3所示，灯珠之间是有间隙的，并非紧密贴合。

另外，根据发光的灯珠中心最亮、距离灯珠距离越远的位置则越暗的特点可知，在显示屏图像中，灯珠中心位置的灰度值最大，而远离灯珠中心的像素灰度值则会逐渐变小。推理可知，同一行灯珠的中心所在的水平线上的像素点的灰度值之和最大，远离该水平线的各行像素点的灰度值则会随着距离增大而逐渐变小，到灯珠的行间隙位置则灰度值达到最小；同一列灯珠的中心所在的竖直线上的像素点的灰度值之和最大，远离该竖直线的各列像素点的灰度值则会随着距离增大而逐渐变小，到灯珠的列间隙位置则灰度值达到最小。

因此，本发明实施例中，可以根据该图像中每一行像素的灰度值特征生成行灰度特征波形，根据该图像中每一列像素的灰度值特征生成列灰度特征波形，具体的行灰度波形和列灰度波形如图4所示，其中，行灰度特征波形中每一峰值拐点所在的水平线对应于一行灯珠的中心，而波谷位置则对应于行间隙；列灰度特征波形中每一峰值拐点所在的竖直线对应于一列灯珠的中心，而波谷位置则对应于列间隙。

从图4可以看出，在行灰度特征波形中，每一波谷都有一灰度从下降状态到平滑状态转变的拐点(称为下拐点)，以及一灰度从平滑状态到上升状态转变的拐点(称为上拐点)，该波谷的下拐点和上拐点之间的距离即是该波谷在该图像中对应的相邻两行灯珠之间的行间隙，具体如图5所示。在列灰度特征波形中，每一波谷都有一灰度从下降状态到平滑状态转变的拐点(称为下拐点)，以及一灰度从平滑状态到上升状态转变的拐点(称为上拐点)，该波谷的下拐点和上拐点之间的距离即该波谷在该图像中对应的相邻两列灯珠之间的列间隙，具体如图5所示。

在实际实现中，显示屏图像中往往存在噪点，这导致显示屏图像对应于R、G、B中任一通道的图像中也同样存在噪点。噪点的存在会对根据该图像的每一行像素的行灰度特征生成的行灰度特征波形、和根据该图像的每一列像素的列灰度特征生成的列灰度特征波形产生影响，导致最终生成的行灰度特征波形和列灰度特征波形并不如图4所示的规整波形，而是如图6的上半部分所示的不规整波形，其中的行灰度特征波形和列灰度特征波形中均存在对应噪点的波形。对于这种情况，如果不进行噪声处理，则噪声波形会对异常灯珠的定位造成干扰，为此，本发明实施例中，可以对行灰度特征波形和列灰度特征波形进行滤波，以实现对噪点波形的过滤，过滤前后结果对比如图6所示。

步骤2024、对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

本发明实施例中，在确定并剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙之后，图像只包括灯珠，由于正常发光的灯珠之间发光一致，灰度值相差不大，正常灯珠与异常灯珠之间发光布一致，灰度值相差较大，因此，通过对该图像进行二值化处理，可以将正常灯珠和异常灯珠凸显出来，通过连通域分析(例如blob分析)，可以确定出异常灯珠所在的连通区域，进而确定异常灯珠位置。

在实际应用中，由于显示屏中的灯珠是整行整列分布的，但是由于制作工艺等原因，灯珠之间可能并不能完全整行对齐或整列对齐，这会导致剔除该图像中的相邻两行灯珠之间的行间隙以及相邻两列灯珠之间的列间隙时，剩余图像部分的拼接结果中存在部分未被完全剔除掉的行间隙和/或列间隙(以下将未完全被剔除掉的行间隙和列间隙统称为拼接缝隙)，具体如图7所示，而这些拼接缝隙在经过二值化处理后会作为一个个连通域存在于经二值化处理后的图像中，因此在后续的连通域分析过程中会被识别为连通域，进而被识别成异常灯珠位置，导致出现异常灯珠误判的情况。

为解决上述问题，本发明实施例中，可以提前确定灯珠的参考尺寸(包括灯珠的参考高度和参考宽度)，如果某个连通域与灯珠的参考尺寸相差太多，则可以确定该连通域不是异常灯珠位置。

从图4所示的行灰度特征波形可以看出，每一波谷的下拐点与前一波谷的上拐点之间距离则是该波谷对应的相邻两行灯珠中的前一行灯珠的高度，因此，可以在确定行灰度特征波形中每一波谷的下拐点和上拐点之后，通过以下方式确定灯珠的参考高度：

计算每一波谷的下拐点与前一波谷的上拐点之间的距离；

将每一波谷的下拐点与前一波谷的上拐点之间的距离进行累加，并计算累加结果的平均值，将该平均值确定为所述显示屏图像中的灯珠的参考高度。

同理，从图4所示的列灰度特征波形可以看出，每一波谷的下拐点与前一波谷的上拐点之间距离则是该波谷对应的相邻两列灯珠中的前一列灯珠的高度，因此，可以在确定列灰度特征波形中每一波谷的下拐点和上拐点之后，通过以下方式确定灯珠的参考宽度：

计算每一波谷的下拐点与前一波谷的上拐点之间的距离；

将每一波谷的下拐点与前一波谷的上拐点之间的距离进行累加，并计算累加结果的平均值，将该平均值确定为所述显示屏图像中的灯珠的参考宽度。

在确定了灯珠的参考尺寸之后，就可以据此判断经二值化处理后的图像中每一连通区域是否是异常灯珠位置，具体包括：

S21、确定每一连通区域的高度和宽度，并将该连通区域的宽度和高度与所述参考高度和参考宽度分别进行对比；

S22、如果该连通区域的高度小于所述参考高度的第一预设比例(例如70％)，或者该连通区域的宽度小于所述参考宽度的第二预设比例(例如70％)，则确定该连通区域不是异常灯珠位置，否则，将该连通区域确定为所述显示屏图像中的一个异常灯珠位置。

参见图8，图8是本发明实施例三异常灯珠定位方法流程图，如图8所示，该方法主要包括以下步骤：

步骤8011、获取显示屏通电后灯珠发红、绿、蓝三色的混合光时的显示屏图像。

步骤8012、对该显示屏图像进行R通道的颜色抽取，得到对应于R通道的图像；对该显示屏图像进行G通道的颜色抽取，得到对应于G通道的图像；对该显示屏图像进行B通道的颜色抽取，得到对应于B通道的图像。

以上三个步骤8011-8012，用于获取显示屏通电后的显示屏图像分别对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像。

在实际应用中，显示屏通电后显示屏中的正常灯珠可以在显示屏控制器的控制下发出R、G、B三种颜色的混合光(例如白色光)。异常灯珠则不会发光或发光颜色与正常灯珠发光颜色不一致，例如异常灯珠不发光，或者发R、G、B中的任一种单色光，或发R、G、B中任意两种颜色的混合光。

本发明实施例中，将不发光和发光不正常的灯珠均称为异常灯珠。

由于发光异常的灯珠的灰度值与正常发光的灯珠之间的灰度值的区分可能并不明显，因此可能会出现定位不到异常发光的灯珠的情况，导致异常灯珠漏检问题。为克服此问题，本发明实施例中，需要获取显示屏通电后的显示屏图像分别对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像，然后分析对应于每种通道的图像，如果一个灯珠在对应于三种通道的图像中任一图像中被定位为异常灯珠，则均被认为是显示屏图像中的异常灯珠。

本发明实施例中，在使用摄像设备拍摄显示屏之前，先将显示屏通电，通电后的显示屏中的各个灯珠发出显示屏控制器指示的混合光，从而使整个显示屏呈现相应的颜色。摄像设备可以对通电后的显示屏进行拍摄并将拍摄的图像传送到异常灯珠定位设备中进行异常灯珠定位处理。

在通常情况下，使用摄像设备对显示屏进行拍摄时，会有一定程度的畸变，畸变会导致异常灯珠定位误差。为减小这种误差，本发明实施例中，可以提前对摄像设备进行网格棋盘标定以生成标定文件，而在摄像设备针对通电的显示屏拍摄图像后，可以利用该标定文件对摄像设备针对通电的显示屏拍摄的图像进行畸变纠正，从而得到未畸变的拍摄图像。

另外，在实际应用中，使用摄像设备拍摄通电的显示屏时，拍摄的图像中通常不仅包含显示屏本身，还会包含有拍摄的背景，背景内容可能会对显示屏中的异常灯珠定位产生影响，因此需要去除拍摄的图像中的背景内容，仅保留显示屏部分的图像内容。

因此，在本发明实施例中，步骤8011中获取显示屏通电后的显示屏图像，可以通过以下步骤实现：

S31、获取摄像设备针对通电后的显示屏的拍摄图像；

S32、利用对所述摄像设备进行网格棋盘标定时生成的标定文件对所述拍摄图像进行校正；

S33从经过校正的所述拍摄图像中截取仅包含所述显示屏的显示屏图像。

步骤S33中，可以通过对拍摄的图像进行二值化和膨胀计算，将显示屏部分的图像内容从拍摄的整张图像中截取/扣取出来，从而得到一张仅包含显示屏的图像，即用于后续的异常灯珠定位处理的显示屏图像。

步骤802、对于对应于RGB三个通道中的每一通道的图像，执行以下操作步骤8021-8024，以确定该图像中的异常灯珠位置：

步骤8021、提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

步骤8022、根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

步骤8023、剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

步骤8024、对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

图8所示方法中的步骤8021-8024与图2所示方法中的步骤2021-2024的实现原理相同，不再赘述。

以上对本发明异常LED灯珠定位方法进行了详细说明，从以上说明可以看出，本发明中实施例中，通过确定行灰度特征波形和列灰度特征波形，可确定并剔除图像中灯珠之间的行间隙和列间隙，并通过对剔除了行间隙和列间隙的图像进行二值化处理，使得异常灯珠所在连通域凸显出来，整个异常灯珠定位过程中，不需要给定搜索步长、显示屏类型等参数，受实际灯珠图像大小的影响较小，而且因为只需要对异常灯珠定位，不需要计算所有灯珠位置，计算量较小。另外，本发明中，还通过对显示屏图像对应于R、G、B三通道中每一通道的图像的分析，不仅可以识别出不发光的异常灯珠，还可以识别出能够发光但是发光颜色与正常灯珠发光颜色不一致的异常灯珠。

本发明实施例还提供了一种异常灯珠定位装置，以下结合图9进行详细说明。

参见图9，图9是本发明实施例异常灯珠定位装置的结构示意图，如图9所示，该装置包括：

获取单元901，用于分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

处理单元902，对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

图9所示装置中，

所述获取单元901，分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像，包括：

获取显示屏通电后灯珠仅发红色光时的显示屏图像，对该显示屏图像进行R通道的颜色抽取，得到对应于R通道的图像；

获取显示屏通电后灯珠仅发绿色光时的显示屏图像，对该显示屏图像进行G通道的颜色抽取，得到对应于G通道的图像；

获取显示屏通电后灯珠仅发蓝色光时的显示屏图像，对该显示屏图像进行B通道的颜色抽取，得到对应于B通道的图像。

图9所示装置中，

所述获取单元901，分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像，包括：

获取显示屏通电后灯珠发红、绿、蓝三色的混合光时的显示屏图像；

对该显示屏图像进行R通道的颜色抽取，得到对应于R通道的图像；

对该显示屏图像进行G通道的颜色抽取，得到对应于G通道的图像；

对该显示屏图像进行B通道的颜色抽取，得到对应于B通道的图像。

图9所示装置中，

所述获取单元901，获取显示屏通电后的显示屏图像时，用于：

获取摄像设备针对通电后的显示屏的拍摄图像；

利用对所述摄像设备进行网格棋盘标定时生成的标定文件对所述拍摄图像进行校正；

从经过校正的所述拍摄图像中截取仅包含所述显示屏的显示屏图像。

图9所示装置中，

所述处理单元902，提取该图像中每一行像素的灰度特征，包括：统计该图像中每一行像素的灰度值之和，将该灰度值之和作为该行像素的灰度特征；

所述处理单元902，提取该图像中每一列像素的灰度特征，包括：统计该图像中每一列像素的灰度值之和，将该灰度值之和作为该列像素的灰度特征。

图9所示装置中，

所述处理单元902，根据该图像中每一行像素的灰度特征确定该图像中的灯珠之间的行间隙，包括：

根据该图像中每一行像素的灰度特征生成行灰度特征波形；

确定所述行灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为该波谷对应的相邻两行灯珠之间的行间隙；

所述处理单元902，根据该图像中每一列像素的灰度特征确定该图像中的灯珠之间的列间隙，包括：

根据该图像中每一列像素的灰度特征生成行灰度特征波形；

确定所述列灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为与该波谷对应的相邻两列灯珠之间的列间隙。

图9所示装置中，

所述处理单元902，根据该图像中每一行像素的灰度特征生成行灰度特征波形之后，进一步用于：对该行灰度特征波形进行噪声滤波，得到无噪声波形的行灰度特征波形；

所述处理单元902，根据该图像中每一列像素的灰度特征生成列灰度特征波形之后，进一步用于：对该列灰度特征波形进行噪声滤波，得到无噪声波形的列灰度特征波形。

图9所示装置中，

所述处理单元902，确定所述行灰度特征波形中每一波谷的下拐点和上拐点之后，进一步用于：

计算每一波谷的下拐点与前一波谷的上拐点之间的距离；

将每一波谷的下拐点与前一波谷的上拐点之间的距离进行累加，并计算累加结果的平均值，将该平均值确定为所述显示屏图像中的灯珠的参考高度；

所述处理单元902，确定所述列灰度特征波形中每一波谷的下拐点和上拐点之后，进一步用于：

计算每一波谷的下拐点与前一波谷的上拐点之间的距离；

将每一波谷的下拐点与前一波谷的上拐点之间的距离进行累加，并计算累加结果的平均值，将该平均值确定为所述显示屏图像中的灯珠的参考宽度；

所述处理单元902，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置时，用于：

确定每一连通区域的高度和宽度，并将该连通区域的宽度和高度与所述参考高度和参考宽度分别进行对比；

如果该连通区域的高度小于所述参考高度的第一预设比例，或者该连通区域的宽度小于所述参考宽度的第二预设比例，则确定该连通区域不是异常灯珠位置，否则，将该连通区域确定为所述显示屏图像中的一个异常灯珠位置。

本发明实施例还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上述图1、图2、图8所示异常灯珠定位方法中的步骤。

本发明实施例还提供了一种电子设备，如图10所示，电子设备1000包括非瞬时计算机可读存储介质1001、处理器1002以及存储在非瞬时计算机可读存储介质1001上并可在处理器1002上运行的计算机程序，所述处理器1002执行所述程序时实现以下步骤：

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种异常灯珠定位方法，其特征在于，该方法包括：

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置；

其中，

所述根据该图像中每一行像素的灰度特征确定该图像中的灯珠之间的行间隙，包括：

根据该图像中每一行像素的灰度特征生成行灰度特征波形；

确定所述行灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为该波谷对应的相邻两行灯珠之间的行间隙；

所述根据该图像中每一列像素的灰度特征确定该图像中的灯珠之间的列间隙，包括：

根据该图像中每一列像素的灰度特征生成行灰度特征波形；

确定所述列灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为与该波谷对应的相邻两列灯珠之间的列间隙。

2.根据权利要求1所述的方法，其特征在于，

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像，包括：

获取显示屏通电后灯珠仅发红色光时的显示屏图像，对该显示屏图像进行R通道的颜色抽取，得到对应于R通道的图像；

获取显示屏通电后灯珠仅发绿色光时的显示屏图像，对该显示屏图像进行G通道的颜色抽取，得到对应于G通道的图像；

获取显示屏通电后灯珠仅发蓝色光时的显示屏图像，对该显示屏图像进行B通道的颜色抽取，得到对应于B通道的图像。

3.根据权利要求1所述的方法，其特征在于，

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像，包括：

获取显示屏通电后灯珠发红、绿、蓝三色的混合光时的显示屏图像；

对该显示屏图像进行R通道的颜色抽取，得到对应于R通道的图像；

对该显示屏图像进行G通道的颜色抽取，得到对应于G通道的图像；

对该显示屏图像进行B通道的颜色抽取，得到对应于B通道的图像。

4.根据权利要求2或3所述的方法，其特征在于，

获取显示屏通电后的显示屏图像的方法为：

获取摄像设备针对通电后的显示屏的拍摄图像；

利用对所述摄像设备进行网格棋盘标定时生成的标定文件对所述拍摄图像进行校正；

从经过校正的所述拍摄图像中截取仅包含所述显示屏的显示屏图像。

5.根据权利要求1所述的方法，其特征在于，

提取该图像中每一行像素的灰度特征，包括：统计该图像中每一行像素的灰度值之和，将该灰度值之和作为该行像素的灰度特征；

提取该图像中每一列像素的灰度特征，包括：统计该图像中每一列像素的灰度值之和，将该灰度值之和作为该列像素的灰度特征。

6.根据权利要求1所述的方法，其特征在于，

根据该图像中每一行像素的灰度特征生成行灰度特征波形之后，进一步包括：对该行灰度特征波形进行噪声滤波，得到无噪声波形的行灰度特征波形；

根据该图像中每一列像素的灰度特征生成列灰度特征波形之后，进一步包括：对该列灰度特征波形进行噪声滤波，得到无噪声波形的列灰度特征波形。

7.根据权利要求1所述的方法，其特征在于，

确定所述行灰度特征波形中每一波谷的下拐点和上拐点之后，进一步包括：

计算每一波谷的下拐点与前一波谷的上拐点之间的距离；

将每一波谷的下拐点与前一波谷的上拐点之间的距离进行累加，并计算累加结果的平均值，将该平均值确定为所述显示屏图像中的灯珠的参考高度；

确定所述列灰度特征波形中每一波谷的下拐点和上拐点之后，进一步包括：

计算每一波谷的下拐点与前一波谷的上拐点之间的距离；

将每一波谷的下拐点与前一波谷的上拐点之间的距离进行累加，并计算累加结果的平均值，将该平均值确定为所述显示屏图像中的灯珠的参考宽度；

根据分析的连通区域确定所述显示屏图像中的异常灯珠位置的方法为：

确定每一连通区域的高度和宽度，并将该连通区域的宽度和高度与所述参考高度和参考宽度分别进行对比；

如果该连通区域的高度小于所述参考高度的第一预设比例，或者该连通区域的宽度小于所述参考宽度的第二预设比例，则确定该连通区域不是异常灯珠位置，否则，将该连通区域确定为所述显示屏图像中的一个异常灯珠位置。

8.一种异常灯珠定位装置，其特征在于，该装置包括：

获取单元，用于分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

处理单元，对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置；

其中，

所述处理单元，根据该图像中每一行像素的灰度特征确定该图像中的灯珠之间的行间隙，包括：

根据该图像中每一行像素的灰度特征生成行灰度特征波形；

确定所述行灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为该波谷对应的相邻两行灯珠之间的行间隙；

所述处理单元，根据该图像中每一列像素的灰度特征确定该图像中的灯珠之间的列间隙，包括：

根据该图像中每一列像素的灰度特征生成行灰度特征波形；

确定所述列灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为与该波谷对应的相邻两列灯珠之间的列间隙。

9.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至7中任一项所述的异常灯珠定位方法中的步骤。

10.一种电子设备，包括非瞬时计算机可读存储介质、处理器以及存储在非瞬时计算机可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

分别获取显示屏通电后的显示屏图像对应于RGB三通道中的R通道的图像、对应于G通道的图像、以及对应于B通道的图像；

对于对应于RGB三个通道中的每一通道的图像，执行以下操作：

提取该图像中每一行像素的灰度特征和每一列像素的灰度特征；

根据该图像中每一行像素的灰度特征确定该图像中的相邻两行灯珠之间的行间隙，根据该图像中每一列像素的灰度特征确定该图像中的相邻两列灯珠之间的列间隙；

剔除该图像中相邻两行灯珠之间的行间隙和相邻两列灯珠之间的列间隙；

对剔除了行间隙和列间隙的图像进行二值化处理，分析出经二值化处理后的图像中的连通区域，根据分析出的连通区域确定所述显示屏图像中的异常灯珠位置；

其中，

所述处理器，根据该图像中每一行像素的灰度特征确定该图像中的灯珠之间的行间隙，包括：

根据该图像中每一行像素的灰度特征生成行灰度特征波形；

确定所述行灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为该波谷对应的相邻两行灯珠之间的行间隙；

所述处理器，根据该图像中每一列像素的灰度特征确定该图像中的灯珠之间的列间隙，包括：

根据该图像中每一列像素的灰度特征生成行灰度特征波形；

确定所述列灰度特征波形中每一波谷的下拐点和上拐点，计算该波谷的下拐点与上拐点之间的距离，将该距离作为与该波谷对应的相邻两列灯珠之间的列间隙。

Images