CN111563883B - 屏幕视觉定位方法、定位设备及存储介质 - Google Patents

Abstract

本申请公开了一种屏幕视觉定位方法、定位设备及存储介质，所述方法应用于定位设备，所述方法包括：获取屏幕的屏幕图像及对应的初始参数；根据所述初始参数对所述屏幕图像进行缩小操作；基于缩小后的屏幕图像进行屏幕区域的粗定位，获得所述屏幕的粗定位边缘参数；根据所述屏幕图像及所述粗定位边缘参数进行精定位，获得所述屏幕的精定位边缘参数；将所述精定位边缘参数进行输出。本申请通过对屏幕图像进行两次定位，可以提高屏幕视觉定位过程的定位精度，进而提高其可靠性。

Description

屏幕视觉定位方法、定位设备及存储介质

技术领域

本申请涉及机器视觉技术领域，具体涉及一种屏幕视觉定位方法、定位设备及存储介质。

背景技术

显示屏幕是人机交互的重要界面，被广泛用于人们的日常生产生活。屏幕的制造包含了一系列复杂的生产工艺及测试流程，显示屏制造技术正朝着自动化智能化柔性化的方向快速发展。

在屏幕制造过程中涉及多个工序需要对屏幕进行视觉定位，即在CCD相机拍摄的图像中确定屏幕的位置和姿态(通常表示为屏幕区域外接四边形的顶点坐标)。受多样化市场需求的驱动，屏幕的形状越来越多样，例如包含直角或圆角、各种大小形状的刘海。在屏幕制造过程的AOI(Automatic Optical Inspection)相关工序中，存在着对斜视屏幕图像进行视觉定位的需求。现有屏幕视觉定位方法对多样化的屏幕视觉定位需求适应性比较差，往往对不同需求采用不同方法，或者对新的不同需求需要人工修改参数才能使用。屏幕AOI检测的缺陷类型(如刘海类型)在持续增多，检测要求也在细化，对整个机器视觉系统的处理效率提出越来越高的要求，现有屏幕视觉定位方法在效率上存在较大提升空间。此外，受某些缺陷或者异物的干扰，以及斜视条件下屏幕边界处成像不清晰的影响，现有屏幕视觉定位方法可靠性不足，偶尔出现定位错误的情况。

因此，现有的屏幕视觉定位技术，在可靠性等方面存在着明显不足，无法满足将来自动化智能化柔性化高效屏幕制造的要求。

发明内容

本申请提供一种屏幕视觉定位方法、定位设备及存储介质，可以提高屏幕视觉定位过程的可靠度。

第一方面，本申请提供了一种屏幕视觉定位方法，应用于定位设备，所述方法包括：

获取屏幕的屏幕图像及对应的初始参数；

根据所述初始参数对所述屏幕图像进行缩小操作；

基于缩小后的屏幕图像进行屏幕区域的粗定位，获得所述屏幕的粗定位边缘参数；

根据所述屏幕图像及所述粗定位边缘参数进行精定位，获得所述屏幕的精定位边缘参数；

将所述精定位边缘参数进行输出。

可选的，所述基于缩小后的屏幕图像进行屏幕区域的粗定位，获得所述屏幕的粗定位边缘参数，包括：

确定所述屏幕区域的边界点集合；

根据所述边界点集合拟合直线得到屏幕的各边缘线；

对所述各边缘线求交点，获得所述缩小后的屏幕图像的屏幕区域的粗定位顶点坐标；

所述根据所述屏幕图像及所述粗定位边缘参数进行精定位，包括：

根据所述屏幕图像及所述粗定位顶点坐标进行精定位。

可选的，所述确定所述屏幕区域的边界点集合，包括：

确定缩小后的屏幕图像的屏幕亮度阈值参数；

基于所述屏幕亮度阈值参数形成二值图；

从所述二值图中提取屏幕轮廓的轮廓凸包；

根据所述轮廓凸包获得所述屏幕区域的边界点集合。

可选的，所述确定缩小后的屏幕图像的屏幕亮度阈值参数，包括：

计算所述缩小后的屏幕图像的亮度直方图；

根据所述亮度直方图的首处局部极小值处的亮度确定屏幕亮度阈值参数。

可选的，所述根据所述屏幕图像及所述粗定位顶点坐标进行精定位，包括：

根据所述粗定位定点坐标确定所述屏幕图像中所述屏幕的四边感兴趣区域；

根据所述屏幕的四边感兴趣区域以及所述粗定位顶点坐标，确定所述屏幕图像中屏幕区域的精定位顶点坐标。

可选的，所述初始参数包括所述屏幕的屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数的至少一种；

其中，所述屏幕刘海参数包括屏幕的刘海位置参数。

可选的，所述在获取屏幕的屏幕图像及对应的初始参数之前，还包括：

确定缩小后的屏幕图像的屏幕亮度阈值参数；

基于所述屏幕亮度阈值参数形成二值图；

从所述二值图中提取屏幕轮廓的凸起缺陷；

根据所述凸起缺陷确定所述屏幕刘海参数。

可选的，所述根据所述边界点集合拟合直线得到屏幕的各边缘线，包括：

基于加权最小二乘法将所述边界点集合拟合直线；

其中，拟合直线时采用L1范数作为点线距离度量。

本申请还提供了一种定位设备，所述定位设备包括：

处理器及与所述处理器电连接的存储器；

所述存储器存储有所述处理器可执行的机器可读指令，所述处理器执行所述机器可读指令，以执行如上任一项所述的屏幕视觉定位方法。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序；

所述计算机程序被处理器运行时执行如上任一项所述的屏幕视觉定位方法。

本申请中的屏幕视觉定位方法、定位设备及存储介质，根据初始参数对屏幕图像进行缩小操作，以进行屏幕区域的粗定位，再结合粗定位获得的粗定位边缘参数进行针对屏幕图像的屏幕区域的精定位，从而获得精度较高的边缘参数。通过对屏幕图像进行两次定位，可以提高屏幕视觉定位过程的定位精度，进而提高其可靠性。

附图说明

图1为本申请实施例提供的屏幕视觉定位方法的实现流程图。

图2为本申请实施例提供的屏幕精定位的应用场景图。

图3为本申请实施例提供的屏幕粗定位的实现流程图。

图4为本申请实施例提供的粗定位中获得边界点集合的实现流程图。

图5为本申请实施例提供的确定屏幕刘海参数的应用场景图。

图6为本申请实施例提供的定位设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请的技术方案做进一步的说明。

本申请实施例提供了一种屏幕视觉定位方法，该方法应用于定位设备中。

其中，该定位设备用于对屏幕进行视觉定位，其包括图像获取装置，如CCD相机等，可通过所拍摄的图像确定屏幕的位置和姿态，还可以包括计算光照设备、计算设备等，其具体的结构可以参考现有的用于屏幕视觉定位的定位设备。

请参阅图1，图中示出了本申请实施例提供的屏幕视觉定位方法的实现流程。

如图1所示，该屏幕视觉定位方法，应用于定位设备，该定位设备可以为如上所述的定位设备，该方法包括：

101、获取屏幕的屏幕图像及对应的初始参数。

其中，该屏幕的屏幕图像可以是通过定位设备的图像获取装置进行获取，如采用CCD相机对屏幕进行拍照。

该初始参数可以包括屏幕的屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数的至少一种。

其中，该屏幕刘海参数，可以包括屏幕的刘海位置参数。具体的，该刘海位置参数可以包括代表是否存在屏幕刘海的标识参数κ∈{1，0}(有刘海κ＝１或无刘海κ＝０，可以根据屏幕轮廓凸起缺陷D_s大小和缺陷深度超过一定数值来确定)、代表刘海所在屏幕边界类型的类型参数t∈{b_top，b_bottom，b_left，b_right}(可以根据屏幕轮廓凸起缺陷D_s与屏幕轮廓C_s的相对方位确定屏幕刘海所在屏幕边界的类型参数)，以及代表刘海占据屏幕边界的位置范围参数R：[r_start，r_end]，(其中r_start，r_end∈[0，1]，并且r_start≤r_end，分别根据屏幕轮廓凸起缺陷D_s起始和终止位置确定刘海占据屏幕边界的起始位置r_start和终止位置r_end)。

通过上述刘海位置参数，可以便于定位设备快速定位刘海的位置及其特征，以适应不同刘海规格的屏幕，提高屏幕视觉定位过程的可靠度。

在一实施例中，用户可以在定位设备中预存有与待测屏幕相关的屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数等数据，有利于对同一型号的屏幕进行定位时可以直接调用上述历史数据跳过部分定位步骤，进而大幅提高其定位效率。

102、根据初始参数对屏幕图像进行缩小操作。

当初始参数中包含有图像缩小倍数的数据时，可以根据其图像缩小倍数对屏幕图像进行缩小操作。

其中，该图像缩小倍数可以为预设的单一初始倍数，也可以为根据屏幕规格制定的倍数。例如，若屏幕图像的尺寸较大，可以按整数倍缩小50倍，若屏幕图像的尺寸较小，也可以按整数倍缩小10倍或更少的倍数，以适应定位需求。通过对屏幕图像进行缩小操作，可以提升粗定位的效率，缩短粗定位的耗时。

当然，该图像缩小倍数可以根据实际情况而定，本申请在此不作限定。

103、基于缩小后的屏幕图像进行屏幕区域的粗定位，获得屏幕的粗定位边缘参数。

其中，粗定位边缘参数为屏幕在粗定位过程中所确定的屏幕区域对应的边缘参数，如缩小后的屏幕区域的顶点坐标。

在一实施例中，可以对缩小后的屏幕区域定位出代表其边缘的直线，并基于该粗定位获得的屏幕区域的直线外接四边形并获得其顶点坐标。具体的，该直线可以是屏幕的四边直线L_top，L_bottom，L_left，L_right。

当然，该边缘参数除了顶点坐标值，还可以是与缩小后的屏幕区域的边缘相关的其他参数，如边界点集合等。

104、根据屏幕图像及粗定位边缘参数进行精定位，获得屏幕的精定位边缘参数。

其中，该精定位边缘参数可以是该屏幕图像中屏幕区域的外接四边形顶点坐标。

在一实施例中，该精定位的过程可以包括：

根据粗定位定点坐标确定屏幕图像中屏幕的四边感兴趣区域；根据屏幕的四边感兴趣区域以及粗定位顶点坐标，确定屏幕图像中屏幕区域的精定位顶点坐标。

具体的，该感兴趣区域也可称为ROI(Region of Interest)，精定位过程中可以根据屏幕四边的边界ROI的R_top，R_bottom，R_left，R_right和对应缩小屏幕图像中屏幕边界直线L_top，L_bottom，L_left，L_right，从缩小后的屏幕图像中提取一系列边界点B_top，B_bottom，B_left，B_right，将缩小后的屏幕图像中边界点集合B_top，B_bottom，B_left，B_right根据屏幕图像缩小倍数α分别映射到原尺寸的屏幕图像中的边界点集合B′_top，B′_bottom，B′_left，B′_right，在映射后的屏幕图像中边界点附近按特定方向搜索(上边朝上，下边朝下，左边朝左，右边朝右)，根据搜索路径上的像素亮度确定屏幕区域的边界点，得到屏幕区域四边的边界点集合

对屏幕区域四边的边界点集合

分别拟合直线得到屏幕区域的边界直线

对屏幕区域四边直线求交点得到屏幕区域外接四边形顶点坐标P_r。

在一些实施例中，请参阅图2，图中示出了本申请实施例提供的屏幕精定位的应用场景。

如图2所示，以位于屏幕左侧的边缘为例，白框是屏幕边界的感兴趣区域ROI，屏幕内侧的圆点d是缩小后屏幕图像的屏幕区域边界集合点映射到屏幕图像中的位置，箭头表示搜索方向，屏幕区域边缘上的点是搜索到的屏幕边界点D。

此时，因搜索路径上的像素亮度会由屏幕亮度l_s渐变到背景亮度l_b，对搜索路径上的像素根据其亮度l_p计算其亮度变化率r_p＝(l_p-l_s)/(l_b-l_s)，当亮度变化率r_p超过一定阈值时判定当前像素位置为屏幕区域的边界点。

进一步的，对搜索路径上的像素的位置和亮度拟合曲线(例如三次B样条曲线)，再计算出曲线在搜索路径上梯度绝对值最大的位置，该位置即为屏幕边界点，如此对屏幕区域边界点的定位精度能达到亚像素级。

通过上述手段可以根据屏幕图像及粗定位边缘参数进行精定位，获得屏幕的精定位边缘参数。

可以理解的，上述的精定位边缘参数也即屏幕区域的顶点坐标P_r。当然，除此之外还可以包含其他与屏幕区域的边缘相关的参数，本申请在此不再穷举。

105、将精定位边缘参数进行输出。

其中，输出过程可以是将精定位边缘参数输出到外部设备中，以便于分析当前的屏幕状态，也可以是输出到定位设备的存储单元进行存储。当然，具体的输出目标可以根据实际情况而定。

在一些实施例中，上述实现步骤为初次进行屏幕视觉定位时执行的定位步骤，可以将初次定位后所产生的屏幕的屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数的至少一种进行存储，并作为初始参数。

当对同一型号的屏幕进行连续视觉定位时，自动记录本型号屏幕的基准位置大小，屏幕视觉定位后对结果进行检查，比较定位结果屏幕位置大小和基准位置大小的差异。若差异处于阈值以内时，则可以基于上述屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数跳过粗定位过程，进而直接利用上述参数执行精定位过程，以提高屏幕视觉定位过程的效率。

但是，若差异大于一定数值，进行二次屏幕视觉定位，并且二次定位时重新执行步骤101-105。该屏幕视觉定位方法的原尺度屏幕精定位过程中对屏幕边界点的定位精度可以达到1个像素以内甚至到亚像素级，屏幕视觉定位结果精度高。并且，该屏幕视觉定位方法包含屏幕视觉定位自适应运行参数自动估计过程，在无人工干预的条件下可以对俯视/斜视的屏幕图像进行视觉定位，具备很好的自适应能力。

由上可知，本申请中的屏幕视觉定位方法，根据初始参数对屏幕图像进行缩小操作，以进行屏幕区域的粗定位，再结合粗定位获得的粗定位边缘参数进行针对屏幕图像的屏幕区域的精定位，从而获得精度较高的边缘参数。通过对屏幕图像进行两次定位，可以提高屏幕视觉定位过程的定位精度，进而提高其可靠性。

请参阅图3，图中示出了本申请实施例提供的屏幕粗定位的实现流程。

该基于缩小后的屏幕图像进行屏幕区域的粗定位，获得屏幕的粗定位边缘参数，包括：

201、确定屏幕区域的边界点集合。

其中，该边界点集合可以通过图像识别算法进行确定，例如通过识别图像亮度的差异来定位屏幕区域的边界点集合。

202、根据边界点集合拟合直线得到屏幕的各边缘线。

其中，因屏幕可以由四边组成，也即边界点集合拟合后的四边作为屏幕的四条边缘线。

在一实施例中，拟合直线可以基于加权最小二乘法将所述边界点集合来进行直线拟合，也即采用加权最小二乘法(weighted least squares)最小化点集中的点到假设直线的距离之和，最小化点线距离之和的直线即为拟合直线。具体的，拟合直线时可以采用L1范数作为点线距离度量，从而加强对偏离数据的鲁棒性，进一步提高屏幕视觉定位的可靠性。

在另一实施例中，在拟合直线时可以采用RANSAC(random sample consensus)算法，确保在偏离数据点较多时直线拟合的结果依然准确。

203、对各边缘线求交点，获得缩小后的屏幕图像的屏幕区域的粗定位顶点坐标。

屏幕区域各边缘线的交点也即屏幕区域外接四边形的顶点，从而获得粗定位顶点坐标。

其中，当获得粗定位顶点坐标后，该根据屏幕图像及粗定位边缘参数进行精定位的步骤，可以包括：

204、根据屏幕图像及粗定位顶点坐标进行精定位。

在一实施例中，通过粗定位顶点坐标可以确定缩小后的屏幕图像中屏幕区域的边界直线参数，利用该边界直线参数可以提取缩小后的屏幕图像的一系列边界点坐标。

然后，基于这些边界点坐标根据图像缩小倍数映射到屏幕图像中边界点坐标在映射后的屏幕图像中边界点附近按特定方向搜索(例如从屏幕内侧向外侧搜索)，根据搜索路径上的像素亮度确定精定位屏幕边界点坐标，对一系列精定位屏幕边界点坐标拟合直线得到屏幕边界直线参数，从而实现对屏幕图像进行精定位。

由上可知，利用上述粗定位获得粗定位顶点坐标，再根据屏幕图像及粗定位顶点坐标实现精定位，可以有效提高屏幕视觉定位过程的可靠性。屏幕边界直线拟合可以容许一定错误的屏幕边界点，并且定位结果检查无效时进行二次定位，视觉定位的可靠性较高。

请参阅图4，图中示出了本申请实施例提供的粗定位中获得边界点集合的实现流程。

如图4所示，该确定屏幕区域的边界点集合的步骤，可以包括：

301、确定缩小后的屏幕图像的屏幕亮度阈值参数。

其中，该屏幕亮度阈值可以是根据屏幕与背景之间的亮度关系预设的识别阈值。

在一实施例中，当定位设备没有预存有待测屏幕的屏幕亮度阈值时，可以采用以下确定方式：

计算缩小后的屏幕图像的亮度直方图；根据亮度直方图的首处局部极小值处的亮度确定屏幕亮度阈值参数。

亮度直方图可以明确屏幕图像中亮度的分布情况，通过该亮度直方图可以明确屏幕区域有可能的边缘像素，从而确定屏幕亮度阈值。

302、基于屏幕亮度阈值参数形成二值图。

303、从二值图中提取屏幕轮廓的轮廓凸包。

304、根据轮廓凸包获得屏幕区域的边界点集合。

其中，当计算出屏幕轮廓的轮廓凸包后，可以从屏幕轮廓的轮廓凸包分割出屏幕的边缘线边界点集合B_top，B_bottom，B_left，B_right。

当获得粗定位的边界点集合后，可以分别对屏幕四边边界点集合B_top，B_bottom，B_left，B_right拟合直线得到粗定位屏幕四边L_top，L_bottom，L_left，L_right，从而对屏幕区域的四边直线求交点得到屏幕区域外接四边形的粗定位顶点坐标P_c。

上述步骤可以通过图像算法来获得粗定位过程中，缩小后的屏幕图像中屏幕区域的边界点集合，从而在确保定位过程可靠度的前提下提升算法效率。

在一实施例中，为了确定屏幕刘海参数，可以包括以下步骤：

确定缩小后的屏幕图像的屏幕亮度阈值参数；基于屏幕亮度阈值参数形成二值图；从二值图中提取屏幕轮廓的凸起缺陷；根据凸起缺陷确定屏幕刘海参数。

结合图5，图中示出了本申请实施例提供的确定屏幕刘海参数的应用场景。

该场景中手型的轮廓C₁可以类比成屏幕区域的屏幕轮廓，根据轮廓C₁可以计算得到轮廓凸包C₂，轮廓C₁相对于轮廓凸包C₂的凹陷即是凸起缺陷C₃。对于屏幕而言，凸起缺陷C₃在这里可以是刘海形成的凸起缺陷Ds。

在一实施例中，屏幕边界类型的类型参数t，可以通过以下方式实现确定：分别计算屏幕轮廓凸起缺陷D_s和屏幕轮廓C_s的质心p_d：(x_d，y_d)，p_c：(x_c，y_c)，检查屏幕轮廓凸起缺陷质心p_d与屏幕轮廓质心p_c之间的相对方位，若屏幕轮廓凸起缺陷质心p_d在屏幕轮廓质心p_c上方则刘海所在屏幕边界类型参数t＝b_top，若屏幕轮廓凸起缺陷质心p_d在屏幕轮廓质心p_c下方则刘海所在屏幕边界类型参数t＝b_bottom，若屏幕轮廓凸起缺陷质心p_d在屏幕轮廓质心p_c左侧则刘海所在屏幕边界类型参数t＝b_left，若屏幕轮廓凸起缺陷质心p_d在屏幕轮廓质心p_c右侧则刘海所在屏幕边界类型参数t＝b_right。

由上可知，通过在缩小后的屏幕图像中识别出凸起凹陷，进而识别出屏幕的刘海位置及其对应的屏幕刘海参数，可以有效适应不同规格的屏幕刘海，从而进一步提高具有刘海结构的屏幕的视觉定位可靠性。

请参阅图6，图中示出了本申请实施例提供的定位设备的结构。

该定位设备用于对屏幕进行视觉定位，其包括图像获取装置，如CCD相机等，可通过所拍摄的图像确定屏幕的位置和姿态，还可以包括计算光照设备、计算设备等，其具体的结构可以参考现有的用于屏幕视觉定位的定位设备。

如图6所示，该定位设备包括可以包括：处理器41及存储器42。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的定位设备4的结构并不构成对本申请的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器41为定位设备的控制中心，利用各种接口和线路连接整个电子定位设备的各个部分，通过运行或执行存储在存储器42内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子定位设备的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器41可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本申请实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

其中，该存储器42可以用于存储处理器41的执行指令，存储器42可以由任何类型的易失性或非易失性存储定位设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当存储器42中的执行指令由处理器41执行时，使得定位设备4能够执行上述屏幕视觉定位方法实施例中的部分或全部步骤，例如：

获取屏幕的屏幕图像及对应的初始参数；根据所述初始参数对所述屏幕图像进行缩小操作；基于缩小后的屏幕图像进行屏幕区域的粗定位，获得所述屏幕的粗定位边缘参数；根据所述屏幕图像及所述粗定位边缘参数进行精定位，获得所述屏幕的精定位边缘参数；将所述精定位边缘参数进行输出。

在一实施例中，所述处理器41可用于执行：

确定所述屏幕区域的边界点集合；

根据所述边界点集合拟合直线得到屏幕的各边缘线；

对所述各边缘线求交点，获得所述缩小后的屏幕图像的屏幕区域的粗定位顶点坐标；

根据所述屏幕图像及所述粗定位顶点坐标进行精定位。

在一实施例中，所述处理器41可用于执行：

确定缩小后的屏幕图像的屏幕亮度阈值参数；基于所述屏幕亮度阈值参数形成二值图；从所述二值图中提取屏幕轮廓的轮廓凸包；根据所述轮廓凸包获得所述屏幕区域的边界点集合。

在一实施例中，所述处理器41可用于执行：

计算所述缩小后的屏幕图像的亮度直方图；根据所述亮度直方图的首处局部极小值处的亮度确定屏幕亮度阈值参数。

在一实施例中，所述处理器41可用于执行：

根据所述粗定位定点坐标确定所述屏幕图像中所述屏幕的四边感兴趣区域；根据所述屏幕的四边感兴趣区域以及所述粗定位顶点坐标，确定所述屏幕图像中屏幕区域的精定位顶点坐标。

在一实施例中，所述处理器41可用于执行：

确定缩小后的屏幕图像的屏幕亮度阈值参数；基于所述屏幕亮度阈值参数形成二值图；从所述二值图中提取屏幕轮廓的凸起缺陷；根据所述凸起缺陷确定所述屏幕刘海参数。

在一实施例中，所述处理器41可用于执行：

基于加权最小二乘法将所述边界点集合拟合直线；其中，拟合直线时采用L1范数作为点线距离度量。

在一实施例中，所述处理器41可用于执行：

由上可知，本申请中的定位设备，本申请中的定位设备，根据初始参数对屏幕图像进行缩小操作，以进行屏幕区域的粗定位，再结合粗定位获得的粗定位边缘参数进行针对屏幕图像的屏幕区域的精定位，从而获得精度较高的边缘参数。通过对屏幕图像进行两次定位，可以提高屏幕视觉定位过程的定位精度，进而提高其可靠性。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序被处理器运行时可执行包括本申请提供的各实施例中的部分或全部步骤，例如：

获取屏幕的屏幕图像及对应的初始参数；根据所述初始参数对所述屏幕图像进行缩小操作；基于缩小后的屏幕图像进行屏幕区域的粗定位，获得所述屏幕的粗定位边缘参数；根据所述屏幕图像及所述粗定位边缘参数进行精定位，获得所述屏幕的精定位边缘参数；将所述精定位边缘参数进行输出。

所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

在本申请实施例中，所述定位设备与上文实施例中的屏幕视觉定位方法属于同一构思，在定位设备上可以运行屏幕视觉定位方法实施例中提供的任一方法步骤，其具体实现过程详见屏幕视觉定位方法实施例，并可以采用任意结合形成本申请的可选实施例，此处不再赘述。

显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请权利要求的保护范围之内。

Claims (4)

1.一种屏幕视觉定位方法，应用于定位设备，其特征在于，所述方法包括：

步骤S1、获取屏幕的屏幕图像及对应的初始参数；根据所述初始参数对所述屏幕图像进行缩小操作；

所述初始参数包括所述屏幕的屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数的至少一种；

当初次对同一型号的屏幕进行连续视觉定位时，自动记录本型号屏幕的基准位置大小，比较连续视觉定位的结果中的屏幕位置大小和基准位置大小的差异；若差异处于预定的差异阈值以内时，则基于上述的屏幕刘海参数、屏幕亮度阈值参数以及图像缩小倍数跳过步骤S2，直接执行步骤S3；若差异大于预定的差异阈值，则执行步骤S2-S3；

所述获取屏幕的屏幕图像及对应的初始参数之前，还包括：确定缩小后的屏幕图像的屏幕亮度阈值参数；基于所述屏幕亮度阈值参数形成二值图；从所述二值图中提取屏幕轮廓的凸起缺陷；根据所述凸起缺陷确定所述屏幕刘海参数；

所述屏幕刘海参数包括代表是否存在屏幕刘海的标识参数，其根据屏幕轮廓的凸起缺陷的大小和缺陷深度超过预定数值来确定；所述屏幕刘海参数还包括代表刘海所在屏幕边界类型的类型参数，其根据屏幕轮廓的凸起缺陷与屏幕轮廓的相对方位来确定；所述屏幕刘海参数还包括代表刘海占据屏幕边界的位置范围参数，其根据屏幕轮廓的凸起缺陷的起始和终止位置来确定；

步骤S2、基于缩小后的屏幕图像进行屏幕区域的粗定位，获得所述屏幕的粗定位边缘参数；

具体为：

步骤S21、确定屏幕区域的边界点集合；包括：步骤S211、确定缩小后的屏幕图像的屏幕亮度阈值参数，具体通过计算所述缩小后的屏幕图像的亮度直方图，根据所述亮度直方图的首处局部极小值处的亮度确定屏幕亮度阈值参数；步骤S212、基于所述屏幕亮度阈值参数形成二值图；步骤S213、从所述二值图中提取屏幕轮廓的轮廓凸包；步骤S214、根据所述轮廓凸包获得所述屏幕区域的边界点集合；

步骤S22、根据所述边界点集合拟合直线得到屏幕的各边缘线；

步骤S23、对所述各边缘线求交点，获得所述缩小后的屏幕图像的屏幕区域的粗定位顶点坐标；

步骤S3、根据所述屏幕图像及所述粗定位边缘参数进行精定位，获得所述屏幕的精定位边缘参数，将所述精定位边缘参数进行输出，包括：根据所述粗定位顶点坐标确定所述屏幕图像中所述屏幕的四边感兴趣区域；根据所述屏幕的四边感兴趣区域以及所述粗定位顶点坐标，确定所述屏幕图像中屏幕区域的精定位顶点坐标；

具体为：

步骤S31、根据屏幕的四边感兴趣区域和缩小屏幕图像中屏幕边界直线，从缩小后的屏幕图像中提取一系列边界点，得到缩小后的屏幕图像中边界点集合；

步骤S32、将缩小后的屏幕图像中边界点集合根据屏幕图像缩小倍数分别映射到原尺寸的屏幕图像中，得到映射后的屏幕图像的边界点，并在映射后的屏幕图像中边界点附近按特定方向搜索，计算搜索路径上的像素亮度l_p的变化率r_p＝(l_p-l_s)/(l_b-l_s)，当亮度变化率r_p超过阈值时判定当前像素位置为屏幕区域的边界点，其中，屏幕亮度为l_s，背景亮度为l_b，进而得到屏幕区域四边的边界点集合；所述特定方向包括上边朝上，下边朝下，左边朝左，右边朝右；

步骤S33、对屏幕区域四边的边界点集合分别拟合直线得到屏幕区域的边界直线，对屏幕区域四边直线求交点，得到屏幕区域的精定位顶点坐标；

步骤S34、将所述精定位边缘参数进行输出，所述精定位边缘参数包括屏幕区域的精定位顶点坐标。

2.如权利要求1所述的屏幕视觉定位方法，其特征在于，

所述根据所述边界点集合拟合直线得到屏幕的各边缘线，包括：

基于加权最小二乘法将所述边界点集合拟合直线；

其中，拟合直线时采用L1范数作为点线距离度量。

3.一种定位设备，其特征在于，所述定位设备包括：

处理器及与所述处理器电连接的存储器；

所述存储器存储有所述处理器可执行的机器可读指令，所述处理器执行所述机器可读指令，以执行如权利要求1-2任一项所述的屏幕视觉定位方法。

4.一种计算机可读存储介质，其特征在于：

所述计算机可读存储介质上存储有计算机程序；

所述计算机程序被处理器运行时执行如权利要求1-2任一项所述的屏幕视觉定位方法。

Images