CN116894939A - 一种异形屏的区域定位方法、装置、电子设备和存储介质 - Google Patents
一种异形屏的区域定位方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116894939A CN116894939A CN202311161406.3A CN202311161406A CN116894939A CN 116894939 A CN116894939 A CN 116894939A CN 202311161406 A CN202311161406 A CN 202311161406A CN 116894939 A CN116894939 A CN 116894939A
- Authority
- CN
- China
- Prior art keywords
- special
- display screen
- critical point
- generating
- coordinate set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000001788 irregular Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000002788 crimping Methods 0.000 claims description 22
- 230000008602 contraction Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 19
- 239000011521 glass Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种异形屏的区域定位方法、装置、电子设备和存储介质,用于提高不规则的待检测显示屏在有效区域提取的精确度。本申请区域定位方法包括:点亮待检测显示屏;对待检测显示屏进行图像采集,在原始图像上生成异形屏搜索框;为异形屏搜索框每一条边生成初始拟合线;根据初始拟合线生成边缘点坐标集合;在原始图像上生成搜索框;对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;对搜索框进行灰度提取,为每一条边生成灰度外接区域;根据灰度外接区域获取对应边的临界点坐标集合;根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线;将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
Description
技术领域
本申请实施例涉及显示屏有效区域提取领域,尤其涉及一种异形屏的区域定位方法、装置、电子设备和存储介质。
背景技术
随着科技不断发展,各类设备不断更新迭代,显示屏作为设备的显示组件之一,被运用在各种高端设备上,例如手机、电视、平板电脑等。而随着人们对画面显示的要求不断提高,显示屏逐渐成为技术精密的产品。
传统的显示屏基本都是四边形的,在AOI检测定位部分会比较容易的找到屏体的四个边缘轮廓线。通过灰度侦测的原理,即可有效的检测到四边形常规矩形显示屏的有效区域。
但是现如今,全息投影技术不断的迭代更新,一种专属于全息投影的显示屏应运而生。为了迎合全息投影的功能,产生了一种VR-Glass的显示屏幕,该显示屏幕需要迎合用户的视角进行投影,给用户提供一种身临其境的体验感,需要将传统的矩形显示屏的边进行改动,生成不同倾斜程度的边缘,这类修改后的显示屏称之为异形屏。VR-Glass则是因为拥有较强的体验感,越来越受到年轻人的喜欢,因此VR-Glass设计也越来越新颖越来越时尚。现如今,VR-Glass的显示屏幕的外形结构已经远远区别于传统的显示屏的外形结构。
而VR-Glass的显示屏幕已经大于四边形,成为了不规则的异形屏,而且上下左右的边缘线段的个数也不完全相同,这对于传统的AA区提取算法来说是无法解决的。AOI检测中AA区(有效区域)提取是必不可少的一个技术环节,准确的提取AA区,对于缺陷检测以及坐标统计都至关重要。
现有的AA区提取算法都是基于类似手机屏幕外形的矩形屏体进行的,适用于水平和垂直方向的边缘轮廓线搜索,但是由于VR-Glass的显示屏幕为异形屏,所以存在倾斜的线段,以至于使用传统的AA区提取算法无法准确获取。其次,VR-Glass的显示屏幕进行外观检测时,会选择借助外部打光来实现成像,待检测显示屏平放在载台上,用于待检测显示屏为异形屏,使得边缘轮廓存在不同程度的倾斜,结合载台表面的凹凸点会使得图像的背景比较复杂,如果使用灰度侦测算法提取边缘轮廓线时,这些边缘轮廓就容易受到背景干扰,使得边缘轮廓提取不准确。导致对不规则的待检测显示屏有效区域提取精确度降低。
发明内容
本申请公开了一种异形屏的区域定位方法、装置、电子设备和存储介质,用于提高不规则的待检测显示屏在有效区域提取的精确度。
本申请第一方面提供了一种异形屏的区域定位方法,包括:
将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边;
通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域;
为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
根据初始拟合线生成边缘点坐标集合;
以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合;
对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
根据至少两个灰度外接区域获取对应边的临界点坐标集合;
根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线;
将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
可选的,为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线,包括:
确定异形屏搜索框的每一条边的起点坐标和终点坐标;
通过起点坐标和终点坐标生成异形屏搜索框每一条边对应的xld轮廓线;
在异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值;
根据至少两个拟合标定点位对应的预测坐标值和实测坐标值生成异形屏搜索框的每一条边对应的初始拟合线。
可选的,根据初始拟合线生成边缘点坐标集合,包括:
计算初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist;
根据异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组;
根据拟合参考点坐标组、第一行系数Nr、第一列系数Nc和第一原点距离Dist生成边缘点坐标集合。
可选的,根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线,包括:
根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线;
在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值;
根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线。
可选的,在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值之后,根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线之前,区域定位方法包括:
采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点。
可选的,在根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线之后,将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域之前,区域定位方法还包括:
计算临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist;
根据临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组;
根据优度参考点坐标组、第二行系数Nr、第二列系数Nc和第二原点距离Dist生成拟合优度坐标组;
通过拟合优度坐标组计算临界点拟合线的拟合优度;
当拟合优度达到预设条件时,确定临界点坐标集合对应的临界点拟合线的精度达到预设要求。
可选的,在将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域之后,区域定位方法还包括:
提取异形屏有效区域的每条线段的起点坐标和终点坐标;
根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度;
获取每条线段起点坐标和终点坐标之间的中点坐标,并根据中点坐标计算行列方向偏差;
使用中点坐标与行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标;
根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
本申请第二方面提供了一种异形屏的区域定位装置,包括:
预处理单元,用于将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边;
第一生成单元,用于通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域;
第二生成单元,用于为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
第三生成单元,用于根据初始拟合线生成边缘点坐标集合;
第四生成单元,用于以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合;
第五生成单元,用于对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
第六生成单元,用于对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
获取单元,用于根据至少两个灰度外接区域获取对应边的临界点坐标集合;
第七生成单元,用于根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线;
第八生成单元,用于将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
可选的,第二生成单元,包括:
确定异形屏搜索框的每一条边的起点坐标和终点坐标;
通过起点坐标和终点坐标生成异形屏搜索框每一条边对应的xld轮廓线;
在异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值;
根据至少两个拟合标定点位对应的预测坐标值和实测坐标值生成异形屏搜索框的每一条边对应的初始拟合线。
可选的,第三生成单元,包括:
计算初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist;
根据异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组;
根据拟合参考点坐标组、第一行系数Nr、第一列系数Nc和第一原点距离Dist生成边缘点坐标集合。
可选的,第七生成单元,包括:
第一生成模块,用于根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线;
获取模块,用于在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值;
第二生成模块,用于根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线。
可选的,在获取模块之后,第二生成模块之前,区域定位装置还包括:
去除模块,用于采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点。
可选的,在第七生成单元之后,第八生成单元之前,区域定位装置还包括:
计算单元,用于计算临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist;
第九生成单元,用于根据临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组;
第十生成单元,用于根据优度参考点坐标组、第二行系数Nr、第二列系数Nc和第二原点距离Dist生成拟合优度坐标组;
第二计算单元,用于通过拟合优度坐标组计算临界点拟合线的拟合优度;
确定单元,用于当拟合优度达到预设条件时,确定临界点坐标集合对应的临界点拟合线的精度达到预设要求。
可选的,在第八生成单元之后,区域定位装置还包括:
提取单元,用于提取异形屏有效区域的每条线段的起点坐标和终点坐标;
第三计算单元,用于根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度;
第四计算单元,用于获取每条线段起点坐标和终点坐标之间的中点坐标,并根据中点坐标计算行列方向偏差;
第五计算单元,用于使用中点坐标与行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标;
变形单元,用于根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
本申请第四方面提供了一种电子设备,包括:
处理器、存储器、输入输出单元以及总线;
处理器与存储器、输入输出单元以及总线相连;
存储器保存有程序,处理器调用程序以执行如第一方面以及第一方面的任意可选的区域定位方法。
本申请第五方面提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如第一方面以及第一方面的任意可选的区域定位方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请中,首先将待检测显示屏移动到图像采集组件的视野中心,再使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏。其中,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边。接下来通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域。此处的异形屏搜索框主要用于囊括整个异形屏区域,使得后续的拟合线能够贴近异形屏轮廓。
为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线。目的是为了让异形屏每一条边进行拆分,尽可能将不规则的形状变成单一规则的形状。根据初始拟合线生成边缘点坐标集合。边缘点坐标集合中的坐标能够更贴合显示屏区域。接下来以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合,即搜索框中有一部分为显示屏区域的像素点,有一部分为显示屏区域外的像素点。对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像。对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域。接下来,根据至少两个灰度外接区域获取对应边的临界点坐标集合。然后即可根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线。最后将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
本申请中,通过在原始图像上生成异形屏搜索框,使得显示屏区域能够被囊括在异形屏搜索框中,后续通过构建出异形屏搜索框的初始拟合线,并通过初始拟合线生成边缘点坐标集合,边缘点坐标集合相对靠近显示屏区域,接下来即可生成与显示屏区域重合的搜索框,通过对搜索框中的像素点进行灰度膨胀处理,使得可以确定与显示屏区域重合的区域,即为灰度外接区域。然后通过灰度外接区域进行连接点坐标的确定,并通过连接点坐标进行线段拟合,生成对应显示屏区域的多条拟合直线(临界点拟合线),将这些直线进行交点计算,去除多余的部分,即可获得多条线段,这些线段组合即构成了异形屏有效区域。在搜索临界点坐标集合时,利用灰度膨胀前后图像的差异来判断临界点,提高不规则的待检测显示屏在有效区域提取的精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请异形屏的区域定位方法的一个结构示意图;
图2-a为本申请异形屏的区域定位方法的第一阶段的一个实施例示意图;
图2-b为本申请异形屏的区域定位方法的第二阶段的一个实施例示意图;
图2-c为本申请异形屏的区域定位方法的第三阶段的一个实施例示意图;
图3为本申请异形屏的区域定位装置的一个实施例示意图;
图4为本申请异形屏的区域定位装置的另一个实施例示意图;
图5为本申请电子设备的一个实施例示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
在现有技术中,传统的显示屏基本都是四边形的,在AOI检测定位部分会比较容易的找到屏体的四个边缘轮廓线。通过灰度侦测的原理,即可有效的检测到四边形常规矩形显示屏的有效区域。
但是现如今,全息投影技术不断的迭代更新,一种专属于全息投影的显示屏应运而生。为了迎合全息投影的功能,产生了一种VR-Glass的显示屏幕,该显示屏幕需要迎合用户的视角进行投影,给用户提供一种身临其境的体验感,需要将传统的矩形显示屏的边长设计成不同倾斜程度的边缘,称之为异形屏。VR-Glass则是因为拥有较强的体验感,越来越受到年轻人的喜欢,因此VR-Glass设计也越来越新颖越来越时尚。现如今,VR-Glass的显示屏幕已经远远区别于传统的显示屏的外形结构。
而VR-Glass的显示屏幕已经大于四边形,成为了不规则的异形屏,而且上下左右的边缘线段的个数也不完全相同,这对于传统的AA区提取算法来说是无法解决的。AOI检测中AA区(有效区域)提取是必不可少的一个技术环节,准确的提取AA区,对于缺陷检测以及坐标统计都至关重要。
现有的AA区提取算法都是基于类似手机屏幕外形的矩形屏体进行的,适用于水平和垂直方向的边缘轮廓线搜索,但是由于VR-Glass的显示屏幕为异形屏,所以存在倾斜的线段,以至于使用传统的AA区提取算法无法准确获取。其次,VR-Glass的显示屏幕进行外观检测时,会选择借助外部打光来实现成像,待检测显示屏平放在载台上,用于待检测显示屏为异形屏,使得边缘轮廓存在不同程度的倾斜,结合载台表面的凹凸点会使得图像的背景比较复杂,如果使用灰度侦测算法提取边缘轮廓线时,这些边缘轮廓就容易受到背景干扰,使得边缘轮廓提取不准确。导致对不规则的待检测显示屏有效区域提取精确度降低。
基于此,本申请公开了一种异形屏的区域定位方法、装置、电子设备和存储介质,用于提高不规则的待检测显示屏在有效区域提取的精确度。
下面将结合本申请实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备,对此,本申请不作限定。为方便描述,下面以执行主体为终端为例进行描述。
请参阅图1,本申请提供了一种异形屏的区域定位方法的一个实施例,包括:
101、将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边;
本实施例中,终端控制待检测显示屏移动到载物台的预设位置,并且控制图像采集组件达到预定高度和位置,使得待检测显示屏移动到图像采集组件的视野中心。压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,使得待检测显示屏能够输出对应图像。
本实施例中的待检测显示屏为不规则的异形屏,这里的不规则是指多边形,并且至少存在两条相邻的边不互相垂直,这些边均为直线,可以有一些弧度,但是这条弧整体能够被看做是直线。
102、通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域;
本实施例中,终端通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,原始图像上就会出现显示屏区域和背景区域,背景区域通常为黑色。在原始图像上生成异形屏搜索框,异形屏搜索框是根据待检测显示屏的形状与大小设置的,形状相同,但是大小有差异,异形屏搜索框的大小略大。在每一张原始图像中,异形屏搜索框的位置是固定的,异形屏搜索框可以是以原始图像的视野中心为定位坐标,在原始图像上生成异形屏搜索框。而待检测显示屏需要通过移动设备移动到图像采集组件的视野中心。也就是说,异形屏搜索框和待检测显示屏在图像上的位置每一次都有微小差别。
如果待检测显示屏在放置过程中出现偏差,导致待检测显示屏未处于视野中心时,会出现一下情况,显示屏区域与异形屏搜索框在原始图像上直接重叠,这样的情况会出现NG,无法进行有效区域的搜索。
需要说明的是,异形屏搜索框也可以是在载台上放置发光设备,例如:在载台上放置了一块正8边形的发光设备,该发光设备镂空,在该发光设备中间的镂空位置放置正八边形的待检测显示屏。
本实施例中,通过搜索框坐标在原始图上生成异形屏搜索框,搜索框坐标按行和列分别输入,且需要分上下左右,因为异形屏边缘由很多个线段组成,算法中需要对每一条线段进行拟合,异形屏搜索框外形也需要保持与待检测显示屏(异形屏)的形状相似。
103、为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
终端首先根据异形屏搜索框每一条边的坐标点进行线性拟合,生成该这条边对应的初始拟合线。
104、根据初始拟合线生成边缘点坐标集合;
终端根据初始拟合线生成边缘点坐标集合,即需要根据初始拟合线上的数据确定边缘点,这些边缘点可以比异形屏搜索框更靠近显示屏区域。
105、以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合;
搜索框可以是多种形状,可以是圆形、梯形和锥形。本实施例中,搜索框为矩形。
边缘点坐标集合中的边缘点作为定位点,可以是作为矩形搜索框的中心点,也可以是矩形搜索框的顶点,还可以是矩形搜索框一条边线上的中点,此处不作限定。本实施例中,边缘点作为矩形搜索框一条边的中点,并且使用预设的搜索线长d,以中心点出发生成一条直线。这条直线的方向可以是朝向视野中心,也可以是与前述的初始拟合线或是异形屏搜索框的线段垂直,此处不作限定。本实施例中,这条直线的方向前述的初始拟合线垂直。直线长度为搜索线长d,并以此生成一个矩形,该矩形即为搜索框。
搜索线长为从搜索框向显示屏区域内寻找的距离,大小需要结合搜索框与显示屏区域之间的距离来设置。
例如:一个异性屏为正八边形,将它分成上下左右四个区域进行搜索,其中左右各包含三条边,根据设置的参数,可以在每条边上按照点间距和搜索线长,等距离画出若干矩形的搜索框,且保证矩形的搜索框与异形屏有交集,因此搜索线长必须足够大。
106、对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
终端对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像。
终端在可以仅在矩形搜索框上做灰度形态学(灰度膨胀),为了确保形貌差异较小,作灰度膨胀时,只沿着矩形框长边方向设置大于1的值,短边始终设为1。
具体的,终端利用膨胀前后的图像作动态局部二值化(原理如下):
其中,为膨胀后的灰度值,/>膨胀前的灰度值,/>为灰度阈值。
107、对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
终端对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域。
具体的,灰度膨胀图像每个方向的矩形框与原始图像做交集,获取包含临界边缘的部分(灰度外接区域)。其原理是搜索框内包括显示屏区域内的像素点,也包括显示屏区域之外的像素点,但是显示屏区域外的像素点主要为黑色,在灰度膨胀之后不会有增亮效果,而灰度膨胀之后的显示屏区域的像素会出现增亮效果,以此形成了区别,使得搜索框内的两部分像素形成了更大的差异,这时候根据预设的灰度阈值对搜索框进行灰度提取,即可得到显示屏区域的像素点集合,即灰度外界区域。
具体的,终端让每个方向的矩形搜索框与原始图像做交集,获取包含临界边缘的区域。
108、根据至少两个灰度外接区域获取对应边的临界点坐标集合;
终端据至少两个灰度外接区域获取对应边的临界点坐标集合,其原理是将灰度外界区域的像素点进行整合,得到一个边缘的临界点,具体可以是通过筛选像素点的横坐标或是列坐标,根据灰度外接区域的位置筛选出最边缘的坐标,这些坐标即为临界点坐标。
本实施例中,终端根据事先设置阈值,膨胀后的图像灰度值大于膨胀前的会被提取,计算区域的外接矩形(灰度外接区域),即可获取行列坐标(R,C),即为临界点坐标。
109、根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线;
终端根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线,即使用线性拟合将这一部分临界点坐标,形成一条线,即为临界点拟合线。
110、将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
终端将临界点坐标集合对应的临界点拟合线进行交点计算,目的是得到交点使得临界点拟合线由直线变化成线段,线段与线段之间生成异形屏有效区域。
其次,终端还通过±2^15来过滤无效结果,然后生成临界点拟合线在原始图像中的有效线段,把所有线段保存到同一个对象中。
本实施例中,首先将待检测显示屏移动到图像采集组件的视野中心,再使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏。其中,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边。接下来通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域。此处的异形屏搜索框主要用于囊括整个异形屏区域,使得后续的拟合线能够贴近异形屏轮廓。
为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线。目的是为了让异形屏每一条边进行拆分,尽可能将不规则的形状变成单一规则的形状。根据初始拟合线生成边缘点坐标集合。边缘点坐标集合中的坐标能够更贴合显示屏区域。接下来以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合,即搜索框中有一部分为显示屏区域的像素点,有一部分为显示屏区域外的像素点。对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像。对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域。接下来,根据至少两个灰度外接区域获取对应边的临界点坐标集合。然后即可根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线。最后将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
本申请中,通过在原始图像上生成异形屏搜索框,使得显示屏区域能够被囊括在异形屏搜索框中,后续通过构建出异形屏搜索框的初始拟合线,并通过初始拟合线生成边缘点坐标集合,边缘点坐标集合相对靠近显示屏区域,接下来即可生成与显示屏区域重合的搜索框,通过对搜索框中的像素点进行灰度膨胀处理,使得可以确定与显示屏区域重合的区域,即为灰度外接区域。然后通过灰度外接区域进行连接点坐标的确定,并通过连接点坐标进行线段拟合,生成对应显示屏区域的多条拟合直线(临界点拟合线),将这些直线进行交点计算,去除多余的部分,即可获得多条线段,这些线段组合即构成了异形屏有效区域。在搜索临界点坐标集合时,利用灰度膨胀前后图像的差异来判断临界点,提高不规则的待检测显示屏在有效区域提取的精确度。
请参阅图2-a、图2-b和图2-c,本申请提供了一种异形屏的区域定位方法的另一个实施例,包括:
201、将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边;
202、通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域;
本实施例中,步骤201至步骤202与前述步骤101至步骤102相似,此处不做赘述。
203、确定异形屏搜索框的每一条边的起点坐标和终点坐标;
204、通过起点坐标和终点坐标生成异形屏搜索框每一条边对应的xld轮廓线;
205、在异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值;
206、根据至少两个拟合标定点位对应的预测坐标值和实测坐标值生成异形屏搜索框的每一条边对应的初始拟合线;
本实施例中,首先确定异形屏搜索框的每一条边的起点坐标和终点坐标,接下来即可率先通过起点坐标和终点坐标生成异形屏搜索框每一条边对应的xld轮廓线,该xld轮廓线与异形屏搜索框对应的边不一定完全重合,故需要在异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值,再根据至少两个拟合标定点位对应的预测坐标值和实测坐标值进行线性拟合,即可生成异形屏搜索框的每一条边对应的初始拟合线。
公式如下:
其中,yi实测值,f(x)理论值,L误差平方和,n为拟合标定点位数量。
207、计算初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist;
208、根据异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组;
209、根据拟合参考点坐标组、第一行系数Nr、第一列系数Nc和第一原点距离Dist生成边缘点坐标集合;
当终端生成异形屏搜索框的每一条边对应的初始拟合线之后,紧接着计算初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist,根据异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组,根据拟合参考点坐标组、第一行系数Nr、第一列系数Nc和第一原点距离Dist生成边缘点坐标集合,计算公式如下:
其中,Col[i]、Row[i]为边缘点的行列坐标,Dist为到图像原点或是异形屏搜索框的距离,Nr,Nc为行列坐标的拟合系数。
本实施例中,本算法边缘拟合,是通过寻找异形屏边缘点坐标集合,然后拟合线段,所以边缘点坐标的数量需要保证,该参数可以控制寻找的边缘点坐标的数量。
210、以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合;
211、对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
212、对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
213、根据至少两个灰度外接区域获取对应边的临界点坐标集合;
本实施例中,步骤210至步骤213与前述步骤105至步骤108相似,此处不做赘述。
214、根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线;
215、在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值;
216、采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点;
217、根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线;
终端采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点,目的是能够让后续的点位计算的临界点拟合线更加平滑,与真实的轮廓更加接近。公式如下:
其中,δ为异方差,γ为同方差,为加权最小二乘法函数。
终端根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线,并且在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值,采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点。最后根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线。步骤214、步骤215和步骤217与前述步骤中步骤203至步骤206类似,区别在于步骤203至步骤206为粗定位,而步骤214、步骤215和步骤217为精定位。步骤203至步骤206是根据搜索框找到边缘临界点,而步骤214、步骤215和步骤217是根据临界点集合进行拟合优化。
218、计算临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist;
219、根据临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组;
220、根据优度参考点坐标组、第二行系数Nr、第二列系数Nc和第二原点距离Dist生成拟合优度坐标组;
221、通过拟合优度坐标组计算临界点拟合线的拟合优度;
222、当拟合优度达到预设条件时,确定临界点坐标集合对应的临界点拟合线的精度达到预设要求;
拟合优度用于确保拟合直线与实际轮廓不会产生过大偏差。当拟合线对应的拟合优度不满足预设条件时,与实际的轮廓产生的形变过大,强行拟合会导致后续计算与实际结果偏差较大。上述情况一般是待检测显示屏或是片子摆放有问题才会出现。
本实施例中,终端计算临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist,并且根据临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组,根据优度参考点坐标组、第二行系数Nr、第二列系数Nc和第二原点距离Dist生成拟合优度坐标组,通过拟合优度坐标组计算临界点拟合线的拟合优度,当拟合优度达到预设条件时,确定临界点坐标集合对应的临界点拟合线的精度达到预设要求。公式如下:
其中,Qy为临界点y坐标集合,Estimate_y为优化系数,SST和SSR为拟合优度系数,R为拟合优度。
223、将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域;
本实施例中,步骤223与前述步骤110相似,此处不做赘述。
本实施例中的算法支持计算异形屏外接矩形的坐标,在获取异形屏的有效区域后,以正八边形为例,可以自主选择上下左右包含的拟合线段,如左侧包含三条线段,如果计算外接矩形,选择第2条线段与上下两条线段求交点即可。
224、提取异形屏有效区域的每条线段的起点坐标和终点坐标;
225、根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度;
226、获取每条线段起点坐标和终点坐标之间的中点坐标,并根据中点坐标计算行列方向偏差;
227、使用中点坐标与行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标;
228、根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
为了对原始图像中的显示屏区域进行扩张或内缩,可以先通过提取异形屏有效区域的每条线段的起点坐标和终点坐标。根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度。获取每条线段起点坐标和终点坐标之间的中点坐标,并根据中点坐标计算行列方向偏差。使用中点坐标与行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标。根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
公式如下:
其中,y1、y2、x1和x2为起点和终点的坐标,size为外扩尺寸,D为线段长度,和分别为行列方向偏差,k为效率。
本实施例中,首先将待检测显示屏移动到图像采集组件的视野中心,再使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏。其中,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边。接下来通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域。此处的异形屏搜索框主要用于囊括整个异形屏区域,使得后续的拟合线能够贴近异形屏轮廓。
确定异形屏搜索框的每一条边的起点坐标和终点坐标。通过起点坐标和终点坐标生成异形屏搜索框每一条边对应的xld轮廓线。在异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值。根据至少两个拟合标定点位对应的预测坐标值和实测坐标值生成异形屏搜索框的每一条边对应的初始拟合线。目的是为了让异形屏每一条边进行拆分,尽可能将不规则的形状变成单一规则的形状。计算初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist。根据异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组。根据拟合参考点坐标组、第一行系数Nr、第一列系数Nc和第一原点距离Dist生成边缘点坐标集合。边缘点坐标集合中的坐标能够更贴合显示屏区域。接下来以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合,即搜索框中有一部分为显示屏区域的像素点,有一部分为显示屏区域外的像素点。对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像。对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域。接下来,根据至少两个灰度外接区域获取对应边的临界点坐标集合。根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线。在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值。采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点。根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线。计算临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist。根据临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组。根据优度参考点坐标组、第二行系数Nr、第二列系数Nc和第二原点距离Dist生成拟合优度坐标组。通过拟合优度坐标组计算临界点拟合线的拟合优度。当拟合优度达到预设条件时,确定临界点坐标集合对应的临界点拟合线的精度达到预设要求。
最后将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。提取异形屏有效区域的每条线段的起点坐标和终点坐标。根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度。获取每条线段起点坐标和终点坐标之间的中点坐标,并根据中点坐标计算行列方向偏差。使用中点坐标与行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标。根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
本申请中,通过在原始图像上生成异形屏搜索框,使得显示屏区域能够被囊括在异形屏搜索框中,后续通过构建出异形屏搜索框的初始拟合线,并通过初始拟合线生成边缘点坐标集合,边缘点坐标集合相对靠近显示屏区域,接下来即可生成与显示屏区域重合的搜索框,通过对搜索框中的像素点进行灰度膨胀处理,使得可以确定与显示屏区域重合的区域,即为灰度外接区域。然后通过灰度外接区域进行连接点坐标的确定,并通过连接点坐标进行线段拟合,生成对应显示屏区域的多条拟合直线(临界点拟合线),将这些直线进行交点计算,去除多余的部分,即可获得多条线段,这些线段组合即构成了异形屏有效区域。在搜索临界点坐标集合时,利用灰度膨胀前后图像的差异来判断临界点,提高不规则的待检测显示屏在有效区域提取的精确度。
同时,这种新型的搜索方式可以有效地避免复杂背景带来的干扰,可以准确的提取边缘轮廓线,大大提升了算法的鲁棒性。
其次,本实施例提供的对VR-Glass用异形显示屏图像的AA区自动探测识别的算法模型,可以用于各种多边形图像的AA区提取,算法具有一般性,可以自行设置搜索框位置和大小,来应对生产中摆放不规范的屏体,确保AA区提取的灵活性和准确性。
其次,现有算法边缘临界点的搜索都是基于灰度侦测的原理,这个耗时会比较长,如果增加了边缘轮廓的个数,会使得算法时间大大延长。本实施例中,提供了的新型边缘临界点的搜索方式,可以大大节省搜索时间,对于边缘轮廓线的增加,搜索时间增加不会特别明显。
其次,本实施例中的VR-Glass显示屏AA区边缘轮廓提取算法,不仅可以搜索水平和垂直方向的边缘轮廓线,同时还可以有效的寻找倾斜的线段,同时根据上下左右分布不均的轮廓线进行分区搜索拟合,最终可以有效的提取和拟合所有的边缘轮廓线。算法在搜索边缘临界点时,采用一种全新的理念,利用灰度膨胀前后图像的差异来判断临界点,与传统的灰度侦测法相比除了可以节约大量时间外,还能够尽量避免背景对搜索结果的影响。本算法已经通过实际项目验证,除了能够准确寻找背景比较简单的点灯屏体的AA区外,还能够有效的应对背景复杂的外观检产品。
其次,本实施例中提供了一种加权最小二乘法来拟合直线,能够把离群点去除,这样拟合的直线更加精准,同时整个算法中多次采用拟合的方式整理行列坐标,可以确保搜索区域的准确性,在边缘点的侦测中提高准确性,尽可能多的找到边缘临界点,为最终的边缘轮廓拟合提供数据保障。
其次,本实施例中的算法开放了很多参数,点间距,搜索线长,搜索阈值,拟合参数等,这使得算法可以适应更多的异形片的AA区提取。算法运算复杂度极低,易于并行实现。
请参阅图3,本申请提供了一种异形屏的区域定位装置的一个实施例,包括:
预处理单元301,用于将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边;
第一生成单元302,用于通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域;
第二生成单元303,用于为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
第三生成单元304,用于根据初始拟合线生成边缘点坐标集合;
第四生成单元305,用于以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合;
第五生成单元306,用于对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
第六生成单元307,用于对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
获取单元308,用于根据至少两个灰度外接区域获取对应边的临界点坐标集合;
第七生成单元309,用于根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线;
第八生成单元310,用于将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
请参阅图4,本申请提供了一种异形屏的区域定位装置的另一个实施例,包括:
预处理单元401,用于将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,待检测显示屏为不规则的异形屏,待检测显示屏有至少3条边;
第一生成单元402,用于通过图像采集组件对待检测显示屏进行图像采集,获取原始图像,在原始图像上生成异形屏搜索框,原始图像上有显示屏区域,异形屏搜索框的形状与待检测显示屏相同,异形屏搜索框的大小大于显示屏区域;
第二生成单元403,用于为异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
可选的,第二生成单元403,包括:
确定异形屏搜索框的每一条边的起点坐标和终点坐标;
通过起点坐标和终点坐标生成异形屏搜索框每一条边对应的xld轮廓线;
在异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值;
根据至少两个拟合标定点位对应的预测坐标值和实测坐标值生成异形屏搜索框的每一条边对应的初始拟合线。
第三生成单元404,用于根据初始拟合线生成边缘点坐标集合;
可选的,第三生成单元404,包括:
计算初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist;
根据异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组;
根据拟合参考点坐标组、第一行系数Nr、第一列系数Nc和第一原点距离Dist生成边缘点坐标集合。
第四生成单元405,用于以边缘点坐标集合为定位点结合预设的搜索线长在原始图像上生成至少两个相同形状的搜索框,搜索框与显示屏区域存在重合;
第五生成单元406,用于对搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
第六生成单元407,用于对比灰度膨胀图像与原始图像的灰度值,并根据预设的灰度阈值对搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
获取单元408,用于根据至少两个灰度外接区域获取对应边的临界点坐标集合;
第七生成单元409,用于根据临界点坐标集合的行坐标或列坐标生成临界点坐标集合对应的临界点拟合线;
可选的,第七生成单元409,包括:
第一生成模块4091,用于根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线;
获取模块4092,用于在临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值;
去除模块4093,用于采用加权最小二乘法结合预测坐标值和实测坐标值去除临界点坐标集合中的离群点;
第二生成模块4094,用于根据至少两个点位对应的预测坐标值和实测坐标值生成临界点坐标集合对应的临界点拟合线。
计算单元410,用于计算临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist;
第九生成单元411,用于根据临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组;
第十生成单元412,用于根据优度参考点坐标组、第二行系数Nr、第二列系数Nc和第二原点距离Dist生成拟合优度坐标组;
第二计算单元413,用于通过拟合优度坐标组计算临界点拟合线的拟合优度;
确定单元414,用于当拟合优度达到预设条件时,确定临界点坐标集合对应的临界点拟合线的精度达到预设要求;
第八生成单元415,用于将临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
提取单元416,用于提取异形屏有效区域的每条线段的起点坐标和终点坐标;
第三计算单元417,用于根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度;
第四计算单元418,用于获取每条线段起点坐标和终点坐标之间的中点坐标,并根据中点坐标计算行列方向偏差;
第五计算单元419,用于使用中点坐标与行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标;
变形单元420,用于根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
请参阅图5,本申请提供了一种电子设备,包括:
处理器501、存储器503、输入输出单元502以及总线504。
处理器501与存储器503、输入输出单元502以及总线504相连。
存储器503保存有程序,处理器501调用程序以执行如图2-a、图2-b和图2-c中的异形屏的区域定位方法。
本申请提供了一种计算机可读存储介质,计算机可读存储介质上保存有程序,程序在计算机上执行时执行如图1、图2-a、图2-b和图2-c中的异形屏的区域定位方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-onlymemory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种异形屏的区域定位方法,其特征在于,包括:
将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,所述待检测显示屏为不规则的异形屏,所述待检测显示屏有至少3条边;
通过所述图像采集组件对所述待检测显示屏进行图像采集,获取原始图像,在所述原始图像上生成异形屏搜索框,所述原始图像上有显示屏区域,所述异形屏搜索框的形状与所述待检测显示屏相同,所述异形屏搜索框的大小大于所述显示屏区域;
为所述异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
根据所述初始拟合线生成边缘点坐标集合;
以所述边缘点坐标集合为定位点结合预设的搜索线长在所述原始图像上生成至少两个相同形状的搜索框,所述搜索框与所述显示屏区域存在重合;
对所述搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
对比所述灰度膨胀图像与所述原始图像的灰度值,并根据预设的灰度阈值对所述搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
根据至少两个灰度外接区域获取对应边的临界点坐标集合;
根据临界点坐标集合的行坐标或列坐标生成所述临界点坐标集合对应的临界点拟合线;
将所述临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
2.根据权利要求1所述的区域定位方法,其特征在于,为所述异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线,包括:
确定所述异形屏搜索框的每一条边的起点坐标和终点坐标;
通过起点坐标和终点坐标生成所述异形屏搜索框每一条边对应的xld轮廓线;
在所述异形屏搜索框每一条边对应的xld轮廓线上选取至少两个拟合标定点位,获取拟合标定点位对应的预测坐标值和实测坐标值;
根据至少两个拟合标定点位对应的预测坐标值和实测坐标值生成所述异形屏搜索框的每一条边对应的初始拟合线。
3.根据权利要求1所述的区域定位方法,其特征在于,根据所述初始拟合线生成边缘点坐标集合,包括:
计算所述初始拟合线的第一行系数Nr、第一列系数Nc和第一原点距离Dist;
根据所述异形屏搜索框的每一条边的起点坐标和终点坐标以及预设的点间距生成拟合参考点坐标组;
根据所述拟合参考点坐标组、所述第一行系数Nr、所述第一列系数Nc和所述第一原点距离Dist生成边缘点坐标集合。
4.根据权利要求1所述的区域定位方法,其特征在于,所述根据临界点坐标集合的行坐标或列坐标生成所述临界点坐标集合对应的临界点拟合线,包括:
根据临界点坐标集合的行坐标或列坐标生成对应的xld轮廓线;
在所述临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值;
根据至少两个点位对应的预测坐标值和实测坐标值生成所述临界点坐标集合对应的临界点拟合线。
5.根据权利要求4所述的区域定位方法,其特征在于,在所述临界点坐标集合的xld轮廓线上选取至少两个点位,获取点位对应的预测坐标值和实测坐标值之后,所述根据至少两个点位对应的预测坐标值和实测坐标值生成所述临界点坐标集合对应的临界点拟合线之前,所述区域定位方法包括:
采用加权最小二乘法结合预测坐标值和实测坐标值去除所述临界点坐标集合中的离群点。
6.根据权利要求1至5中任一项所述的区域定位方法,其特征在于,在所述根据临界点坐标集合的行坐标或列坐标生成所述临界点坐标集合对应的临界点拟合线之后,所述将所述临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域之前,所述区域定位方法还包括:
计算所述临界点拟合线的第二行系数Nr、第二列系数Nc和第二原点距离Dist;
根据所述临界点坐标集合的起点坐标和终点坐标以及预设的点间距生成优度参考点坐标组;
根据所述优度参考点坐标组、所述第二行系数Nr、所述第二列系数Nc和所述第二原点距离Dist生成拟合优度坐标组;
通过所述拟合优度坐标组计算所述临界点拟合线的拟合优度;
当所述拟合优度达到预设条件时,确定所述临界点坐标集合对应的临界点拟合线的精度达到预设要求。
7.根据权利要求1至5中任一项所述的区域定位方法,其特征在于,在将所述临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域之后,所述区域定位方法还包括:
提取异形屏有效区域的每条线段的起点坐标和终点坐标;
根据异形屏有效区域的每条线段的起点坐标和终点坐标计算处理后线段的长度;
获取每条线段起点坐标和终点坐标之间的中点坐标,并根据所述中点坐标计算行列方向偏差;
使用所述中点坐标与所述行列方向偏差计算出内缩或外扩后线段的起点坐标和终点坐标;
根据内缩或外扩后线段的起点坐标和终点坐标和线段的长度对异形屏有效区域的每条线段进行内缩或外扩。
8.一种异形屏的区域定位装置,其特征在于,包括:
预处理单元,用于将待检测显示屏移动到图像采集组件的视野中心,使用压接装置对待检测显示屏进行压接处理,并使用PG信号发生器点亮待检测显示屏,所述待检测显示屏为不规则的异形屏,所述待检测显示屏有至少3条边;
第一生成单元,用于通过所述图像采集组件对所述待检测显示屏进行图像采集,获取原始图像,在所述原始图像上生成异形屏搜索框,所述原始图像上有显示屏区域,所述异形屏搜索框的形状与所述待检测显示屏相同,所述异形屏搜索框的大小大于所述显示屏区域;
第二生成单元,用于为所述异形屏搜索框的每一条边确定至少两个点位,根据至少两个点位的坐标信息生成每一条边对应的初始拟合线;
第三生成单元,用于根据所述初始拟合线生成边缘点坐标集合;
第四生成单元,用于以所述边缘点坐标集合为定位点结合预设的搜索线长在所述原始图像上生成至少两个相同形状的搜索框,所述搜索框与所述显示屏区域存在重合;
第五生成单元,用于对所述搜索框内的像素点进行灰度膨胀处理,生成灰度膨胀图像;
第六生成单元,用于对比所述灰度膨胀图像与所述原始图像的灰度值,并根据预设的灰度阈值对所述搜索框进行灰度提取,为每一条边生成至少两个灰度外接区域;
获取单元,用于根据至少两个灰度外接区域获取对应边的临界点坐标集合;
第七生成单元,用于根据临界点坐标集合的行坐标或列坐标生成所述临界点坐标集合对应的临界点拟合线;
第八生成单元,用于将所述临界点坐标集合对应的临界点拟合线进行交点计算,生成异形屏有效区域。
9.一种电子设备,其特征在于,包括处理器、存储器、输入输出单元以及总线,所述处理器与所述存储器、所述输入输出单元以及所述总线相连;
所述存储器保存有程序,所述处理器调用所述程序以执行如权利要求1至7任意一项所述的区域定位方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上保存有程序,所述程序在计算机上执行时执行如权利要求1至7中任一项所述的区域定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311161406.3A CN116894939B (zh) | 2023-09-11 | 2023-09-11 | 一种异形屏的区域定位方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311161406.3A CN116894939B (zh) | 2023-09-11 | 2023-09-11 | 一种异形屏的区域定位方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116894939A true CN116894939A (zh) | 2023-10-17 |
CN116894939B CN116894939B (zh) | 2024-01-09 |
Family
ID=88312424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311161406.3A Active CN116894939B (zh) | 2023-09-11 | 2023-09-11 | 一种异形屏的区域定位方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116894939B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070165952A1 (en) * | 2003-12-16 | 2007-07-19 | Hitachi Medical Corporation | Region extraction method and device |
CN108414193A (zh) * | 2018-03-28 | 2018-08-17 | 京东方科技集团股份有限公司 | 显示屏的检测区域定位方法和装置 |
CN110136156A (zh) * | 2018-02-02 | 2019-08-16 | 北京三快在线科技有限公司 | 一种多边形区域检测方法及装置 |
US20200202817A1 (en) * | 2018-07-23 | 2020-06-25 | Ordos Yuansheng Optoelectronics Co., Ltd. | Display optimization method and apparatus, display driving method and apparatus, display apparatus, and storage medium |
CN111563883A (zh) * | 2020-04-22 | 2020-08-21 | 惠州旭鑫智能技术有限公司 | 屏幕视觉定位方法、定位设备及存储介质 |
CN111627009A (zh) * | 2020-05-27 | 2020-09-04 | 歌尔股份有限公司 | 一种屏幕检测方法、装置及头戴显示设备 |
CN112241714A (zh) * | 2020-10-22 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像中指定区域的识别方法、装置、可读介质和电子设备 |
CN115453783A (zh) * | 2022-10-14 | 2022-12-09 | 凌云光技术股份有限公司 | 一种液晶屏检测区域的定位设备及方法 |
CN115731256A (zh) * | 2021-08-30 | 2023-03-03 | 歌尔科技有限公司 | 一种顶点坐标的检测方法、装置、设备及存储介质 |
CN116051551A (zh) * | 2023-03-29 | 2023-05-02 | 深圳市康凌源科技有限公司 | 基于图像处理的显示屏缺陷检测方法及相关装置 |
-
2023
- 2023-09-11 CN CN202311161406.3A patent/CN116894939B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070165952A1 (en) * | 2003-12-16 | 2007-07-19 | Hitachi Medical Corporation | Region extraction method and device |
CN110136156A (zh) * | 2018-02-02 | 2019-08-16 | 北京三快在线科技有限公司 | 一种多边形区域检测方法及装置 |
CN108414193A (zh) * | 2018-03-28 | 2018-08-17 | 京东方科技集团股份有限公司 | 显示屏的检测区域定位方法和装置 |
US20200202817A1 (en) * | 2018-07-23 | 2020-06-25 | Ordos Yuansheng Optoelectronics Co., Ltd. | Display optimization method and apparatus, display driving method and apparatus, display apparatus, and storage medium |
CN111563883A (zh) * | 2020-04-22 | 2020-08-21 | 惠州旭鑫智能技术有限公司 | 屏幕视觉定位方法、定位设备及存储介质 |
CN111627009A (zh) * | 2020-05-27 | 2020-09-04 | 歌尔股份有限公司 | 一种屏幕检测方法、装置及头戴显示设备 |
CN112241714A (zh) * | 2020-10-22 | 2021-01-19 | 北京字跳网络技术有限公司 | 图像中指定区域的识别方法、装置、可读介质和电子设备 |
CN115731256A (zh) * | 2021-08-30 | 2023-03-03 | 歌尔科技有限公司 | 一种顶点坐标的检测方法、装置、设备及存储介质 |
CN115453783A (zh) * | 2022-10-14 | 2022-12-09 | 凌云光技术股份有限公司 | 一种液晶屏检测区域的定位设备及方法 |
CN116051551A (zh) * | 2023-03-29 | 2023-05-02 | 深圳市康凌源科技有限公司 | 基于图像处理的显示屏缺陷检测方法及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116894939B (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110717489B (zh) | Osd的文字区域的识别方法、装置及存储介质 | |
US20190197735A1 (en) | Method and apparatus for image processing, and robot using the same | |
CN113688807B (zh) | 一种自适应缺陷检测方法、装置、识别系统及存储介质 | |
CN111340752A (zh) | 屏幕的检测方法、装置、电子设备及计算机可读存储介质 | |
US8422759B2 (en) | Image processing method and image processing device | |
US9430865B2 (en) | Real-time dynamic non-planar projection apparatus and method | |
CN110866924A (zh) | 一种线结构光中心线提取方法及存储介质 | |
CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
CN111861979A (zh) | 一种定位方法、设备及计算机可读存储介质 | |
CN117152165B (zh) | 感光芯片缺陷的检测方法、装置、存储介质及电子设备 | |
US20040109599A1 (en) | Method for locating the center of a fiducial mark | |
CN112419207A (zh) | 一种图像矫正方法及装置、系统 | |
CN116503388A (zh) | 缺陷检测方法、装置及存储介质 | |
CN117670886B (zh) | 显示屏缺陷检测方法、装置、设备及存储介质 | |
JP2014191400A (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
CN114674826A (zh) | 基于布匹的视觉检测方法及检测系统 | |
CN112419225B (zh) | 一种基于引脚分割的sop型芯片检测方法及系统 | |
CN106951902B (zh) | 一种图像二值化处理方法及装置 | |
CN116894939B (zh) | 一种异形屏的区域定位方法、装置、电子设备和存储介质 | |
CN113343987B (zh) | 文本检测处理方法、装置、电子设备及存储介质 | |
CN111563883B (zh) | 屏幕视觉定位方法、定位设备及存储介质 | |
CN116385567A (zh) | 获取色卡roi坐标信息的方法、装置和介质 | |
CN113840135B (zh) | 色偏检测方法、装置、设备及存储介质 | |
JP5051671B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN114359192A (zh) | 芯片模板标定方法及装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |