CN114938410A - 一种手机屏幕画检分区方法和系统 - Google Patents

一种手机屏幕画检分区方法和系统 Download PDF

Info

Publication number
CN114938410A
CN114938410A CN202210397253.1A CN202210397253A CN114938410A CN 114938410 A CN114938410 A CN 114938410A CN 202210397253 A CN202210397253 A CN 202210397253A CN 114938410 A CN114938410 A CN 114938410A
Authority
CN
China
Prior art keywords
image
mobile phone
phone screen
screen
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210397253.1A
Other languages
English (en)
Other versions
CN114938410B (zh
Inventor
吴宗泽
魏聪
刘臻铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210397253.1A priority Critical patent/CN114938410B/zh
Publication of CN114938410A publication Critical patent/CN114938410A/zh
Application granted granted Critical
Publication of CN114938410B publication Critical patent/CN114938410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T5/70
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/24Arrangements for testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种手机屏幕画检分区方法和系统,涉及机器视觉的技术领域,首先根据手机屏幕原始图像类型匹配适用的分区模式;在自动分区模式下,根据手机屏幕类型不同,对手机屏幕原始图像进行不同的预处理操作,之后屏蔽挖孔区域,最后提取出手机屏幕的感兴趣区域图像;在手动分区模式下,首先对手机屏幕原始图像进行等比例缩小,再根据手机屏幕类型不同,对手机屏幕的感兴趣区域进行轮廓选取,最后等比例放大,获得手机屏幕的感兴趣区域图像;最后裁剪出感兴趣区域图像,完成画检分区。本发明结合自动分区和手动分区的优点,针对多种屏幕类型和多种干扰下,均能快速准确的对手机屏幕进行画检分区,消除误检机率,保证了手机屏幕质检的精确度。

Description

一种手机屏幕画检分区方法和系统
技术领域
本发明涉及机器视觉的技术领域,更具体地,涉及一种手机屏幕画检分区方法和系统。
背景技术
随着科技的发展,手机进入了全面屏时代。手机屏幕作为衡量手机质量的关键因素之一,会直接影响用户体验。手机屏幕的质量检测主要可分为两个步骤:画检分区和缺陷检测。画检分区作为第一个步骤,直接决定了第二个步骤缺陷检测的效果。在实际工业现场的手机屏幕AOI检测中,为了确保待检测区域总能被拍摄到,所以相机拍摄的整个视野必须大于待检测区域,这样才能在手机屏幕边缘留有一定的出血位。但在正式检测中,需要将出血位屏蔽,留下屏幕的感兴趣区域作为待检测区域。为了更好地检测出屏幕缺陷,在拍摄过程中,一般会为同一块屏幕分别使用不同的灯光场景来进行拍摄,包括白屏、黑屏、G128、G64、红屏、绿屏、蓝屏、百叶窗正扫、低频、棋盘格和除尘屏场景;所以画检分区必须具备良好的鲁棒性,以适应不同的灯光场景、不同的屏幕缺陷干扰。在手机屏幕质量检测中,传统的画检分区往往依赖人工画检分区,劳动强度大、稳定性差、效率低;并且由于手机屏幕材质的特殊性,很难将屏幕与后背景直接分离,容易受到光线或自身缺陷干扰而影响检测效果,导致误检产品,大大降低产品良品率,致使企业蒙受不必要的损失。
现有技术开了一种手机屏幕检测方法以及装置,包括:提取待检测屏幕;对所述待检测屏幕进行照相或光学扫描,得到屏幕图像;对所述待检测屏幕的屏幕图像进行图像处理,提取所述屏幕图像的图像特征;根据所述图像特征,判定所述待检测屏幕是否为良品。该方法和装置仅能提高圆孔屏的检测效率和检出率,无法对多类型手机屏幕进行画检分区。
发明内容
本发明为克服上述现有技术对多类型手机屏幕进行画检分区时无法兼顾速度和精度的缺陷,提供一种手机屏幕画检分区方法和系统,针对多类型手机屏幕进行画检分区时,结合手动和手动两种分区模式,保证分区速度的同时,提高分区精度,保证后续对手机屏幕的质检精度。
为解决上述技术问题,本发明的技术方案如下:
本发明提供了一种手机屏幕画检分区方法,包括:
S1:获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
S2:根据手机屏幕原始图像类型选择分区模式,所述分区模式包括自动分区模式和手动分区模式;若选择自动分区模式,则对手机屏幕原始图像执行步骤S3;若选择手动分区模式,则对手机屏幕原始图像执行步骤S6;
S3:根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;
S4:判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,执行步骤S5;否则直接执行步骤S5;
S5:根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像,执行步骤S9;
S6:对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
S7:根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;
S8:对感兴趣区域进行等比例放大操作,获得感兴趣区域图像,执行步骤S9;
S9:对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
优选地,所述步骤S1中,手机屏幕原始图像类型包括:正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像、曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像和背景相融图像;
手机屏幕类型包括矩形屏、刘海屏和曲角屏。
手机屏幕原始图像类型涵盖了手机屏幕质检时的所有干扰,如亮度过高或过低、对比度过高或过低、噪声干扰、边缘反光、拍摄倾斜等;目前主流的手机屏幕类型为矩形屏、刘海屏和曲角屏,每种屏幕类型又分为是否存在挖孔区域,本方明可以对目前主流的所有手机屏幕进行分区。
优选地,所述步骤S2中,根据手机屏幕原始图像的图像类型选择分区模式的具体方法为:
当手机屏幕原始图像的图像类型为正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像中的任意一种或多种时,选择自动分区模式;当手机屏幕原始图像的图像类型为曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像、背景相融图像中的任意一种或多种时,选择手动分区模式。
优选地,所述步骤S3中,根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像的具体方法为:
S3.1:对手机屏幕原始图像进行灰度转换操作,获得灰度图像;
S3.2:对灰度图像进行高斯模糊平滑处理,获得平滑图像;
S3.3:对平滑图像进行二值化处理,获得二值化图像;所述二值化图像中前景为白色,背景为黑色;
S3.4:对二值化图像进行形态学运算操作,去除黑线白线干扰,获得形态学运算图像;
S3.5:对形态学运算图像进行亮度调整操作,获得第一图像;具体为:若形态学运算图像的亮度不足,则对形态学运算图像增强亮度,获得第一图像,执行步骤S3.6;否则,不对亮度进行调整,直接将形态学运算图像作为第一图像,执行步骤S3.6;
S3.6:对第一图像进行对比度调整操作,获得第二图像;具体为:若第一图像的对比度不足,则对第一图像进行对比度增强,获得第二图像,执行步骤S3.7;否则,不对对比度进行调整,直接将第一图像作为第二图像,执行步骤S3.7;
S3.7:对第二图像进行边缘调整操作,获得第三图像;具体为:若第二图像中存在边缘反光干扰,则对第二图像进行边缘缩进,获得第三图像,执行步骤S3.8;否则,不对边缘进行调整,直接将第二图像作为第三图像,执行步骤S3.8;
S3.8:对第三图像进行位置纠正操作,获得预处理图像;具体为:若第三图像中手机屏幕倾斜,则对第三图像进行位置纠正,获得预处理图像;否则,不对位置进行纠正,直接将第三图像作为预处理图像。
灰度转换将图像转换为单通道,便于后续针对像素层面的操作;高斯模糊平滑处理减少了图像噪声,降低了细节层次;二值化处理将前景转化为纯白色,将背景转化为纯黑色;对黑线和白线分别进行形态学闭运算和开运算,将黑线和白线融合进前景中,消除黑线白线干扰;亮度和对比度调整消除曝光不足的问题;手机屏幕一般为玻璃面板,打光因素会造成边缘反光,边缘调整可消除边缘反光干扰;收集屏幕拍摄过程中可能会出现倾斜,位置纠正操作介意纠正倾斜,方便后续操作。
优选地,所述根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作中,当手机屏幕类型为矩形屏、刘海屏或曲角屏时,预处理操作中的步骤S3.1-S3.6和S3.8的具体操作均相同,步骤S3.7的具体操作不同,具体为:
S3.7.1:判断第二图像是否需要边缘缩进;若是,执行步骤S3.7.2;否则,将第二图像作为第三图像,执行步骤S3.7.12
S3.7.2:克隆第二图像,获得第二图像克隆图像;
S3.7.3:判断手机屏幕类型;若是矩形屏,执行步骤S3.7.4;若是刘海屏或曲角屏,执行步骤S3.7.8;
S3.7.4:在第二图像中输入缩进像素;
S3.7.5:在第二图像中寻找手机屏幕边缘最大外接矩形框;
S3.7.6:等比例缩小最大外接矩形框;
S3.7.7:将缩小后的外接矩形框绘制于第二图像克隆图像上,作为第三图像,执行步骤S3.7.12;
S3.7.8:在第二图像中输入缩进像素;
S3.7.9:等比例缩放第二图像;
S3.7.10:对缩放后的第二图像等比例填补像素,获得填补图;填补的像素值值为0;
S3.7.11:寻找填补图中手机屏幕边缘,绘制于第二图像克隆图像,作为第三图像,执行步骤S3.7.12;
S3.7.12:输出第三图像。
优选地,,所述步骤S4,屏蔽挖孔区域的具体方法为:
在预处理图像中寻找手机屏幕上的挖孔区域,将孔内像素的像素值设置为0,实现对挖孔区域的屏蔽。
优选地,所述步骤S5中,根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像的具体方法为:
S5.1:对预处理图像进行高斯降噪处理;
S5.2:计算将降噪后的预处理图像中每个像素点的梯度信息;
S5.3:基于非极大值抑制法,根据梯度信息对像素点进行筛选,保留局部区域内为极大值的像素点;
S5.4:基于双阈值检测法,通过比较保留的像素点的梯度信息与预设的双阈值,对保留的像素点进行二次筛选,获得最终保留的像素点,组成手机屏幕的轮廓,获得轮廓图;
S5.5:判断手机屏幕类型;若是矩形屏,执行步骤S5.6;若是刘海屏或曲角屏,执行步骤S5.9;
S5.6:在轮廓图上获取轮廓的最大外接矩形框;
S5.7:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S5.8:将掩模图与轮廓图进行按位与操作,使感兴趣区域与背景分离,执行步骤S5.12;
S5.9:在轮廓图中筛选出最大轮廓;
S5.10:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S5.11:将掩模图与轮廓图进行按位与操作,使感兴趣区域与背景分离,执行步骤S5.12;
S5.12:裁剪出感兴趣区域,获得感兴趣区域图像。
Canny边缘检测算法首先通过高斯降噪处理消除了预处理图像中的高斯噪声;通过像素点梯度方向导数求卷积的方法,获得图像的边缘信息;接下来利用非极大值抑制法对像素点进行初步筛选,保留局部区域内为极大值的像素点;再利用双阈值检测法对保留的像素点进行二次筛选,获得最终保留的像素点,组成手机屏幕的轮廓,获得轮廓图;Canny边缘检测算法具有以下优点:1.低错误率。所有的边缘都被找到,并且没有伪响应。也就是检测到的边缘尽可能是真实的边缘。2.边缘点被很好的定位。已定位边缘必须尽可能接近真实边缘。也就是被记为边缘的点和真实边缘的中心之间的距离最小。3.单一的边缘点响应。对于真实的边缘点,仅应返回一个点,即真实边缘周围的局部最大数应该是最小的,这意味着在仅存一个单一边缘点的位置,不指出多个边缘像素。
优选地,所述步骤S7中,根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像的具体方法为:
S7.1:判断手机屏幕类型;若是矩形屏,执行步骤S7.2;若是刘海屏或曲角屏,执行步骤S7.3;
S7.2:在手机屏幕缩小图像上手动拉取矩形框,作为感兴趣区域;所述矩形框将手机屏幕完整包围在内部;执行步骤S7.9;
S7.3:在手机屏幕缩小图像上手动选取点并保存;
S7.4:判断保存的选取点的数量是否超过预设的数量阈值;若是,则执行步骤S7.5;否则,返回步骤S7.3;
S7.5:连接保存的选取点,形成多边形框;
S7.6:对多边形框的内部区域进行填充,像素值设置为255,获得多边形图像;
S7.7:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S7.8:将掩模图与多边形图像进行按位与操作,使感兴趣区域与背景分离,执行步骤S7.9;
S7.9:裁剪出感兴趣区域,获得感兴趣区域缩小图像。
优选地,所述步骤S8中,获得感兴趣区域图像后,还需保存感兴趣区域图像及感兴趣区域图像中矩形框的四个顶点位置信息或多边形框的多个顶点位置信息;
当同一手机屏幕在不同检测场景下检测时,根据提供的感兴趣区域图像中矩形框的四个顶点位置信息或多边形框的多个顶点位置信息,遍历所有感兴趣区域图像,找出与顶点位置信息对应的感兴趣区域图像。
本发明还提供了一种手机屏幕画检分区系统,包括:
图像信息获取模块,用于获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
分区模式选择模块:根据手机屏幕原始图像的图像类型选择分区模式,所述分区模式包括自动分区模式和手动分区模式;若选择自动分区模式,则将手机屏幕原始图像输入预处理模块;若选择手动分区模式,则将手机屏幕原始图像输入缩小模块;
预处理模块,用于根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;
挖孔区域判断模块,用于判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,输入边缘检测模块;否则直接输入边缘检测模块;
边缘检测模块,用于根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像,输入裁剪分区模块;
缩小模块,用于对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
轮廓选取模块,用于根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;
放大模块,用于对感兴趣区域进行等比例方法放大操作,获得感兴趣区域图像,输入裁剪分区模块;
裁剪分区模块,用于对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
与现有技术相比,本发明技术方案的有益效果是:
本发明获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型,首先根据手机屏幕原始图像类型匹配该手机屏幕原始图像适用的分区模式,选择合适的分区模式对手机屏幕原始图像进行画检分区,能够同时保证分区的速度和精度;在自动分区模式下,根据手机屏幕类型不同,对手机屏幕原始图像进行不同的预处理操作,有效消除了手机屏幕原始图像中的基础干扰;进而将挖孔区域屏蔽,避免对后续检测造成干扰;之后,基于Canny边缘检测算法,提取出手机屏幕的感兴趣区域图像,消除了预处理图像中剩余的强干扰;自动分区模式分区准确率高,分区速度快,能够消除手机屏幕原始图像中的所有干扰;在手动分区模式下,首先对手机屏幕原始图像进行等比例缩小,再根据手机屏幕类型不同,手动对手机屏幕的感兴趣区域进行轮廓选取,最后将感兴趣区域缩小图像等比例放大,获得手机屏幕的感兴趣区域图像;手动分区模式分区准确率高,鲁棒性强。本发明结合自动分区和手动分区的优点,针对多种屏幕类型和多种干扰下,均能快速准确的对手机屏幕进行画检分区,消除误检机率,保证了手机屏幕质检的精确度。
附图说明
图1为实施例1所述的一种手机屏幕画检分区方法的流程图。
图2为实施例2所述的获得预处理图像的流程图。
图3为实施例2所述的对第二图像进行边缘调整操作的流程图。
图4为实施例2所述的获得感兴趣区域图像的流程图。
图5为实施例2所述的对形态学运算图像进行亮度调整的流程图。
图6为实施例2所述的对第一图像进行对比度调整的流程图。
图7为实施例2所述的对第三图像进行位置纠正操作的流程图。
图8为实施例3所述的获得感兴趣区域缩小图像的流程图。
图9为实施例3所述的针对矩形屏的手动操作流程图
图10为实施例3所述的针对刘海屏或曲角屏的手动操作流程图。
图11为实施例4所述的一种手机屏幕画检分区系统的结构示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供了一种手机屏幕画检分区方法,如图1所所示,包括:
S1:获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
S2:根据手机屏幕原始图像类型选择分区模式,所述分区模式包括自动分区模式和手动分区模式;若选择自动分区模式,则对手机屏幕原始图像执行步骤S3;若选择手动分区模式,则对手机屏幕原始图像执行步骤S6;
S3:根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;
S4:判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,执行步骤S5;否则直接执行步骤S5;
S5:根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像,执行步骤S9;
S6:对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
S7:根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;
S8:对感兴趣区域进行等比例放大操作,获得感兴趣区域图像,执行步骤S9;
S9:对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
在具体实施过程中,本实施例获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型,首先根据手机屏幕原始图像类型匹配该手机屏幕原始图像适用的分区模式,选择合适的分区模式对手机屏幕原始图像进行画检分区,能够同时保证分区的速度和精度;在自动分区模式下,根据手机屏幕类型不同,对手机屏幕原始图像进行不同的预处理操作,有效消除了手机屏幕原始图像中的基础干扰;进而判断该手机屏幕是否为挖孔屏,存在挖孔区域,将挖孔区域屏蔽,避免对后续检测造成干扰;之后,基于Canny边缘检测算法,根据手机屏幕类型不同,对手机屏幕原始图像进行不同的边缘检测,提取出手机屏幕的感兴趣区域图像,消除了预处理图像中剩余的强干扰;自动分区模式分区准确率高,分区速度快,能够消除手机屏幕原始图像中的所有干扰;在手动分区模式下,首先对手机屏幕原始图像进行等比例缩小,再根据手机屏幕类型不同,手动对手机屏幕的感兴趣区域进行轮廓选取,最后将感兴趣区域缩小图像等比例放大,获得手机屏幕的感兴趣区域图像;手动分区模式分区准确率高,鲁棒性强。本发明结合自动分区和手动分区的优点,针对多种屏幕类型和多种干扰下,均能快速准确的对手机屏幕进行画检分区,消除误检几率,保证了手机屏幕质检的精确度。
实施例2
本实施例提供了一种手机屏幕画检分区方法,针对自动分区模式进行具体的描述,包括:
S1:获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
手机屏幕原始图像类型包括:正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像、曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像和背景相融图像;
手机屏幕类型包括矩形屏、刘海屏和曲角屏;
S2:根据手机屏幕原始图像类型选择分区模式;
当手机屏幕原始图像的图像类型为正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像中的任意一种或多种时,选择自动分区模式;
S3:根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;具体的,如图2所示:
S3.1:对手机屏幕原始图像进行灰度转换操作,获得灰度图像;
S3.2:对灰度图像进行高斯模糊平滑处理,获得平滑图像;
S3.3:对平滑图像进行二值化处理,获得二值化图像;所述二值化图像中前景为白色,背景为黑色;
S3.4:对二值化图像进行形态学运算操作,去除黑线白线干扰,获得形态学运算图像;
S3.5:对形态学运算图像进行亮度调整操作,获得第一图像;具体为:若形态学运算图像的亮度不足,则对形态学运算图像增强亮度,获得第一图像,执行步骤S3.6;否则,不对亮度进行调整,直接将形态学运算图像作为第一图像,执行步骤S3.6;
S3.6:对第一图像进行对比度调整操作,获得第二图像;具体为:若第一图像的对比度不足,则对第一图像进行对比度增强,获得第二图像,执行步骤S3.7;否则,不对对比度进行调整,直接将第一图像作为第二图像,执行步骤S3.7;
S3.7:对第二图像进行边缘调整操作,获得第三图像;具体为:若第二图像中存在边缘反光干扰,则对第二图像进行边缘缩进,获得第三图像,执行步骤S3.8;否则,不对边缘进行调整,直接将第二图像作为第三图像,执行步骤S3.8;
S3.8:对第三图像进行位置纠正操作,获得预处理图像;具体为:若第三图像中手机屏幕倾斜,则对第三图像进行位置纠正,获得预处理图像;否则,不对位置进行纠正,直接将第三图像作为预处理图像。
其中当手机屏幕类型为矩形屏、刘海屏和曲角屏任意一种时,预处理操作中的步骤S3.1-S3.6和S3.8的具体操作均相同,步骤S3.7的具体操作根据手机屏幕类型不同而不同,具体的,如图3所示:
S3.7.1:判断第二图像是否需要边缘缩进;若是,执行步骤S3.7.2;否则,将第二图像作为第三图像,执行步骤S3.7.12
S3.7.2:克隆第二图像,获得第二图像克隆图像;
S3.7.3:判断手机屏幕类型;若是矩形屏,执行步骤S3.7.4;若是刘海屏或曲角屏,执行步骤S3.7.8;
S3.7.4:在第二图像中输入缩进像素;
S3.7.5:在第二图像中寻找手机屏幕边缘最大外接矩形框;
S3.7.6:等比例缩小最大外接矩形框;
S3.7.7:将缩小后的外接矩形框绘制于第二图像克隆图像上,作为第三图像,执行步骤S3.7.12;
S3.7.8:在第二图像中输入缩进像素;
S3.7.9:等比例缩放第二图像;
S3.7.10:对缩放后的第二图像等比例填补像素,获得填补图;填补的像素值值为0;
S3.7.11:寻找填补图中手机屏幕边缘,绘制于第二图像克隆图像,作为第三图像,执行步骤S3.7.12;
S3.7.12:输出第三图像;
S4:判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,执行步骤S5;否则直接执行步骤S5;
S5:根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像;具体为,如图4所示:
S5.1:对预处理图像进行高斯降噪处理;
S5.2:计算将降噪后的预处理图像中每个像素点的梯度信息;
S5.3:基于非极大值抑制法,根据梯度信息对像素点进行筛选,保留局部区域内为极大值的像素点;
S5.4:基于双阈值检测法,通过比较保留的像素点的梯度信息与预设的双阈值,对保留的像素点进行二次筛选,获得最终保留的像素点,组成手机屏幕的轮廓,获得轮廓图;
S5.5:判断手机屏幕类型;若是矩形屏,执行步骤S5.6;若是刘海屏或曲角屏,执行步骤S5.9;
S5.6:在轮廓图上获取轮廓的最大外接矩形框;
S5.7:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S5.8:将掩模图与轮廓图进行按位与操作,使感兴趣区域与背景分离,执行步骤S5.12;
S5.9:在轮廓图中筛选出最大轮廓;
S5.10:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S5.11:将掩模图与轮廓图进行按位与操作,使感兴趣区域与背景分离,执行步骤S5.12;
S5.12:裁剪出感兴趣区域,获得感兴趣区域图像;
S6:对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
本实施例中,预处理操作的具体方法为:
如图5所示,对于步骤S3.5的亮度调整操作,判断形态学运算图像是否曝光不足;若是,输入曝光系数,克隆形态学运算图像,图像像素循环叠加,获得第一图像并输出;若否,将形态学运算图像作为第一图像输出;
如图6所示,对于步骤3.6的对比度调整操作,判断第一图像是否对比度不足;若是,克隆第一图像,寻找ROI边缘;建立掩模图,所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;将掩模图与第一图像克隆图像进行按位与操作分离ROI,提高亮度,获得第二图像并输出;若否,将第一图像作为第二图像输出;
如图7所示,对于步骤3.8的位置纠正操作,判断第三图像中手机屏幕是否倾斜;若是,寻找ROI边缘,获得ROI最大外接矩形框的四个顶点坐标,计算与水平线的角度、ROI边缘长宽;判断ROI是否竖放,若竖放,将与水平线的角度加90度,否则不加角度;新建一个与第三图像同尺寸的掩模图和一个与第三图像同尺寸的纯黑图,并获取旋转加缩放的变换矩阵;根据掩模图、纯黑图和变换矩阵做放射变换,将ROI摆正后映射到纯黑图上,获得预处理图像并输出;若否,将第三图像作为预处理图像输出。
对于Canny边缘检测算法的步骤S5.1-S5.4,具体为:
S5.1:对预处理图像进行高斯降噪处理;
高斯滤波是一种线性平滑滤波,适用于消除高斯噪声。噪声在图像当中常表现为一引起较强视觉效果的孤立像素点或像素块。简单来说,噪声的出现会给图像带来干扰,让图像变得不清楚。高斯噪声的概率密度函数服从高斯分布的一类噪声。如果一个噪声的幅度分布服从高斯分布,而功率谱密度又是均匀分布的,则称为高斯白噪声。高斯白噪声的二阶矩不相关,一阶矩为常数,高斯滤波器的作用主要是对图像进行高斯模糊,即在图像中的每一个像素取周边像素的平均值,使图像失去细节,达到“模糊”效果,其作用原理和均值滤波器类似,都是取滤波器窗口内的像素的均值作为输出。其窗口模板的系数和均值滤波器不同,均值滤波器的模板系数都是相同的为1,而高斯滤波器的模板系数,随距离模板中心的增大而减小。所以,高斯滤波器相比于均值滤波器对图像的模糊程度较小。高斯函数可分为一维高斯分布和二维高斯分布;理论上,高斯分布在所有定义域上都有非负值,这就需要一个无限大的卷积核。实际上,仅需要取均值周围3倍标准差内的值,除此之外部分直接去掉即可。高斯滤波的重要两步就是先找到高斯模板然后在进行卷积。首先是高斯模板的求解,对于一张经过灰度二值化转换的图像,只需遍历图像中的每个像素点,套用二维高斯分布公式
Figure BDA0003599522030000131
Figure BDA0003599522030000132
求解;设中心坐标为(0,0),取距离最近的8个点,设σ=1.5,则归一化的高斯模板;对9个点的权重之和进行归一化处理,得到最终高斯模板,如下图所述;利用最终高斯模板对预处理图像进行卷积处理;对所有像素点重复以上过程,获得降噪后的预处理图像。
S5.2:计算将降噪后的预处理图像中每个像素点的梯度信息;
在进行图像识别时,常需要检测图像的边缘信息。图像的边缘指的是灰度值急剧变化的地方,一般是背景和前景物体的交界处。由于边缘处的灰度值急剧变化特性,可以利用离散数列的差分来识别边缘。首先引入Prewitt算子,为3*3的矩阵模板;设中心点(x,y),相邻像素点距离为1的Prewitt算子;根据x,y方向上的一阶偏微分公式:
Figure BDA0003599522030000133
Figure BDA0003599522030000134
求水平方向(x,y)相邻两个像素点的导数:
Figure BDA0003599522030000141
Figure BDA0003599522030000142
提取系数,获得3*3的奇数模板;在一个较大区域中,用两点的偏导数值来求梯度幅度值,受噪声干扰很大。若对两个点的各自一定领域内的灰度值求和,并根据两个灰度值和的差来计算x,y的偏导数,则会在很大程度上降低噪声干扰。
S5.3:基于非极大值抑制法,根据梯度信息对像素点进行筛选,保留局部区域内为极大值的像素点;
非极大值抑制一般有两种形式,分别是近似划分和插值运算;
对于近似划分,由于由梯度计算出来的图像边缘是很模糊的,对于存在很多个边缘梯度响应的现象。我们力求在一个梯度方向上找到一个局部的最大值来表示该梯度方向上的梯度响应。在平面360范围内然后把它近似到四个方向,分别代表水平,垂直和两个对角线方向(0°,45°,90°,135°),每个区域的梯度角给一个特定值,代表四个方向之一;
对于插值处理,由于实际图像中的像素点是离散的二维矩阵,处于真正中心位置C出的梯度方向的两侧的点不一定存在,或者说存在一个亚像素点,而这个不存在的点以及这个点的梯度值就必须通过两侧的点插值得到。在划分好的梯度方向上寻求局部梯度最大值,将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。如果当前像素的梯度强度与另外两个像素相比最大,则该像素点保留为边缘点,否则该像素点将被抑制。但是当出现最大值梯度方向不在整像素,而是亚像素,通常为了更加精确的计算,在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度。设C为中心点,梯度值为d(i,j);在x方向的梯度为dx(i,j);在y方向的梯度值为:dy(i,j);则过C点的梯度方向线共有4中情况:|dy|>|dx|,且dxdy>0;|dy|>|dx|,且dxdy<0;|dy|<|dx|,且dxdy>0;|dy|<|dx|,且dxdy<0;当|dy|>|dx|时,有2中情况,此时weight=|dx|/|dy,则:d1=weight*q1+(1-weight)q2;d2=weightq3+(1-weight)q4;当|dx|>|dy|,也有2种情况,此时weight=|dy|/|dx|,则d1=weightq1+(1-weight)q2;d2=weightq3+(1-weight)*q4;之后,判断d(i,j)>=d1且d(i,j)>=d2是否成立,若成立,则保留d,否则d=0;保留局部区域内为极大值的像素点;
S5.4:基于双阈值检测法,通过比较保留的像素点的梯度信息与预设的双阈值,对保留的像素点进行二次筛选,获得最终保留的像素点,组成手机屏幕的轮廓,获得轮廓图;
预设高阈值和低阈值作为双阈值,高阈值是低阈值的2-3倍;将保留的像素点的梯度信息与预设的双阈值进行比较;若某一像素的梯度值高于高阈值,则保留;若某一像素的梯度值低于低阈值,则舍弃;若某一像素的梯度值介于高低阈值之间,则从该像素的8个领域寻找像素梯度值,如果邻域的像素梯度值高于高阈值,则该像素被保留,如果没有,则舍弃该像素。得最终保留的像素点,组成手机屏幕的轮廓,获得轮廓图;
Canny边缘检测算法具有以下优点:1.低错误率。所有的边缘都被找到,并且没有伪响应。也就是检测到的边缘尽可能是真实的边缘。2.边缘点被很好的定位。已定位边缘必须尽可能接近真实边缘。也就是被记为边缘的点和真实边缘的中心之间的距离最小。3.单一的边缘点响应。对于真实的边缘点,仅应返回一个点,即真实边缘周围的局部最大数应该是最小的,这意味着在仅存一个单一边缘点的位置,不指出多个边缘像素。
综上,自动分区模式分区准确率高,分区速度快,能够消除手机屏幕原始图像中的所有干扰。
实施例3
本实施例提供了一种手机屏幕画检分区方法,针对手动分区模式进行具体的描述,包括:
S1:获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
手机屏幕原始图像类型包括:正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像、曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像和背景相融图像;
手机屏幕类型包括矩形屏、刘海屏和曲角屏;
S2:根据手机屏幕原始图像类型选择分区模式;
当手机屏幕原始图像的图像类型为曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像、背景相融图像中的任意一种或多种时,选择手动分区模式;
S3:对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
S4:根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;具体的,如图8所示:
S4.1:判断手机屏幕类型;若是矩形屏,执行步骤S4.2;若是刘海屏或曲角屏,执行步骤S4.3;
S4.2:在手机屏幕缩小图像上手动拉取矩形框,作为感兴趣区域;所述矩形框将手机屏幕完整包围在内部;执行步骤S4.9;
S4.3:在手机屏幕缩小图像上手动选取点并保存;
S4.4:判断保存的选取点的数量是否超过预设的数量阈值;若是,则执行步骤S4.5;否则,返回步骤S4.3;
S4.5:连接保存的选取点,形成多边形框;
S4.6:对多边形框的内部区域进行填充,像素值设置为255,获得多边形图像;
S4.7:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S4.8:将掩模图与多边形图像进行按位与操作,使感兴趣区域与背景分离,执行步骤S4.9;
S4.9:裁剪出感兴趣区域,获得感兴趣区域缩小图像;
S5:对感兴趣区域进行等比例放大操作,获得感兴趣区域图像;
S6:对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
获得感兴趣区域图像后,还需保存感兴趣区域图像及感兴趣区域图像中矩形框的四个顶点位置信息或多边形框的多个顶点位置信息;
当同一手机屏幕在不同检测场景下检测时,根据提供的感兴趣区域图像中矩形框的四个顶点位置信息或多边形框的多个顶点位置信息,遍历所有感兴趣区域图像,找出与顶点位置信息对应的感兴趣区域图像。
具体的手动操作为:
B.1矩形选取ROI(适用于矩形屏),如图9所示:
B.1.1等比例缩小手机屏幕原始图像,目的是为了方便操作。
B.1.2鼠标操作选取ROI,按住鼠标左键不动,拖动矩形框将屏幕完整包围,按下回车键,即可将ROI区域裁剪出来。
B.1.3判断是否需要保存位置信息,若需要,程序将会保存x、y、h、w四个位置信息,如果不保存位置信息,下一步自动遍历裁剪需要自己手动输入位置信息才能进行操作。
B.1.4判断是否需要自动遍历裁剪,根据用户提供的位置信息自动遍历文件夹下所有图像,将ROI区域裁剪出来并保存。此操作适用于同一屏幕在不同场景下拍摄的图像进行快捷操作。
B.2不规则多边形选取ROI(适用于刘海屏、曲角屏),如图10所示:
B.2.1等比例缩小手机屏幕原始图像。
B.2.2判断鼠标左键是否点击,若点击,获取鼠标按下的点的坐标,并将该店画出,将选取的点保存在列表中,用户可以选取多个点,直到键盘按下回车键结束选取操作。
B.2.3判断鼠标右键是否点击,若点击,清除所有选取点的信息。
B.2.4连接选取点绘制多边形。
B.2.5填充多边形(像素值置为255),制作掩膜图像。
B.2.6按位与提取选取的ROI。
B.2.7-B.2.8操作方法与矩形选取ROI模式处理方法B.1.3-B.1.4一致。
综上所述,手动分区模式分区准确率高,鲁棒性强。
实施例4
本实施例提供一种手机屏幕画检分区系统,如图11所示,基于实施例1-3如任意实施例说所述的手机屏幕画检分区方法,包括:
图像信息获取模块,用于获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
分区模式选择模块:根据手机屏幕原始图像的图像类型选择分区模式,所述分区模式包括自动分区模式和手动分区模式;若选择自动分区模式,则将手机屏幕原始图像输入预处理模块;若选择手动分区模式,则将手机屏幕原始图像输入缩小模块;
预处理模块,用于根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;
挖孔区域判断模块,用于判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,输入边缘检测模块;否则直接输入边缘检测模块;
边缘检测模块,用于根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像,输入裁剪分区模块;
缩小模块,用于对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
轮廓选取模块,用于根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;
放大模块,用于对感兴趣区域进行等比例方法放大操作,获得感兴趣区域图像,输入裁剪分区模块;
裁剪分区模块,用于对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种手机屏幕画检分区方法,其特征在于,包括:
S1:获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
S2:根据手机屏幕原始图像类型选择分区模式,所述分区模式包括自动分区模式和手动分区模式;若选择自动分区模式,则对手机屏幕原始图像执行步骤S3;若选择手动分区模式,则对手机屏幕原始图像执行步骤S6;
S3:根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;
S4:判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,执行步骤S5;否则直接执行步骤S5;
S5:根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像,执行步骤S9;
S6:对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
S7:根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;
S8:对感兴趣区域进行等比例放大操作,获得感兴趣区域图像,执行步骤S9;
S9:对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
2.根据权利要求1所述的手机屏幕画检分区方法,其特征在于,所述步骤S1中,手机屏幕原始图像类型包括:正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像、曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像和背景相融图像;
手机屏幕类型包括矩形屏、刘海屏和曲角屏。
3.根据权利要求2所述的手机屏幕画检分区方法,其特征在于,所述步骤S2中,根据手机屏幕原始图像的图像类型选择分区模式的具体方法为:
当手机屏幕原始图像的图像类型为正常图像、曝光不足图像、反光假性边缘图像、黑白线干扰图片,挖孔干扰图像、位置倾斜图像中的任意一种或多种时,选择自动分区模式;当手机屏幕原始图像的图像类型为曝光过度图像、棋盘格图像、暗Mura过度侵蚀边缘图像、背景相融图像中的任意一种或多种时,选择手动分区模式。
4.根据权利要求2所述的手机屏幕画检分区方法,其特征在于,所述步骤S3中,根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像的具体方法为:
S3.1:对手机屏幕原始图像进行灰度转换操作,获得灰度图像;
S3.2:对灰度图像进行高斯模糊平滑处理,获得平滑图像;
S3.3:对平滑图像进行二值化处理,获得二值化图像;
S3.4:对二值化图像进行形态学运算操作,去除黑线白线干扰,获得形态学运算图像;
S3.5:对形态学运算图像进行亮度调整操作,获得第一图像;具体为:若形态学运算图像的亮度不足,则对形态学运算图像增强亮度,获得第一图像,执行步骤S3.6;否则,不对亮度进行调整,直接将形态学运算图像作为第一图像,执行步骤S3.6;
S3.6:对第一图像进行对比度调整操作,获得第二图像;具体为:若第一图像的对比度不足,则对第一图像进行对比度增强,获得第二图像,执行步骤S3.7;否则,不对对比度进行调整,直接将第一图像作为第二图像,执行步骤S3.7;
S3.7:对第二图像进行边缘调整操作,获得第三图像;具体为:若第二图像中存在边缘反光干扰,则对第二图像进行边缘缩进,获得第三图像,执行步骤S3.8;否则,不对边缘进行调整,直接将第二图像作为第三图像,执行步骤S3.8;
S3.8:对第三图像进行位置纠正操作,获得预处理图像;具体为:若第三图像中手机屏幕倾斜,则对第三图像进行位置纠正,获得预处理图像;否则,不对位置进行纠正,直接将第三图像作为预处理图像。
5.根据权利要求4所述的手机屏幕画检分区方法,其特征在于,所述根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作中,当手机屏幕类型为矩形屏、刘海屏或曲角屏时,预处理操作中的步骤S3.1-S3.6和S3.8的具体操作均相同,步骤S3.7的具体操作不同,具体为:
S3.7.1:判断第二图像是否需要边缘缩进;若是,执行步骤S3.7.2;否则,将第二图像作为第三图像,执行步骤S3.7.12
S3.7.2:克隆第二图像,获得第二图像克隆图像;
S3.7.3:判断手机屏幕类型;若是矩形屏,执行步骤S3.7.4;若是刘海屏或曲角屏,执行步骤S3.7.8;
S3.7.4:在第二图像中输入缩进像素;
S3.7.5:在第二图像中寻找手机屏幕边缘最大外接矩形框;
S3.7.6:等比例缩小最大外接矩形框;
S3.7.7:将缩小后的外接矩形框绘制于第二图像克隆图像上,作为第三图像,执行步骤S3.7.12;
S3.7.8:在第二图像中输入缩进像素;
S3.7.9:等比例缩放第二图像;
S3.7.10:对缩放后的第二图像等比例填补像素,获得填补图;填补的像素值值为0;
S3.7.11:寻找填补图中手机屏幕边缘,绘制于第二图像克隆图像,作为第三图像,执行步骤S3.7.12;
S3.7.12:输出第三图像。
6.根据权利要求1所述的手机屏幕画检分区方法,其特征在于,所述步骤S4,屏蔽挖孔区域的具体方法为:
在预处理图像中寻找手机屏幕上的挖孔区域,将孔内像素的像素值设置为0,实现对挖孔区域的屏蔽。
7.根据权利要求1所述的手机屏幕画检分区方法,其特征在于,所述步骤S5中,根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像的具体方法为:
S5.1:对预处理图像进行高斯降噪处理;
S5.2:计算将降噪后的预处理图像中每个像素点的梯度信息;
S5.3:基于非极大值抑制法,根据梯度信息对像素点进行筛选,保留局部区域内为极大值的像素点;
S5.4:基于双阈值检测法,通过比较保留的像素点的梯度信息与预设的双阈值,对保留的像素点进行二次筛选,获得最终保留的像素点,组成手机屏幕的轮廓,获得轮廓图;
S5.5:判断手机屏幕类型;若是矩形屏,执行步骤S5.6;若是刘海屏或曲角屏,执行步骤S5.9;
S5.6:在轮廓图上获取轮廓的最大外接矩形框;
S5.7:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S5.8:将掩模图与轮廓图进行按位与操作,使感兴趣区域与背景分离,执行步骤S5.12;
S5.9:在轮廓图中筛选出最大轮廓;
S5.10:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S5.11:将掩模图与轮廓图进行按位与操作,使感兴趣区域与背景分离,执行步骤S5.12;
S5.12:裁剪出感兴趣区域,获得感兴趣区域图像。
8.根据权利要求1所述的手机屏幕画检分区方法,其特征在于,所述步骤S7中,根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像的具体方法为:
S7.1:判断手机屏幕类型;若是矩形屏,执行步骤S7.2;若是刘海屏或曲角屏,执行步骤S7.3;
S7.2:在手机屏幕缩小图像上手动拉取矩形框,作为感兴趣区域;所述矩形框将手机屏幕完整包围在内部;执行步骤S7.9;
S7.3:在手机屏幕缩小图像上手动选取点并保存;
S7.4:判断保存的选取点的数量是否超过预设的数量阈值;若是,则执行步骤S7.5;否则,返回步骤S7.3;
S7.5:连接保存的选取点,形成多边形框;
S7.6:对多边形框的内部区域进行填充,像素值设置为255,获得多边形图像;
S7.7:建立掩模图;所述掩模图的感兴趣区域的像素点均为白色,其余区域的像素点均为黑色;
S7.8:将掩模图与多边形图像进行按位与操作,使感兴趣区域与背景分离,执行步骤S7.9;
S7.9:裁剪出感兴趣区域,获得感兴趣区域缩小图像。
9.根据权利要求8所述的手机屏幕画检分区方法,其特征在于,所述步骤S8中,获得感兴趣区域图像后,还需保存感兴趣区域图像及感兴趣区域图像中矩形框的四个顶点位置信息或多边形框的多个顶点位置信息;
当同一手机屏幕在不同检测场景下检测时,根据提供的感兴趣区域图像中矩形框的四个顶点位置信息或多边形框的多个顶点位置信息,遍历所有感兴趣区域图像,找出与顶点位置信息对应的感兴趣区域图像。
10.一种手机屏幕画检分区系统,其特征在于,包括:
图像信息获取模块,用于获取手机屏幕原始图像、手机屏幕原始图像类型和手机屏幕类型;
分区模式选择模块:根据手机屏幕原始图像的图像类型选择分区模式,所述分区模式包括自动分区模式和手动分区模式;若选择自动分区模式,则将手机屏幕原始图像输入预处理模块;若选择手动分区模式,则将手机屏幕原始图像输入缩小模块;
预处理模块,用于根据手机屏幕类型,对手机屏幕原始图像进行相应的预处理操作,获得预处理图像;
挖孔区域判断模块,用于判断预处理图像上的手机屏幕是否存在挖孔区域;若存在,则屏蔽挖孔区域,输入边缘检测模块;否则直接输入边缘检测模块;
边缘检测模块,用于根据手机屏幕类型,基于Canny边缘检测算法,在预处理图像上进行相应的提取操作,获得感兴趣区域图像,输入裁剪分区模块;
缩小模块,用于对手机屏幕原始图像进行等比例缩小操作,获得手机屏幕缩小图像;
轮廓选取模块,用于根据手机屏幕类型,对手机屏幕缩小图像进行相应的轮廓选取操作,获得感兴趣区域缩小图像;
放大模块,用于对感兴趣区域进行等比例方法放大操作,获得感兴趣区域图像,输入裁剪分区模块;
裁剪分区模块,用于对感兴趣区域图像进行裁剪,获得裁剪图像,完成对手机屏幕原始图像的画检分区。
CN202210397253.1A 2022-04-15 2022-04-15 一种手机屏幕画检分区方法和系统 Active CN114938410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210397253.1A CN114938410B (zh) 2022-04-15 2022-04-15 一种手机屏幕画检分区方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210397253.1A CN114938410B (zh) 2022-04-15 2022-04-15 一种手机屏幕画检分区方法和系统

Publications (2)

Publication Number Publication Date
CN114938410A true CN114938410A (zh) 2022-08-23
CN114938410B CN114938410B (zh) 2023-06-13

Family

ID=82862960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210397253.1A Active CN114938410B (zh) 2022-04-15 2022-04-15 一种手机屏幕画检分区方法和系统

Country Status (1)

Country Link
CN (1) CN114938410B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245950A (zh) * 2023-05-11 2023-06-09 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法
CN117557449A (zh) * 2024-01-12 2024-02-13 昇显微电子(苏州)股份有限公司 一种从demura设备自适应提取像素位置和数据的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457544A (zh) * 2010-10-26 2012-05-16 深圳市誉融科技有限公司 基于互联网的屏幕共享系统中用于采集屏幕图像的方法和系统
CN108777800A (zh) * 2018-06-25 2018-11-09 广州科政数码科技有限公司 电子货架标签图像数据的压缩,解压,处理方法及系统
CN109285079A (zh) * 2018-08-31 2019-01-29 阿里巴巴集团控股有限公司 终端屏幕保险的数据处理方法、装置、客户端及服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457544A (zh) * 2010-10-26 2012-05-16 深圳市誉融科技有限公司 基于互联网的屏幕共享系统中用于采集屏幕图像的方法和系统
CN108777800A (zh) * 2018-06-25 2018-11-09 广州科政数码科技有限公司 电子货架标签图像数据的压缩,解压,处理方法及系统
CN109285079A (zh) * 2018-08-31 2019-01-29 阿里巴巴集团控股有限公司 终端屏幕保险的数据处理方法、装置、客户端及服务器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245950A (zh) * 2023-05-11 2023-06-09 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法
CN116245950B (zh) * 2023-05-11 2023-08-01 合肥高维数据技术有限公司 用于全屏或单角缺失的屏幕角点定位方法
CN117557449A (zh) * 2024-01-12 2024-02-13 昇显微电子(苏州)股份有限公司 一种从demura设备自适应提取像素位置和数据的方法
CN117557449B (zh) * 2024-01-12 2024-03-22 昇显微电子(苏州)股份有限公司 一种从demura设备自适应提取像素位置和数据的方法

Also Published As

Publication number Publication date
CN114938410B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN112419250B (zh) 路面裂缝数字图像提取、裂缝修补及裂缝参数计算方法
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
JP3679512B2 (ja) 画像抽出装置および方法
CN114938410B (zh) 一种手机屏幕画检分区方法和系统
US7305127B2 (en) Detection and manipulation of shadows in an image or series of images
US20150003725A1 (en) Depth constrained superpixel-based depth map refinement
CN109636732A (zh) 一种深度图像的空洞修复方法以及图像处理装置
CN110648349A (zh) 基于背景减除和连通区域算法的焊缝缺陷分割方法
CN111968144A (zh) 一种图像边缘点获取方法及装置
CN109064439B (zh) 基于分区的单侧入光式导光板暗影缺陷提取方法
CN115908269A (zh) 视觉缺陷检测方法、装置、存储介质和计算机设备
CN105701491A (zh) 固定格式文档图像模版的制作方法及其应用
US9258460B2 (en) Image processing method and apparatus for correcting an image
KR20220028066A (ko) 카메라 스트림용 마스크를 생성하기 위한 방법, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체
WO2007145654A1 (en) Automatic compositing of 3d objects in a still frame or series of frames and detection and manipulation of shadows in an image or series of images
CN114792310A (zh) 一种LCD屏幕中边缘模糊的Mura缺陷检测方法
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
JP3330829B2 (ja) 機械部品の画像における評価可能区域の自動検出方法
JPH10149449A (ja) 画像分割方法、画像識別方法、画像分割装置および画像識別装置
CN115690107B (zh) 基于图像处理的豆荚果粒高通量计数方法、系统及装置
JP3860540B2 (ja) エントロピーフィルタ及び該フィルタを用いた領域抽出法
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN109544513A (zh) 一种钢管端面缺陷提取识别的方法
US20220076428A1 (en) Product positioning method
CN114727073B (zh) 一种图像的投影方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant