CN116958060A - 一种基于机器学习的检测相对水平的方法及装置 - Google Patents

一种基于机器学习的检测相对水平的方法及装置 Download PDF

Info

Publication number
CN116958060A
CN116958060A CN202310767214.0A CN202310767214A CN116958060A CN 116958060 A CN116958060 A CN 116958060A CN 202310767214 A CN202310767214 A CN 202310767214A CN 116958060 A CN116958060 A CN 116958060A
Authority
CN
China
Prior art keywords
screen
focal plane
tested
model
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310767214.0A
Other languages
English (en)
Inventor
郭伟杰
林宇航
王世锐
林志阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Teyi Technology Co ltd
Xiamen University
Original Assignee
Xiamen Teyi Technology Co ltd
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Teyi Technology Co ltd, Xiamen University filed Critical Xiamen Teyi Technology Co ltd
Priority to CN202310767214.0A priority Critical patent/CN116958060A/zh
Publication of CN116958060A publication Critical patent/CN116958060A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于机器学习的检测相对水平的方法及装置,包括:响应于利用工业相机拍摄待测屏幕生成拍摄图片;选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;根据计算获得的方差值结合预先建立的分析模型进行分析待测屏幕当前位置的状态,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。通过本发明的技术方案,可以不用激光测距等外设,就能测量屏幕与工业相机焦平面的平行程度,可以快速得出屏幕与焦平面的偏转角度,和AI技术相结合,应用人工智能算法推理估算出当前位置的状态,再代入模型公式进行计算求解角度。

Description

一种基于机器学习的检测相对水平的方法及装置
技术领域
本发明属于屏幕检测技术领域,具体涉及一种基于机器学习的检测相对水平的方法及装置。
背景技术
在显示屏AOI检测系统中,通常需要将工业检测的高分辨率相机与待检测的屏幕进行对准,若待测屏幕与相机的成像平面直接存在偏差,则会对成像造成干扰导致成像模糊。目前的检测人员主要依据放置屏幕后观察AR屏幕四个角的亮度是否均匀以及成像清晰度是否接近来判断屏幕是否可以在相机成像平面产生清晰的图像。
在目前的AOI检测系统中,对待测屏幕平面与CCD平面的平行度要求还不是很高,通常是采用肉眼观察进行判断,通过使镜头在屏幕上的像的中心与CCD中心重合来达成。因此通常会要求将待测屏幕与检测CCD相机垂直放置来减小不平行程度。
但是,工业相机与日常的相机有所不同,工业相机具有分辨率高,物距小,景深小的特点。其中,工业相机的景深是影响成像的关键因素,景深,是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。光圈、镜头、及相机焦平面到拍摄物的距离是影响景深的重要因素。即在聚焦完成后,焦点前后的范围内所呈现的清晰图像的距离,这一前一后的范围,便叫做景深。
然而,如果使用的相机景深范围十分有限,仅有2mm的可调范围,待测屏幕只要稍微左右倾斜或者前后倾斜都会导致成像模糊,容易导致检测误差。
有鉴于此,提出一种基于机器学习的检测相对水平的方法及装置是非常具有意义的。
发明内容
为了解决现有的工业相机景深范围十分有限,仅有2mm的可调范围,待测屏幕只要稍微左右倾斜或者前后倾斜都会导致成像模糊,容易导致检测误差的问题,本发明提供一种基于机器学习的检测相对水平的方法及装置,以解决上述存在的技术缺陷问题。
第一方面,本发明提出了一种基于机器学习的检测相对水平的方法,该方法包括如下步骤:
响应于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;
选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;
根据计算获得的方差值结合预先建立的分析模型进行分析待测屏幕当前位置的状态,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
优选的,预先建立的分析模型包括:
选取待测屏幕的上、下、左、右四个区域,使用四个区域和相机焦平面的距离作为神经网络的输入,待测屏幕的偏转情况作为输出,建立数据集;
利用建立的数据集,结合ai技术训练神经网络模型并保存;
利用训练好的神经网络模型判断待测屏幕的偏转情况,利用公式计算偏转角度,对偏转情况进行校正。
进一步优选的,结合ai技术训练神经网络模型包括:
构建数据集,数据集包含四个特征值和一个标签值,四个特征值为拍摄图像上的四个区域通过步进得到与相机焦平面之间的距离,将左偏、右偏、左前倾、左后倾、右前倾、右后倾、前倾、后倾以及水平九个分类结果作为标签值;
将特征值和标签值搭建多层感知分类神经网络,该神经网络包含两个隐藏层和一个输出层,其中输出层有四个输入神经元,输出层有九个神经元;
采集一定数量的待测屏幕的偏移情况,建立数据集并进行记录;
利用构建的网络框架和采集的数据集进行模型的训练,保存训练好的模型权重;
采集新的数据对模型进行测试,保存模型。
进一步优选的,预先建立的分析模型还包括:
选取待测屏幕的上、下、左、右四个区域,计算四个区域内的像素方差值,并记录下此时六轴平台各轴的刻度值;
将六轴平台的左右偏转和前后偏转设置为0°,再将待测屏幕进行若干次步进长度为d的上升并每隔d采集一次图像;
以步进长度d、采集的图像和相机焦平面建立模型,计算屏幕左侧和相机焦平面之间的距离L1,屏幕右侧和相机焦平面之间的距离L2,根据偏转角度计算公式计算,可得到相机焦平面对于屏幕在左右方向的偏转角度θ,得到角度θ后,调整六轴平台向左或向右偏转θ;
同样的,计算屏幕上侧和相机焦平面之间的距离L3,屏幕下侧和相机焦平面之间的距离L4,得到相机焦平面对于屏幕在前后方向的偏转角度θ',得到角度θ′后,调整六轴平台向前或向后偏转θ′并进行相应偏转,则可以让待测屏幕与相机焦平面平行。
进一步优选的,偏转角度的计算公式为:
其中,L代表的是采集图像中左右区域的实际距离;L′代表的是采集图像中上下区域的实际距离。
优选的,还包括:
若待测屏幕为非Mircro-OLED显示屏时,通过驱动屏幕点亮特定的黑白斜纹图案,利用工业相机拍摄待测屏幕生成拍摄图片,对屏幕上的九个点分别进行空间频率响应SFR的测量,探索六轴平台的位置和九个位置上的MTF50值的关系。
优选的,还包括:
当成像模糊时,该区域内像素值相差不大,方差会变小,当成像清晰时,该区域内边缘信息和轮廓信息比较明显,方差会变大,当达到最清晰的时刻,方差也达到最大值。
第二方面,本发明实施例还提供一种基于机器学习的检测相对水平的装置,包括:
检测台模块,用于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;
分析模块,用于选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;
分析模型模块,用于根据计算获得的方差值结合预先建立的分析模型进行分析,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
第三方面,本发明实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
与现有技术相比,本发明的有益成果在于:
(1)本发明提出了一种基于机器学习的方法,建立起一个相对完整的预测模型,可以根据相机拍摄到的特定测试图像的某些特点,传入预测网络最终输出待测屏幕的位置预测结果,该结果包含屏幕相对于焦平面偏转的信息,可以更加精准的辅助判断屏幕的状态位置,试图精确到以0.1度和0.01mm的精度进行调整,再根据当前的位置信息进行调整,使得待测屏幕可以在相机中生成更加清晰的图像,方便后续的Mura缺陷检测。
(2)通过本发明的技术方案,可以不用激光测距等外设,就能测量屏幕与工业相机焦平面的平行程度,模型巧妙,可以快速得出屏幕与焦平面的偏转角度,和AI技术相结合,将四个区域和焦平面距离作为训练集,偏转情况作为标签进行训练,应用人工智能算法推理估算出当前位置的状态,再代入模型公式进行计算求解角度。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点,因为通过引用以下详细描述,它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是本发明的一个实施例可以应用于其中的示例性装置架构图;
图2为本发明的实施例的基于机器学习的检测相对水平的方法的流程示意图;
图3为本发明的实施例的基于机器学习的检测相对水平的方法中相机成像原理图;
图4为本发明的实施例的基于机器学习的检测相对水平的方法中利用条形图案表示清晰度的示意图;
图5为本发明的实施例的锐度的展示图;
图6为本发明的实施例的10-90%的上升距离技术的示意图;
图7为本发明的实施例的用正弦和条形图、振幅图和对比度图表示MTF的示意图;
图8为本发明的实施例的黑白斜边区域的示意图;
图9为本发明的实施例的拟合曲线的斜棱质心的数据表;
图10为本发明的实施例的各个像素位置到该行拟合质心位置的水平距离;
图11为本发明的实施例的各个位置的像素进行区间归档;
图12为本发明的实施例的基于距离的离散边缘扩散序列的示意图;
图13为本发明的实施例的线扩散函数LSF的示意图;
图14为本发明的实施例的对屏幕上的九个点分别进行SFR的测量图;
图15为本发明的实施例的模糊成像的Micro-OLED屏幕示意图;
图16为本发明的实施例的清晰成像的Micro-OLED屏幕示意图;
图17为本发明的实施例的待测图像四个区域的示意图;
图18为本发明的实施例的得到的模型结构示意图;
图19为本发明的实施例的清晰度评价函数与步进次数的关系示意图;
图20为本发明的实施例的六轴平台参数调整示意图;
图21为本发明的实施例的补偿过后清晰度评价函数与步进次数的关系;
图22为本发明的实施例的多层感知机分类神经网络示意图;
图23为本发明的实施例的数据集概况表;
图24为本发明的实施例的训练损失函数变化情况示意图;
图25为本发明的实施例的新的测试数据以及标签示意图;
图26为本发明的实施例的神经网络预测推理结果图;
图27为本发明的实施例的基于机器学习的检测相对水平的装置的示意图;
图28是适于用来实现本发明实施例的电子设备的计算机装置的结构示意图。
具体实施方式
在以下详细描述中,参考附图,该附图形成详细描述的一部分,并且通过其中可实践本发明的说明性具体实施例来示出。对此,参考描述的图的取向来使用方向术语,例如“顶”、“底”、“左”、“右”、“上”、“下”等。因为实施例的部件可被定位于若干不同取向中,为了图示的目的使用方向术语并且方向术语绝非限制。应当理解的是,可以利用其他实施例或可以做出逻辑改变,而不背离本发明的范围。因此以下详细描述不应当在限制的意义上被采用,并且本发明的范围由所附权利要求来限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图1示出了可以应用本发明实施例的用于处理信息的方法或用于处理信息的装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有通信功能的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103发送的校验请求信息进行处理的后台信息处理服务器。后台信息处理服务器可以对接收到的校验请求信息进行分析等处理,并得到处理结果(例如用于表征校验请求为合法请求的校验成功信息)。
需要说明的是,本发明实施例所提供的用于处理信息的方法一般由服务器105执行,相应地,用于处理信息的装置一般设置于服务器105中。另外,本发明实施例所提供的用于发送信息的方法一般由终端设备101、102、103执行,相应地,用于发送信息的装置一般设置于终端设备101、102、103中。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或多个软件模块,在此不做具体限定。
图2示出了本发明的实施例公开了一种基于机器学习的检测相对水平的方法,如图2所示,该方法包括如下步骤:
S1、响应于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;
S2、选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;
S3、根据计算获得的方差值结合预先建立的分析模型进行分析待测屏幕当前位置的状态,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
下面具体介绍本发明的思路以及具体方案。
首先理解相机成像的原理,相机成像原理图如图3所示,物体透过镜头在相机的成像平面上成像,只有当拍摄物体在相机CCD成像面生成的图像越平行且靠近焦平面,成像就会越清晰,且成像平面和焦平面越平行,成像也越清晰。
因此需要寻找一种参数指标来衡量成像的清晰程度,本发明依据测量成像后采集到图片的SFR值分布情况来衡量成像是否清晰。锐度决定了一个成像系统所能再现的细节数量。它是由不同色调或颜色的区域之间的界限来定义的。在图4中,清晰度是用空间频率增加的条形图案来说明的。图中的上半部分是锐利的,其边界是清晰的;下半部分是模糊的,说明了条形图案在通过模拟镜头后是如何退化的。锐度在图像边缘等特征上最为明,如图5,可以通过边缘(阶梯)响应来测量。
目前,有几种方法用于测量清晰度,包括10-90%的上升距离技术、调制传递函数(MTF)、特殊和频域以及斜边算法。
其中,通过10-90%的上升距离技术,锐度可以通过像素水平在其最终值的10%到90%之间的距离来确定,也称为10-90%上升距离,如图6。但是上升距离没有被广泛使用,因为没有一种方便的方法可以从一个成像系统的各个部件的上升距离中计算出它的上升距离。
在给定的空间频率下的相对对比度(输出对比度/输入对比度)被称为调制传递函数(MTF),它类似于空间频率响应(SFR),是测量清晰度的一个关键。如图7中,MTF用正弦和条形图、振幅图和对比度图来说明——每一个图的空间频率都从左到右连续增加。高空间频率(在右边)对应于精细的图像细节。摄影部件(胶片、镜头、扫描仪等)的响应在高空间频率下趋于"滚落"。这些组件可以被认为是低通滤波器,通过低频,衰减高频。图7由上、中、下三幅图组成,最上方的图说明了(1)原始正弦图案,(2)带有镜头模糊的正弦图案,(3)原始条形图案,以及(4)带有镜头模糊的条形图案。镜头模糊导致高空间频率的对比度下降。中间的图显示了带有镜头模糊的条形图案的亮度,MTF方程式部分的"调制"V。正弦图案的调制,由纯频率组成,用于计算MTF。下面的图显示了相应的正弦图案对比度,这也是在MTF方程式部分的定义。
MTF的方程式是由空间频率为f的正弦模式对比度C(f)得出的,其中Vmax表示白线的最大亮度,Vmin表示黑线的最低亮度,根据定义,低频MTF极限总是1(100%)。在图7中,MTF在61lp/mm(每毫米线对)时为50%,在183lp/mm时为10%。频率和MTF都是以指数符号的对数尺度显示[100=1%;101=10%;102=100%,等等];振幅(中间图)是以线性尺度显示。一个完整的成像系统的MTF是其各个组成部分的MTF的乘积。
MTF的计算方法也很多,比如使用不同地方频率不同的黑白条纹测试图片计算,但是对于可以控制锐化的系统,推荐的主要MTF计算方法是斜边,它是由脉冲响应的傅里叶变换计算出来的。
光学性能测试中,SFR(Spatial Frequency Response)是空间频率响应。MTF常用于光学系统,而SFR指成像系统,成像系统包含一个光学系统。空间频率是以每一距离的周期(或线对)而不是时间来衡量的。与时间(如音频)频率响应一样,响应越长,可以传达的细节就越多。主要是用于测量随着空间频率的线条增加对单一影像所造成的影响。
傅里叶变换可以用来分析时域或空间域的幅频响应特性,本发明分析的是空间域不是时域,在一幅图像中,有的场景光亮变化很频密,可能在很小的空间内,就发生了频繁的明暗变化,有的场景又变化很缓慢,光处于一个比较柔和的变化中,而本发明使用傅里叶变换,就是来分析它针对以上不同空间频率下的一个响应情况,假设它在所有频率上响应都没有衰减,那么它将真实反应实际场景在各个频率下的所有细节。但由于真实的光学系统幅频响应曲线[Fourier Translate(LSF)]逐渐衰减,因此,随着空间频率的升高,最后高频细节将由于混叠而丧失。而通过LSF曲线经傅里叶变换后得到的幅频响应曲线SFR,则正是反应了光学系统对于各种空间频率下的响应能力。
SFR的计算方法相较于MTF更加便捷,只需要一个黑白的斜边(刃边)即可换算出约略相等于所有空间频率。
MTF计算源自ISO标准12233,选取一个如图8所示的黑白斜边区域进行计算。裁剪后的图像被线性化,即调整像素水平以去除相机应用的伽马编码。伽马是可以调整的,默认为0.5。计算纵向斜棱质心,我们先逐行计算水平方向一阶微分,左右相邻像素亮度差,即为水平方向一阶微分(梯度),这部分在ISO文件中,采用的是卷积一个[-1/2,+1/2]的有限差分滤波器的方法,其实与邻差方法基本一致,只是相差一个两倍关系。接下来,通过逐行计算水平列序号与该处微分值的卷积和,再除以该行积分累积总和,算得质心即各行斜棱交界处所在水平位置。以此类推,每一行的质心位置都可以求得(。其中p代表一行中的每个像素序号值,表示该像素序号对应的灰度值,P表示每行总的像素值。
计算出每一行的质心位置后,对这些质心进行回归拟合,得出斜棱分界线处的拟合回归方程y=mx+b(其中因变量y为质心位置的值,自变量x为行号)。计算出斜棱方程后,可以得出每一行上的斜棱位置,以宽度8,高度8的一副图像来简化模型,假设拟合曲线的斜棱质心如图9所示,由于每一行上的像素与该行斜棱质心的水平距离并不都是整数,这给了我们实现亚像素采样的可能,根据各个像素位置到该行拟合质心位置的水平距离,如图10所示。
接着,我们以[-0.125,0.125]区间为0档位向正负方向延伸,其中[-0.375,-0.125]为-1档,[0.125,0.375]为+1档,依此类推,我们将上面各个位置的像素进行区间归档如图11。对归属于同一档的像素值进行累加平均有:[-15档]=0/1=0,[-14档]=(0+2+0+1)/4=0.75等等,依此类推。最终将8行数据压缩归纳到了一行,得到一个基于距离的离散边缘扩散序列如图12所示,离散距离单位缩小为0.25个像素,当然也可以乘以4倍,将单位归为1,但它代表的还是1/4个像素,而这也就是4倍超采样过程。
简而言之就是通过以到斜边水平方向距离为基准,对多行数据进行分类归并,最终得到一行4倍于空间采样频率的序列,即边沿扩散函数ESF,再对ESF曲线进行微分即得到线扩散函数LSF,如图13。最后对LSF曲线进行一次滤波后再进行离散傅里叶变换得到最终的SFR曲线。得到SFR曲线后就可以通过曲线上的MTF50P这个点来衡量当前图像位置的清晰度,MTF为峰值MTF的50%的空间频率。
因此,本方法名通过将屏幕放置在一个六轴并联的检测台上,驱动屏幕点亮特定的黑白斜纹图案,通过调整六轴平台的位置,拍摄屏幕图片,对屏幕上的九个点分别进行SFR的测量,如图14所示,探索六轴平台的位置和九个位置上的MTF50值的关系,理想情况下,当屏幕与焦平面平行时,成像最清晰,九个MTF50的值均能达到最大值,当屏幕位置偏离景深范围后,MTF50的值均开始呈现下降趋势。
然而由于待测屏幕为Mircro-OLED显示屏,在高分辨率相机的拍摄下测量出的MTF50值不能很准确的表达出清晰度。因为在高分辨率相机的成像后,清晰的图像会出现灯珠的轮廓,而模糊的图像则不会出现灯珠的轮廓,如图15和图16所示。在用MTF50值衡量清晰度时,即使没有出现灯珠的轮廓,它的值也会出现范围波动而形成假峰值。
因此需要用另一种清晰度评价函数来描述Micro-LED屏幕在高分辨率相机下的成像质量,即选取成像图片中边缘特征明显的区域,计算该区域所有像素值之间的方差,当成像模糊时,该区域内像素值相差不大,方差会变小,当成像清晰时,该区域内边缘信息和轮廓信息比较明显,方差会变大,当达到最清晰的时刻,方差也达到最大值。
如图17所示,选取待测屏幕的上、下、左、右四个区域,计算四个区域内的像素方差值,并记录下来此时六轴平台各轴的刻度值。接下来以d=0.01mm为步进长度,每间隔d采集一次图像,总共采集三十张图像,由于景深的限制,这些图像的特点就是从模糊到清晰再到模糊。
接下来将分两种情况进行讨论分析模型的建立过程。第一,将六轴平台的左右偏转和前后偏转设置为0°,再进行三十次步进长度为d的上升采集图像。最终得到的模型结构示意图如图18所示,数条横的代表Micro-OLED屏幕,单条斜的代表相机焦平面,通过每次步进一定距离可以使得屏幕的左侧和右侧都经过焦平面,从而计算出屏幕左侧和焦平面之间的距离L1=3d以及右侧距离焦平面的距离L2=5d。得到L1和L2之后,带入计算公式进行计算可得到焦平面对于屏幕在左右方向的偏转角度θ。
其中L代表的是采集图像中左右区域的实际距离。
得到角度θ后,调整六轴平台向左偏转θ,则可以让屏幕与相机焦平面平行,前后偏转的角度计算情况同理可得出。
同样的,计算屏幕左侧和相机焦平面之间的距离L3,屏幕右侧和相机焦平面之间的距离L4,得到相机焦平面对于屏幕在前后方向的偏转角度θ',得到角度θ′后,调整六轴平台向前或向后偏转θ′并进行相应偏转,则可以让待测屏幕与相机焦平面平行。
其中,L′代表的是采集图像中上下区域的实际距离。
图19表示在采集图像上的四个区域所得到的清晰度随步进距离之间的关系,且这四个区域的长和宽都相等。可以得出,当区域1和区域3在第18次步进的时候同时到达峰值,区域2和区域4在25次步进的时候同时到达峰值,即区域1和区域3之间没有高度差,区域2和区域4之间也没有高度差,则说明该屏幕目前是相对于焦平面左右偏转,前后没有偏转,前左右两侧的高度差为|L2-L1|=7×d=0.07mm,区域1和区域2之间的距离可以查找屏幕规格手册获取屏幕显示的长度和宽度再乘上一定的比例得出,代入上述的角度计算公式可得偏转角度θ=0.611°,调整六轴平台的左右轴参数,如图20所示。角度补偿过后的结果如图21所示,四个区域同时达到清晰度峰值。
另外,本发明的技术方案可以和AI技术相结合,使用四个区域和焦平面的距离作为神经网络的输入,偏转情况作为输出,建立数据集,利用人工智能训练出一个神经网络模型进行推理,然后代入上述角度计算公式计算准确的角度。
要使用AI技术进行推理,首先需要构建一个数据集,该数据集包含四个特征值,一个标签值。四个特征值分别是图像上四个区域通过步进得到的到焦平面的距离,标签值则是分类结果,对应着左偏、右偏、左前倾、左后倾、右前倾、右后倾、前倾、后倾以及水平九个结果。将特征值和标签值。搭建如图22所示的多层感知分类神经网络,该网络包含两个隐藏层,一个输出层。输入层有四个输入神经元,输出层有九个神经元。
当输入神经元输入数据时,神经网络首先进行前向传播计算初始数值,所谓的前向传播就是对每个输入节点进行加权求和得到输出节点的过程,而中间两层十六个节点的隐藏层则是为了增加网络的深度而设计的,使得网络结构更加稳定,训练不容易偏离。当进行完前向传播后,网络会得到每个节点关于权重的梯度情况,接下去再进行反向传播来调整权值参数,反向传播则是先计算每个节点的权重偏导数,然后使用随机梯度下降法或者动量下降法调整偏导数,最终使得输出节点的值和真实的标签值之间的差距越来越小,从而实现更加精确的预测结果。
确定好网络框架后,便要开始采集数据,本发明的实施例中一共采集了130种偏移情况,建立相应的数据集,前四列表示四个区域到焦平面的距离,第五列代表偏移情况的种类编码,第六列代表偏移情况,如图23所示。
拥有数据集和网络框架后便开始编写代码进行训练,训练过程损失函数变化情况如图24所示。在训练过后对测试集进行评估,准确率达到93.33%。训练完成后保存训练好的模型权重,使用一个新的数据进行测试,新的数据和测试结果如图25以及图26所示。当推理出属于哪种类别的偏移后,代入上述的模型公式算法计算,便可得到偏转角度,从而进行校正。
第二方面,本发明的实施例还公开一种基于机器学习的检测相对水平的装置,如图27所示,包括检测台模块271,分析模块272以及分析模型模块273。
在一个具体实施例中,检测台模块271,用于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;分析模块272,用于选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;分析模型模块273,用于根据计算获得的方差值结合预先建立的分析模型进行分析,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
下面参考图28,其示出了适于用来实现本发明实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置2800的结构示意图。图28示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图28所示,计算机装置600包括中央处理单元(CPU)601和图形处理器(GPU)602,其可以根据存储在只读存储器(ROM)603中的程序或者从存储部分609加载到随机访问存储器(RAM)606中的程序而执行各种适当的动作和处理。在RAM 604中,还存储有装置600操作所需的各种程序和数据。CPU 601、GPU602、ROM 603以及RAM 604通过总线605彼此相连。输入/输出(I/O)接口606也连接至总线605。
以下部件连接至I/O接口606:包括键盘、鼠标等的输入部分607;包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分608;包括硬盘等的存储部分609;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分610。通信部分610经由诸如因特网的网络执行通信处理。驱动器611也可以根据需要连接至I/O接口606。可拆卸介质612,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器611上,以便于从其上读出的计算机程序根据需要被安装入存储部分609。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分610从网络上被下载和安装,和/或从可拆卸介质612被安装。在该计算机程序被中央处理单元(CPU)601和图形处理器(GPU)602执行时,执行本发明的方法中限定的上述功能。
需要说明的是,本发明所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的装置来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:响应于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;根据计算获得的方差值结合预先建立的分析模型进行分析待测屏幕当前位置的状态,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本发明中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于机器学习的检测相对水平的方法,其特征在于,该方法包括如下步骤:
响应于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;
选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;
根据计算获得的方差值结合预先建立的分析模型进行分析待测屏幕当前位置的状态,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
2.根据权利要求1所述的基于机器学习的检测相对水平的方法,其特征在于,预先建立的分析模型包括:
选取待测屏幕的上、下、左、右四个区域,使用四个区域和相机焦平面的距离作为神经网络的输入,待测屏幕的偏转情况作为输出,建立数据集;
利用建立的数据集,结合ai技术训练神经网络模型并保存;
利用训练好的神经网络模型判断待测屏幕的偏转情况,利用公式计算偏转角度,对偏转情况进行校正。
3.根据权利要求2所述的基于机器学习的检测相对水平的方法,其特征在于,结合ai技术训练神经网络模型包括:
构建数据集,数据集包含四个特征值和一个标签值,四个特征值为拍摄图像上的四个区域通过步进得到与相机焦平面之间的距离,将左偏、右偏、左前倾、左后倾、右前倾、右后倾、前倾、后倾以及水平九个分类结果作为标签值;
将特征值和标签值搭建多层感知分类神经网络,该神经网络包含两个隐藏层和一个输出层,其中输出层有四个输入神经元,输出层有九个神经元;
采集一定数量的待测屏幕的偏移情况,建立数据集并进行记录;
利用构建的网络框架和采集的数据集进行模型的训练,保存训练好的模型权重;
采集新的数据对模型进行测试,保存模型。
4.根据权利要求3所述的基于机器学习的检测相对水平的方法,其特征在于,预先建立的分析模型还包括:
选取待测屏幕的上、下、左、右四个区域,计算四个区域内的像素方差值,并记录下此时六轴平台各轴的刻度值;
将六轴平台的左右偏转和前后偏转设置为0°,再将待测屏幕进行若干次步进长度为d的上升并每隔d采集一次图像;
以步进长度d、采集的图像和相机焦平面建立模型,计算屏幕左侧和相机焦平面之间的距离L1,屏幕右侧和相机焦平面之间的距离L2,根据偏转角度计算公式计算,可得到相机焦平面对于屏幕在左右方向的偏转角度θ,得到角度θ后,调整六轴平台向左或向右偏转θ;
同样的,计算屏幕上侧和相机焦平面之间的距离L3,屏幕下侧和相机焦平面之间的距离L4,得到相机焦平面对于屏幕在前后方向的偏转角度θ',得到角度θ′后,调整六轴平台向前或向后偏转θ′并进行相应偏转,则可以让待测屏幕与相机焦平面平行。
5.根据权利要求4所述的基于机器学习的检测相对水平的方法,其特征在于,偏转角度的计算公式为:
其中,L代表的是采集图像中左右区域的实际距离;L′代表的是采集图像中上下区域的实际距离。
6.根据权利要求1所述的基于机器学习的检测相对水平的方法,其特征在于,还包括:
若待测屏幕为非Mircro-OLED显示屏时,通过驱动屏幕点亮特定的黑白斜纹图案,利用工业相机拍摄待测屏幕生成拍摄图片,对屏幕上的九个点分别进行空间频率响应SFR的测量,探索六轴平台的位置和九个位置上的MTF50值的关系。
7.根据权利要求1所述的基于机器学习的检测相对水平的方法,其特征在于,还包括:
当成像模糊时,该区域内像素值相差不大,方差会变小,当成像清晰时,该区域内边缘信息和轮廓信息比较明显,方差会变大,当达到最清晰的时刻,方差也达到最大值。
8.一种基于机器学习的检测相对水平的装置,其特征在于,包括:
检测台模块,用于将待测屏幕放置在某个六轴并联的检测台上,驱动待测屏幕点亮预设定的黑白相间图案,并利用工业相机拍摄待测屏幕生成拍摄图片;
分析模块,用于选取生成的拍摄图片中边缘特征明显的区域,计算该区域内所有像素值之间的方差,以分析拍摄图片的成像质量来判断清晰度;
分析模型模块,用于根据计算获得的方差值结合预先建立的分析模型进行分析,根据分析结果对检测台的偏转情况作出调整,直到拍摄图片成像最清晰,方差达到最大值。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一所述的方法。
CN202310767214.0A 2023-06-27 2023-06-27 一种基于机器学习的检测相对水平的方法及装置 Pending CN116958060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310767214.0A CN116958060A (zh) 2023-06-27 2023-06-27 一种基于机器学习的检测相对水平的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310767214.0A CN116958060A (zh) 2023-06-27 2023-06-27 一种基于机器学习的检测相对水平的方法及装置

Publications (1)

Publication Number Publication Date
CN116958060A true CN116958060A (zh) 2023-10-27

Family

ID=88452064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310767214.0A Pending CN116958060A (zh) 2023-06-27 2023-06-27 一种基于机器学习的检测相对水平的方法及装置

Country Status (1)

Country Link
CN (1) CN116958060A (zh)

Similar Documents

Publication Publication Date Title
US8927916B2 (en) Focus assist system and method
US8754963B2 (en) Processing images having different focus
US8948513B2 (en) Blurring based content recognizer
CN101655614B (zh) 液晶显示面板云纹缺陷的检测方法和检测装置
CN106839976B (zh) 一种检测镜头中心的方法及装置
US7359547B2 (en) Pseudo three dimensional image generating apparatus
CN106204524A (zh) 一种评价图像质量的方法及装置
CN107113370A (zh) 图像捕获装置及图像捕获方法
CN110517213A (zh) 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法
Halder et al. Correction of geometrically distorted underwater images using shift map analysis
CN110225335A (zh) 相机稳定性评估方法及装置
CN116958060A (zh) 一种基于机器学习的检测相对水平的方法及装置
KR20180108714A (ko) 불균일 평가 방법 및 불균일 평가 장치
JP2006284495A (ja) 透明体の屈折率分布測定方法及び測定装置
CN115860026A (zh) 条码检测方法、装置、条码检测设备和可读存储介质
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
RU2346331C1 (ru) Способ автоматического определения правильности отображения информации на жидкокристаллическом индикаторе
Masoudifar et al. Depth estimation and deblurring from a single image using an optimized-throughput coded aperture
CN113870255B (zh) Mini LED产品缺陷检测方法及相关设备
CN113034455B (zh) 一种平面物件麻点检测方法
RU2755092C1 (ru) Способ формирования изображения с локальным градиентом яркости и устройство для его осуществления
US20220414827A1 (en) Training apparatus, training method, and medium
JPH08202871A (ja) 画像情報処理装置
JP6742178B2 (ja) Mtf測定装置およびそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination