CN109685799A - 一种基于图像数据及给定区间误警率的统计过程监控方法 - Google Patents

一种基于图像数据及给定区间误警率的统计过程监控方法 Download PDF

Info

Publication number
CN109685799A
CN109685799A CN201811619385.4A CN201811619385A CN109685799A CN 109685799 A CN109685799 A CN 109685799A CN 201811619385 A CN201811619385 A CN 201811619385A CN 109685799 A CN109685799 A CN 109685799A
Authority
CN
China
Prior art keywords
image
block
false alarm
given section
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811619385.4A
Other languages
English (en)
Other versions
CN109685799B (zh
Inventor
黄婷婷
王尚刚
杨顺昆
赵玥浦
杜辰博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201811619385.4A priority Critical patent/CN109685799B/zh
Publication of CN109685799A publication Critical patent/CN109685799A/zh
Application granted granted Critical
Publication of CN109685799B publication Critical patent/CN109685799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于，包括如下步骤：步骤一：采集图像；步骤二：图像预处理；步骤三：受控图像及理想图像的获取；步骤四：划分区块；步骤五：极大似然率统计量计算；步骤六：确定给定区间误警率；步骤七：确定控制图上限；步骤八：绘制控制图。本发明优点及有益效果在于：在一些情况下，产品的制造过程并不是持续进行的，而是在给定区间内截止，在这种情况下，无法按照传统的统计过程监控方法基于平均运行链长进行控制图的设计。本申请提出的方法，填补了统计过程监控方法在给定区间进行监控的领域空白。

Description

一种基于图像数据及给定区间误警率的统计过程监控方法
技术领域：
本发明涉及一种基于图像数据及给定区间误警率的统计过程监控方法，属于产品制造过程中的质量控制领域。
背景技术：
在产品的制造过程中，会有多种因素导致制造过程状态变异、产品质量下降。在传统的产品质量检测中，通常在产品制造过程结束后进行质量检测，对质量不合格的产品进行报废或者回收处理，这样不仅占用了有效的制造时间，浪费了资源，而且降低了良品率。为了解决该问题，可以采用统计过程监控方法对产品制造过程进行实时监控。
统计过程监控(Statistical Process Monitoring,SPM)方法利用统计方法对过程和产品质量进行监控。在产品的制造过程中，会有多种因素导致过程发生变异、产品质量下降。当制造过程发生变异、产品质量下降时，统计过程监控及时发出报警以免制造出不合格产品，减少不必要的人力、材料及时间等资源的浪费，降低成本，提高生产效率，从而帮助提高产品的质量和一致性。
随着统计过程监控理论的不断完善和成熟，其应用范围也越来越广泛，这反过来也促使统计过程监控的研究更加丰富和成熟，更加受到重视。产品的图像数据能够直观、全面地反映出产品的质量变化情况，基于图像的统计过程监控方法受到越来越多的关注。本申请是基于产品的图像数据，通过对产品图像数据的分析，可以提取反映产品制造过程状态及产品质量的特征参数，通过对特征参数的监控，从而实现对产品制造过程的监控。近二十年来，国内外研究人员提出了很多针对图像数据的统计过程控制方法，文献Megahed,F.M.,Woodall,W.H.,&Camelio,J.A.(2011).A review and perspective on controlcharting with image data.(基于图像数据的控制图的回顾与展望)JournalofQualityTechnology,43(2),83-98.对该领域的研究方法做了比较详尽的总结。当前基于图像的统计过程监控方法，主要集中于以下几个方面：
(1)基于单变量或多变量的统计过程监控
从图像中提取一个或多个独立变量进行监控，即将图像数据转化为单变量或多个独立变量分别进行监控。文献Armingol,J.M.,Otamendi,J.,De La Escalera,A.,Pastor,J.M.,&Rodriguez,F.(2003).Statistical pattern modeling in vision-based qualitycontrol systems.(基于视觉的质量控制系统的统计模式建模)Journal of Intelligentand Robotic Systems,37(3),321-336.将金属部件图像中的每个像素点的亮度值作为一个变量，并采用I-MR(Individual Moving Average)控制图对每个变量进行监控。文献Liang,Y.T.,&Chiou,Y.C.(2008).Vision-based automatic tool wear monitoringsystem.(基于视觉的自动化工具磨损监控系统)In 7th World Congress on IntelligentControl and Automation,WCICA,2008,Chongqing,China.(pp.6031-6035).IEEE.采用边缘识别技术从图像中提取出工具磨损宽度变量，并采用X-bar控制图对其进行监控。
在很多制造过程中，需要同时对多个具有相关性、非独立的变量进行监控，在这种情况下，采用多变量监控的方法比将这些变量作为独立变量的单变量监控方法具有更好的监控性能。文献Prats-Montalbán(Prats-Montalbán,J.M.,&Ferrer,A.(2014).Statistical process control based on Multivariate Image Analysis:A newproposal for monitoring and defect detection.(基于多变量图像分析的统计过程控制：一种监控与缺陷检测的新方法)Computers&Chemical Engineering,71,501-511.)采用匹配样例百分比模型将钢板制造过程中新的图像数据与一个样例图像数据进行比较，定位各类缺陷，并采用p-控制图以及T2控制图进行统计过程监控。文献He,K.,Zhang,M.,Zuo,L.,Alhwiti,T.,&Megahed,F.M.(2014).Enhancing the monitoring of 3D scannedmanufactured parts through projections and spatiotemporal control charts.(通过投射方法和时空控制图提高对三维扫描制造部件的监控)Journal of IntelligentManufacturing,1-13.将支架表面的图像分成若干区域，并将各个区域内图像的亮度的平均值作为变量进行多变量统计过程监控。
(2)基于剖面数据的监控
“剖面”被用来刻画一个“解释变量”与一个或多个“响应变量”之间的函数关系，基于剖面数据的控制图监控这种函数关系的稳定性。在一些制造过程中，相较于单变量或者多变量监控方法，剖面更适合用于描述过程的状态，或者只能得到生产过程的剖面数据。通过对剖面各个参数的单独或联合监控，侦测过程中出现的变异，可见于文献Kang L,AlbinS L.On-Line Monitoring When the Process Yields a Linear Profile[J].Journal ofQuality Technology,2000,32(4):418-426.，和文献Weese M,Martinez W,Megahed F M,et al.Statistical Learning Methods Applied to Process Monitoring:An Overviewand Perspective[J].Journal of Quality Technology,2015,48(1).文献Shu-KaiS.Fan,Ni-Chun Yao,Yuan-Jung Chang,et al.Statistical monitoring of nonlinearprofiles by using piecewise linear approximation[J].Journal of ProcessControl,2011,21(8):1217-1229.将非线性剖面数据的曲线分割成多个片断从而在每个片段上应用线性剖面的方法进行监控，更多的对于非线性剖面的监控研究，可以见于文献Jensen W A,Birch J B.Profile Monitoring via Nonlinear Mixed Models[J].Journalof Quality Technology,2009,41(1):18-34，和文献Shing I.Chang,SrikanthYadama.Statistical process control for monitoring non-linear profilesusing wavelet filtering and B-Spline approximation[J].International Journalof Production Research,2010,48(4):1049-1068.
(3)基于时空数据的监控
基于时空数据的监控不仅考虑了过程的时间信息，也考虑了产品的空间信息。基于时空数据的统计过程监控正被越来越多地应用于健康及疾病防控领域的监控。文献Jonatan A.González,Francisco J.Rodríguez-Cortés,et al.Spatio-temporal pointprocess statistics:A review[J].Spatial Statistics,2016,18:505-544.综述了用于分析时空数据点的模式的理论方法与模型。文献Meliker J R,Sloan C D.Spatio-temporal epidemiology:Principles and opportunities[J].Spat SpatiotemporalEpidemiol,2011,2(1):1-9.概述了时空流行病学的五个领域，列述了时空流行病学的研究原则。
一些生产过程中，反映产品质量的图像信息中各个子区域缺陷数及缺陷是否均匀分布是产品制造人员的关注点。在这种情况下，不仅需要控制图反映出缺陷的时间信息，而且也需要其反映出缺陷在产品上的位置、大小等空间信息。文献Lu,C.J.,&Tsai,D.M.(2005).Automatic defect inspection for LCDs using singular valuedecomposition.(使用奇异值分解方法对液晶显示器进行自动缺陷检测)TheInternatioSnal Journal of Advanced Manufacturing Technology,25(1-2),53-61.采用了这种表达空间位置信息的X-bar控制图监控LCD面板上的缺陷数量。文献Lin,H.D.,&Chiu,S.W.(2006).Computer-Aided vision system for MURA-Type defect inspectionin liquid crystal displays.(对液晶显示器MURA类型缺陷进行检测的计算机辅助视觉系统)In Advances in Image and Video Technology(pp.442-452).Springer BerlinHeidelberg.将LCD显示器的图像划分为多个区域，并采用HotellingT2控制图监控每个区域缺陷的数量。文献Megahed F M,Wells L J,Camelio J A,et al.A SpatiotemporalMethod for the Monitoring of Image Data[J].Quality&Reliability EngineeringInternational,2012,28(8):967-980.和文献Megahed,F.M“The Use of Image and PointCloud Data in Statistical Process Control,"(图像数据与点云数据在统计过程控制中的使用)PhD Thesis,Virginia Polytechnic Institute and State University,2012.将图像划分为多个区块，对每个区块上像素亮度的平均值计算其广义似然率作为监控变量，对缺陷产生的时间、位置进行监控并且可以计算检测结果与实际缺陷的匹配度，为后续的故障诊断与反馈调节提供帮助。产品的表面图像包含了大量关于产品质量的信息，图形多样，且各层图形可能不尽相同，并不能直接套用现有的方法进行统计过程监控。因此，如何对多样化、各层非一致的图像进行分析从而进行过程监控也是一个研究热点和难点。
发明内容：
发明目的：本发明的目的在于提供一种基于图像数据及给定区间内误警率的统计过程监控方法，基于产品表面图像及给定区间内误警率进行控制图的设计，对产品的制造过程进行监控，定位过程开始变异时对应的图像及变异发生的区域并及时报警。
技术方案：本发明一种基于图像数据及给定区间内误警率的统计过程监控方法，整体技术方案流程如图1所示。
步骤一：采集图像
在制造过程中，每隔预设的时间间隔(根据制造要求或摄像头拍摄速度来确定，例如：每隔1秒获取一张图像)，采集一幅产品图像，将图像数据实时存储并按顺序编号为1,2,…；以下将图像所对应的编号称为“图像序数”。
步骤二：图像预处理
对实时获取的产品图像数据，进行图像预处理，主要包括(但不限于)去除图像背景影响、去除噪声、平衡光照、归一化图像大小及分辨率，以及颜色空间变换，使获得的图像的背景具有一致性。
步骤三：受控图像及理想图像的获取
根据产品在实际制造过程中所产生的大量受控图像数据，经过步骤二的方法对这些受控图像进行图像预处理步骤后，采用包括但不限于图像之间的相似度计算、对多幅图像进行亮度平均、图像亮度取最大或最小值等方法，从而获得一幅理想图像(该图像为稳定受控状态下的典型产品图像)。
步骤四：划分区块
产品质量发生缺陷的区域处，其产品图像的像素点亮度值将会偏高或偏低于正常波动范围。根据这一规律，按照预设的区块的位置、形状、数量及交叠情况等，对图像进行划分。
以实施例中采用的250像素*250像素图像为例，可将图像平均分成不重叠的10*10个小区域。在每个小区域内，以该小区域的中心点为中心，按22像素*22像素的矩形区块为基础区块，矩形区块的四条边每次向外增加2个像素形成新的区块，直到形成的区块任意一条边到达图像边界或者与图像边界距离少于2个像素。对10*10个小区域，分别进行上述划分区块的过程。
步骤五：极大似然率统计量计算
将一幅图像划分为多个区块，对一幅图像的各个区块分别进行监控，选取其中最有可能发生变异的区块。
对于每一幅新增加的产品图像，称为“当前图像”，其图像序数记为t，都可以通过上述“划分区块”的过程得到p个区块，并依序对每个区块进行编号，记为“区块序数”，记为k＝1,2,…,p。当前图像t中区块k内的像素的实际平均亮度值，记为Ytk；以此类推，可以得到每个区块内的像素的平均亮度值。对每一幅当前图像t，都可以得到其每个区块的平均亮度值数据，如下：
Yt＝(Yt1，Yt2，...，Ytk，...，Ytp) (1)
其中t为当前图像，p为当前图像中标记的区块。
对于每一幅当前图像t，理想状态下区块k内的平均亮度值应服从于正态分布，其中，Xk为稳定受控状态下区块k的像素亮度值均值，为区块k内图像像素平均亮度值波动的方差。据步骤三，通过已有的大量处于受控状态下的产品图像或者理想图像，可以得到在区块k内，受控状态下产品图像的像素平均亮度值；可以从步骤三中大量受控图像对应区块的像素亮度值中获得。如果制造过程发生了变异，则μ1，k代表制造过程发生变异后区块k内的亮度均值，其值未知。根据工程经验，假设在制造过程中不发生变化。
对制造过程实时采集的产品图像进行实时监控。假设当前获得产品的第s层的图像，记为图像s，则可以得到一个关于图像序数与区块序数的序列Y1，Y2，...，Ys，该序列的每一个分量为一个向量，根据公式(1)定义。图像s的区块k的似然率函数定义如下：
如果过程未发生偏移，则图像s的第k区块上的似然函数被定义为：
如果制造过程在图像τ之前(包括图像τ，τ＜s)处于稳定的受控状态，在图像τ之后开始发生偏移，则图像s的第k区块上的似然函数被定义为：
则图像s的第k区块上的似然比函数被定义：
对该结果取对数，并且对所有可能发生偏移的区块k(k＝1,2,…,p)及所有可能开始发生偏移的图像数τ(τ＝0,1,…,s-1)进行遍历，取其中的最大值，则可得到图像s的极大似然比统计量，其计算公式定义如下：
可化简为：
nk为区块k上的像素数量，
对产品图像进行实时监控。随着产品图像增加，公式(2)的计算量将会大大增加，为减小计算量并提高控制图实时监控性能，并不对图像s之前的所有历史图像进行遍历，假设仅图像s之前的m(根据实际情况选择m的数值)幅图像产生偏移，即自图像s-m+1开始发生偏移；若s<m，则假设自第1幅图像开始发生偏移，则改进公式(2)得到：
当Rm，s＞hGLR(hGLR是控制图上限，可由步骤七得到)时认为发生异常并报警，同时记录下和因此，式(3)可以表述为：
是开始发生漂移的图像序数,是发生漂移的区块。
步骤六：确定给定区间误警率
在传统的制造过程中，产品制造过程持续进行；但是在一些情况下，产品的制造在一定区间(可以指产品的数量，或者制造过程持续的时间等)内进行，过程将会在达到这一区间后截止，本申请将该区间定义为“给定区间”。在这种情况下，不适合依据传统的平均运行链长(包括受控平均运行链长及失控平均运行链长)来进行控制图的设计。因此，本申请提出“给定区间误警率”(记为PASP)的概念，依据此概念进行控制图的设计并进行监控。根据产品实际制造过程确定给定区间长度，并根据给定区间确定误警率PASPnom，其确定方法如下：
给定一个正态分布的均值和标准差，以其正负三倍标准差为控制限。在一次仿真中，在给定区间内随机生成服从于该正态分布的数据，若超出控制限，则标记此次仿真为失控状态。进行多次仿真后(仿真次数记为n),失控的仿真次数共为d次，则在该给定区间下的误警率PASPnom＝d/n。
步骤七：确定控制图上限
使用仿真的方法确定控制图上限，设定仿真次数(记为n)，其中一次仿真的过程如下：
以步骤三中的理想图像为标准，在给定区间内，向图像中添加噪声(例如：泊松噪声)，模拟制造过程得到的受控状态下的图像仿真数据，即可得到数量与给定区间相等的多幅受控图像。可按照前述步骤四划分图像，及步骤五计算仿真的每幅图像数据的极大似然率统计量。
选取阈值hGLR的一个初值。在每一次仿真下，若在该次仿真中存在任意一幅图像的极大似然率统计量超过阈值hGLR，则将此次仿真标记为误警状态。
仿真全部结束后，处于误警状态的次数总和记为d，则在该阈值hGLR及给定区间下，PASP＝d/n。通过调整hGLR，使得仿真得到的PASP与可接受的误警率PASPnom相等，或者与其相差在可允许范围内(如两者误差小于0.02)，则此hGLR即是控制图的上限。
步骤八：绘制控制图
按照产品制造过程的图像序数，绘制控制图，图上每个点的横坐标表示为图像序数，纵坐标是该幅图像对应的极大似然率统计量，与hGLR值相等的水平线是阈值线。当绘制的点超出阈值时，发出报警信号。
本发明优点及有益效果在于：在一些情况下，产品的制造过程并不是持续进行的，而是在给定区间内截止，在这种情况下，无法按照传统的统计过程监控方法基于平均运行链长进行控制图的设计。本申请提出的方法，填补了统计过程监控方法在给定区间进行监控的领域空白。
附图说明：
图1所示为本发明方法流程图。
图2所示为划分图像。
图3所示为本发明实施例中的理想图像。
图4所示为本发明实施例步骤一中的受控状态下的图像。
图5所示为本发明实施例步骤一中的失控状态下的图像。
图6所示为本发明实施例步骤八中的控制图。
具体实施方式：
具体实施方式选取熔融沉积成型产品的制造过程中进行统计质量监控为例，属于产品制造过程中的质量控制领域。在熔融沉积成型产品的制造过程中，可能因为设备的老化、制造环境及过程参数的波动等因素，导致产品的制造过程发生变异，如熔融沉积成型设备喷头移动速度增加或挤出材料的减小，从而造成了产品会出现欠填充的缺陷。针对此问题，本发明方法给出解决方案，基于熔融沉积成型产品的图像数据，对制造过程进行实时监控，当制造过程发生变异、产品产生缺陷时及时报警，以及时提示制造人员进行诊断和修正，使制造过程恢复正常状态。
下面结合附图1-6对比本发明的技术方案做进一步说明。在本实施例中附图2-5为灰度图，为符合专利法要求将其处理为黑白图。
实验设计：
在熔融沉积成型产品的制造过程中，产品分层制造。当一个产品的设计被确定后，产品的总层数也被确定，当产品制造达到总层数后即截止。则本实施例中，产品总层数即为给定区间。在熔融沉积成型产品的制造过程中，随着设备退化、环境因素波动等情况，可能使得制造过程发生偏移，产品产生缺陷，其中产品的欠填充即是最常见的一种缺陷。
作为仿真案例，选取实际制造过程中处于稳定受控状态下的一幅图像，经过图像预处理后，将其作为理想图像，如图3。
本发明的一种基于图像数据及给定区间误警率的统计过程监控方法，具体应用如下：
步骤一：采集熔融沉积成型产品每层的图像。
作为仿真案例，通过直接向理想图像添加泊松噪声，生成模拟受控状态下的图像，共生成5层受控图像，如图4；从第6层图像开始，向理想图像添加泊松噪声后，减小部分区域的像素的亮度值，模拟失控状态下的图像，如图5。可以看到失控状态图像的中部区域比受控状态下的图像的相应区域较暗，这与实际过程中欠填充的缺陷类型是相符合的。按照如下步骤二至步骤八对图像进行实时监控，若图像的极大似然率统计量超过控制限，则停止生成图像；若图像的极大似然率统计量不超过控制限，则继续按此方法生成图像，直到给定区间(层数达到70层)。
步骤二、三：图像预处理和理想图像的选取。
根据实验设计，在本仿真例中，选取实际制造过程中处于稳定受控状态下的一幅图像，经过图像预处理后，将其作为理想图像，此过程中已包含图像预处理(步骤二)和理想图像的获取(步骤三)。
步骤四：划分区块
对于选取的图像为250*250像素大小。按照如下规则进行固定区块的划分：
将图像平均划分为不重叠的10*10个小区域。在每个小区域内，以该小区域的中心点为中心，以22*22像素的矩形为划分的初始区块。在矩形区块的每一边，以2像素为步长逐渐扩大区块得到新的矩形区块，直到新区块的边缘到达图像边界，或者与图像边界距离少于2个像素。在一幅图像上最终划分区块总共得1580个。如图2所示为图像左上角的小区域内的区块划分(示意图)。
步骤五：极大似然率统计量的计算。
按照具体实施方式中的步骤五进行极大似然率统计量的计算。
步骤六：确定给定区间误警率
使用选取的理想图像，直接添加泊松噪声，生成1000幅稳定受控状态下的图像。对于各个区块位置，计算这1000幅图像在各区块上平均像素亮度值的参数Xk和
通过仿真的方法确定给定区间误警率。给定一个正态分布的均值和标准差，在该分布下以正负3倍标准差为控制限，在给定区间范围内仿真生成满足该正态分布的数据，记录此次仿真是否超出控制限。按此方法进行10000次仿真，记录超出控制限的仿真次数总合d，最终确定给定区间误警率PASPnom=d/10000＝0.17192。
步骤七：确定控制图上限
预估计控制图上限hGLR的初始值。在一次仿真中，使用选取的理想图像，直接向其中添加泊松噪声，模拟生成受控状态的产品图像。对于生成的每一幅图像，按照前述方法计算其极大似然率统计量GLR并与hGLR比较，若GLR>hGLR，则将此次仿真标记为误警状态；若GLR不超过hGLR，则继续生成图像并重复该步骤，直到图像总数达到给定区间则停止。进行一定次数的仿真(在此例中定为1000次)，并计算处于误警状态的仿真次数的总和，记为d，则在此hGLR下的给定区间内误警率(记为PASPs)，则PASPs＝d/1000。
比较PASPs与PASPn，调整hGLR使得两者相同或者使得两者差距在可允许的误差范围内(在本实施例中，要求PASPs与PASPn的误差在0.02以内)，则此时的hGLR即为控制图上限。
步骤八：绘制控制图
对步骤一采集的每层图像进行极大似然率统计量计算，并将该值绘制到控制图上。图上每个点(带有“*”号)的横坐标表示为图像序数，纵坐标是该幅图像对应的极大似然率统计量，与hGLR值相等的水平线是阈值线，如图6所示。

Claims (9)

1.一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于，包括如下步骤：
步骤一：采集图像
在制造过程中，每隔预设的时间间隔，采集一幅产品图像，将图像数据实时存储并按顺序编号为1,2,…；以下将图像所对应的编号称为“图像序数”；
步骤二：图像预处理
对实时获取的产品图像数据，进行图像预处理，使获得的图像的背景具有一致性；
步骤三：受控图像及理想图像的获取
根据产品在实际制造过程中所产生的大量受控图像数据，经过步骤二的方法对这些受控图像进行图像预处理步骤后，获得一幅理想图像；
步骤四：划分区块
产品质量发生缺陷的区域处，其产品图像的像素点亮度值将会偏高或偏低于正常波动范围；根据这一规律，按照预设的区块的位置、形状、数量及交叠情况等，对图像进行划分；
步骤五：极大似然率统计量计算
将一幅图像划分为多个区块，对一幅图像的各个区块分别进行监控，选取其中最有可能发生变异的区块；
对于每一幅新增加的产品图像，称为“当前图像”，其图像序数记为t，通过上述“划分区块”的过程得到p个区块，并依序对每个区块进行编号，记为“区块序数”，记为k＝1,2,…,p；当前图像t中区块k内的像素的实际平均亮度值，记为Ytk；以此类推，得到每个区块内的像素的平均亮度值；对每一幅当前图像t，得到其每个区块的平均亮度值数据，如下：
Yt＝(Yt1，Yt2，...，Ytk，...，Ytp) (1)
其中t为当前图像，p为当前图像中标记的区块；
对于每一幅当前图像t，理想状态下区块k内的平均亮度值应服从于正态分布，其中，Xk为稳定受控状态下区块k的像素亮度值均值，为区块k内图像像素平均亮度值波动的方差；据步骤三，通过已有的处于受控状态下的产品图像或者理想图像，得到在区块k内，受控状态下产品图像的像素平均亮度值；从步骤三中大量受控图像对应区块的像素亮度值中获得；如果制造过程发生了变异，则μ1，k代表制造过程发生变异后区块k内的亮度均值，其值未知；根据工程经验，假设在制造过程中不发生变化；
对制造过程实时采集的产品图像进行实时监控；假设当前获得产品的第s层的图像，记为图像s，则得到一个关于图像序数与区块序数的序列Y1，Y2，...，YS，该序列的每一个分量为一个向量，根据公式(1)定义；图像s的区块k的似然率函数定义如下：
如果过程未发生偏移，则图像s的第k区块上的似然函数被定义为：
如果制造过程在图像τ之前，τ＜s，处于稳定的受控状态，在图像τ之后开始发生偏移，则图像s的第k区块上的似然函数被定义为：
则图像s的第k区块上的似然比函数被定义：
对该结果取对数，并且对所有可能发生偏移的区块k(k＝1,2,…,p)及所有可能开始发生偏移的图像数τ(τ＝0,1,…,s-1)进行遍历，取其中的最大值，则得到图像s的极大似然比统计量，其计算公式定义如下：
化简为：
nk为区块k上的像素数量，
对产品图像进行实时监控；随着产品图像增加，公式(2)的计算量将会大大增加，为减小计算量并提高控制图实时监控性能，并不对图像s之前的所有历史图像进行遍历，假设仅图像s之前的m幅图像产生偏移，即自图像s-m+1开始发生偏移；若s<m，则假设自第1幅图像开始发生偏移，则改进公式(2)得到：
当Rm，s＞hGLR时认为发生异常并报警，同时记录下和因此，式(3)表述为：其中，hGLR是控制图上限，由步骤七得到；
是开始发生漂移的图像序数,是发生漂移的区块；
步骤六：确定给定区间误警率
在传统的制造过程中，产品制造过程持续进行；但是在一些情况下，产品的制造在一定区间内进行，过程将会在达到这一区间后截止，本申请将该区间定义为“给定区间”；在这种情况下，不适合依据传统的平均运行链长来进行控制图的设计；因此，提出“给定区间误警率PASP”的概念，依据此概念进行控制图的设计并进行监控；根据产品实际制造过程确定给定区间长度，并根据给定区间确定误警率PASPnom，其确定方法如下：
给定一个正态分布的均值和标准差，以其正负三倍标准差为控制限；在一次仿真中，在给定区间内随机生成服从于该正态分布的数据，若超出控制限，则标记此次仿真为失控状态；进行多次仿真后,失控的仿真次数共为d次，则在该给定区间下的误警率PASPnom＝d/n；n为仿真次数；
步骤七：确定控制图上限
使用仿真的方法确定控制图上限，设定仿真次数，其中一次仿真的过程如下：
以步骤三中的理想图像为标准，在给定区间内，向图像中添加噪声，模拟制造过程得到的受控状态下的图像仿真数据，得到数量与给定区间相等的多幅受控图像；按照前述步骤四划分图像，及步骤五计算仿真的每幅图像数据的极大似然率统计量；
选取阈值hGLR的一个初值；在每一次仿真下，若在该次仿真中存在任意一幅图像的极大似然率统计量超过阈值hGLR，则将此次仿真标记为误警状态；
仿真全部结束后，处于误警状态的次数总和记为d，则在该阈值hGLR及给定区间下，PASP＝d/n；通过调整hGLR，使得仿真得到的PASP与可接受的误警率PASPnom相等，或者与其相差在可允许范围内，则此hGLR即是控制图的上限；
步骤八：绘制控制图
按照产品制造过程的图像序数，绘制控制图，图上每个点的横坐标表示为图像序数，纵坐标是该幅图像对应的极大似然率统计量，与hGLR值相等的水平线是阈值线；当绘制的点超出阈值时，发出报警信号。
2.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：预设的时间间隔为每隔1秒获取一张图像。
3.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：图像预处理包括去除图像背景影响、去除噪声、平衡光照、归一化图像大小及分辨率，以及颜色空间变换。
4.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：获得理想图像采用图像之间的相似度计算、对多幅图像进行亮度平均、图像亮度取最大或最小值的方法。
5.根据权利要求1或4所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：该图像为稳定受控状态下的典型产品图像。
6.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：步骤四中，采用的250像素*250像素图像，将图像平均分成不重叠的10*10个小区域；在每个小区域内，以该小区域的中心点为中心，按22像素*22像素的矩形区块为基础区块，矩形区块的四条边每次向外增加2个像素形成新的区块，直到形成的区块任意一条边到达图像边界或者与图像边界距离少于2个像素；对10*10个小区域，分别进行上述划分区块的过程。
7.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：一定区间指产品的数量，或者制造过程持续的时间。
8.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：噪声为泊松噪声。
9.根据权利要求1所述的一种基于图像数据及给定区间误警率的统计过程监控方法，其特征在于：允许范围内是两者误差小于0.02。
CN201811619385.4A 2018-12-28 2018-12-28 一种基于图像数据及给定区间误警率的统计过程监控方法 Active CN109685799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811619385.4A CN109685799B (zh) 2018-12-28 2018-12-28 一种基于图像数据及给定区间误警率的统计过程监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811619385.4A CN109685799B (zh) 2018-12-28 2018-12-28 一种基于图像数据及给定区间误警率的统计过程监控方法

Publications (2)

Publication Number Publication Date
CN109685799A true CN109685799A (zh) 2019-04-26
CN109685799B CN109685799B (zh) 2020-11-13

Family

ID=66190083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811619385.4A Active CN109685799B (zh) 2018-12-28 2018-12-28 一种基于图像数据及给定区间误警率的统计过程监控方法

Country Status (1)

Country Link
CN (1) CN109685799B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016806B2 (en) * 2003-03-31 2006-03-21 Lucent Technologies Inc. Method and apparatus for event monitoring in an information processing system
CN102073054A (zh) * 2010-10-26 2011-05-25 北京航空航天大学 地基增强系统的完好性监测方法
CN102354116A (zh) * 2011-08-05 2012-02-15 北京航空航天大学 一种高质量过程统计控制的ω事件间隔控制图的制作方法
CN102521675A (zh) * 2011-12-02 2012-06-27 吴福平 一种动态质量控制预警系数统计测量方法及其应用
CN102929148A (zh) * 2012-10-26 2013-02-13 西安电子科技大学 基于t-k控制图的多品种生产模式统计过程控制方法
CN103761450A (zh) * 2014-02-24 2014-04-30 中国石油大学(华东) 一种基于模糊自适应预测的动态过程故障预报方法
US20140249656A1 (en) * 2013-03-01 2014-09-04 Semiconductor Manufacturing International (Shanghai) Corporation Method and apparatus for alarm monitoring
CN105204438A (zh) * 2015-07-29 2015-12-30 西安交通大学 一种面向缸盖零件的加工质量控制方法
CN103777519B (zh) * 2014-03-05 2018-03-27 西安诠释软件有限公司 一种基于self‑starting技术的生产过程质量控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016806B2 (en) * 2003-03-31 2006-03-21 Lucent Technologies Inc. Method and apparatus for event monitoring in an information processing system
CN102073054A (zh) * 2010-10-26 2011-05-25 北京航空航天大学 地基增强系统的完好性监测方法
CN102354116A (zh) * 2011-08-05 2012-02-15 北京航空航天大学 一种高质量过程统计控制的ω事件间隔控制图的制作方法
CN102521675A (zh) * 2011-12-02 2012-06-27 吴福平 一种动态质量控制预警系数统计测量方法及其应用
CN102929148A (zh) * 2012-10-26 2013-02-13 西安电子科技大学 基于t-k控制图的多品种生产模式统计过程控制方法
US20140249656A1 (en) * 2013-03-01 2014-09-04 Semiconductor Manufacturing International (Shanghai) Corporation Method and apparatus for alarm monitoring
CN103761450A (zh) * 2014-02-24 2014-04-30 中国石油大学(华东) 一种基于模糊自适应预测的动态过程故障预报方法
CN103777519B (zh) * 2014-03-05 2018-03-27 西安诠释软件有限公司 一种基于self‑starting技术的生产过程质量控制方法
CN105204438A (zh) * 2015-07-29 2015-12-30 西安交通大学 一种面向缸盖零件的加工质量控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEHDI KOOSHA等: "Statistical process monitoring via image data using wavelets", 《WILEY》 *
左玲: "图像数据统计过程控制方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN109685799B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN112085261B (zh) 基于云端融合和数字孪生技术的企业生产现状诊断方法
WO2020052292A1 (zh) 基于工业互联网的集成电路测试信息化管理系统
CN117172414A (zh) 一种基于bim技术的建筑幕墙施工管理系统
CN115062478A (zh) 基于数字孪生的动态车间生产排程调度方法、系统及介质
CN110503638B (zh) 螺旋胶质量在线检测方法
CN114821852B (zh) 基于特征金字塔的电网缺陷深度识别巡查机器人控制系统
CN109978835A (zh) 一种在线装配缺陷识别系统及其方法
CN106373124A (zh) 基于灰度共生矩阵与ransac的工业产品表面缺陷视觉检测方法
CN112184007B (zh) 一种基于数字孪生的车间设备远程诊断方法
CN112017195A (zh) 一种应用于城市轨道交通的智能综合监控系统
Zhao Research on management informatization construction of electric power enterprise based on big data technology
CN116664846B (zh) 基于语义分割实现3d打印桥面施工质量监测方法及系统
CN117454656A (zh) 一种动态环境下的制造系统产能数字孪生预测方法和装置
CN113269435B (zh) 一种新能源场站运行状态耦合监测评估系统
CN109685799A (zh) 一种基于图像数据及给定区间误警率的统计过程监控方法
CN112732541B (zh) 一种用于复杂装备故障诊断的智能判据挖掘系统
CN117455462A (zh) 一种基于修理工艺结构化数据的修理项目信息化管理系统
CN117473439A (zh) 一种无缝钢管连轧生产过程监测与异常追溯方法及系统
CN114663416B (zh) 基于计算机视觉的铜排冷隔缺陷检测方法及系统
CN112035905B (zh) 一种自学习的三维建模方法和系统
CN107515596B (zh) 一种基于图像数据变窗口缺陷监控的统计过程控制方法
Meng et al. Design and implementation of intelligent integrated measuring and controlling system for sugar cane crystallization process
CN110174409B (zh) 一种基于实时检测结果的中厚板周期性缺陷控制方法
Zheng Fuzzy algorithm-based fault analysis for automated production lines
Wang et al. Application of Digital Twin in Power Grid Inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant