CN114651276A - 制造方法 - Google Patents
制造方法 Download PDFInfo
- Publication number
- CN114651276A CN114651276A CN202080074550.1A CN202080074550A CN114651276A CN 114651276 A CN114651276 A CN 114651276A CN 202080074550 A CN202080074550 A CN 202080074550A CN 114651276 A CN114651276 A CN 114651276A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- primary
- production
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 134
- 230000007547 defect Effects 0.000 claims description 44
- 238000007906 compression Methods 0.000 claims description 39
- 230000006835 compression Effects 0.000 claims description 36
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000003908 quality control method Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 13
- 230000002950 deficient Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000003466 welding Methods 0.000 description 9
- 238000011179 visual inspection Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000001747 exhibiting effect Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000012438 extruded product Nutrition 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8803—Visual inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Containers And Plastic Fillers For Packaging (AREA)
- Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
- Extrusion Moulding Of Plastics Or The Like (AREA)
Abstract
本发明涉及一种用于制造诸如管或包装的物体的方法，包括集成到制造方法中的至少一个质量控制，该质量控制在生产期间执行并且连续地执行，该质量控制包括学习阶段和生产阶段。
Description
对应的申请
本申请要求2019年10月15日以AISAPACK HOLDING SA名义提交的早期欧洲申请号19203285.2的优先权，通过引用将该早期申请的内容全文并入本申请中。
技术领域
本发明涉及需要在制造期间进行精细视觉检查的批量制造的物体的领域。本发明更具体地应用于制造需要集成到生产线中的视觉检查的物体的高吞吐量过程。
背景技术
一些图像分析和学习系统和方法在现有技术中是已知的。以下公报中给出了一些示例：WO 2018/112514,WO 2018/200866,WO 2011/115666,WO 2012/164562和WO 2017/052592,WANG JINJIANG等人“Deep learning for smart manufacturing:Methods andapplications”JOURNAL OF MANUFACTURING SYSTEMS,SOCIETY OF MANUFACTURINGENGINEERS,DEARBORN,MI,US,第48卷,2018年1月8日(2018-01-08),第144-156页,MEHMOODKHAN等人：“An integrated supply chain model with errors in quality inspectionand learning in production”，OMEGA.,第42卷，第1期，2014年1月1日(2014-01-01)，第16-24页，WANG TIAN等人：“A fast and robust convolutional neural network-baseddefect detection model in product quality control”，THE INTERNATIONAL JOURNALOF ADVANCED MANUFACTURING TECHNOLOGY,SPRINGER,LONDON,第94卷,第9期,2017年8月15日(2017-08-15),第3465-3471页,JUN SUN等人：“An adaptable automated visualinspection scheme through online learning”，THE INTERNATIONAL JOURNAL OFADVANCED MANUFACTURING TECHNOLOGY,SPRINGER,BERLIN,DE,第59卷,第5-8期,2011年7月28日(2011-07-28),第655-667页。
发明内容
目标、约束和要解决的问题
本发明的目的在于定义用于在生产中量化诸如管的物体的美观的客观准则。目前，这种量化依赖于人类评估，并且其是高度挑战性的。所生产的物体都是不同的，这意味着缺陷的概念是相对的，并且有必要定义什么是或不是与所生产的物体相关的可接受的缺陷，而不是以绝对的方式。
根据本发明，学习阶段使得可以定义什么对于所生产的物体是可接受的“标准”。在本发明中，“可接受或不可接受的缺陷”的概念，也就是说被认为是“良好”或“有缺陷的”的物体的概念，是相对于与在学习期间预定义的标准的一定水平的偏差而定义的。本发明使得可以随着时间的推移保证恒定的质量水平。另外，可以将公式(即先前已经建立的标准)再次用于相同物体的后续生产。
质量水平可以根据观察到的差异通过迭代学习随着时间进行调节：在生产期间，通过“额外”学习来微调由初始学习定义的标准，该“额外”学习考虑了在正常生产阶段中生产的但表现出被认为是可接受的缺陷的物体。因此，必须修改该标准，以便它并入该信息并且该过程不拒绝这些物体。
本发明使得可以在非常短的时间内检查物体，并且为了实现这一性能，本发明使用用于物体的图像的压缩-解压缩模型，如在本申请中详细描述的。
在本发明的框架中，现有的约束和有待解决的问题具体如下：
-视觉检查在物体的制造期间进行，因此检查时间短，因为视觉检查必须不减慢生产吞吐量，或最多对其有轻微的影响；
-美观缺陷是未知的(无缺陷库)；
-美观缺陷因装饰而异；
-缺陷接受水平应当是可调节的。
下面描述的本发明提出的方法使得可以减轻上述缺点并克服所识别的问题。
定义
-物体：在工业生产线上制造的物体
-N：形成一批学习阶段的物体的数量。N也对应于形成一批的次级图像的数量
-初级图像：拍摄的物体或物体的一部分的图像
-K：每个物体的初级图像的数量
-Ak：索引k的初级图像，其中1≤k≤K
-次级图像：初级图像的一部分
-Pk：每个初级图像Ak的次级图像的数量
-Sk,p：与初级图像Ak相关联的索引k的和索引p的次级图像，其中1≤p≤Pk
-模型Fk,p：与次级图像Sk,p相关联的压缩-解压缩模型
-压缩因子Qk,p：模型Fk,p的压缩因子
-重建的次级图像Rk,p：利用相关联的模型Fk,p从次级图像Sk,p重建的次级图像。
本发明的概述
本发明涉及一种用于制造物体(例如包装(诸如管))的方法，该方法包括集成到用于生产所述物体的方法的一个或多个步骤中的视觉检查。根据本发明的制造方法包括用于执行视觉检查的至少两个阶段：
-学习阶段，在该阶段期间，生产被认为是“良好质量”的一批物体，并且在该阶段结束时，基于所述物体的图像来定义准则。
-生产阶段，在该生产阶段期间，使用生产的物体的图像和在学习阶段期间定义的准则来实时量化生产的物体的质量并且控制生产过程。
在学习阶段期间，机器生产N个被认为具有可接受质量的物体。在生产所述物体的过程期间收集一个(K＝1)或几个分离的图像(K＞1)，称为每个物体的一个或多个初级图像。K×N个收集的初级图像经历数字处理，下面将更详细地描述该数字处理，并且该数字处理至少包括以下步骤：
-重新定位每个初级图像Ak；
-将每个初级图像Ak划分为Pk个次级图像，表示为Sk,p，其中1≤k≤K，并且1≤p≤Pk；
-将次级图像分组为多批N个类似图像；
-对于每批次级图像Sk,p：
ο搜索具有压缩因子Qk,p的压缩表示Fk,p；
ο由此从每批次级图像中推导出具有压缩因子Qk,p的压缩-解压缩模型Fk,p。本发明的一个特定情况包括对于所有模型Fk,p具有相同的压缩因子。调节每个模型Fk,p的压缩率Qk,p使得可以调节缺陷的检测水平，并且根据物体的观察区域优化计算时间。
因此，在学习阶段结束时，物体的每个观察区域存在模型Fk,p和压缩因子Qk,p；每个区域由次级图像Sk,p定义。
如下面将更详细解释的，物体的每个次级图像具有其自己的大小。本发明的一个特定情况包括使所有的次级图像具有相同的尺寸。在一些情况下，能够局部地减小次级图像的尺寸以便检测较小的缺陷是有利的。通过联合调节每个次级图像Sk,p的尺寸和压缩因子Qk,p，本发明使得可以优化计算时间，同时维持调节到与制造产品相关联的要求水平的高性能检测水平。本发明使得可以局部地使检测水平适应于观察区域的临界水平。
在生产阶段期间，使用每个物体的K个所谓的“初级”图像来实时检查生产的物体的质量，从而使得可以尽可能早地从生产中去除任何有缺陷的物体和/或当观察到偏差时调节过程或机器。
为了实时检查生产的物体，经由本申请中描述的方法关于在学习阶段期间获取的一组初级图像来评估所述物体的K个初级图像，从该组初级图像中提取压缩-解压缩函数和压缩因子，并将其应用于所述生产的物体的图像。在生产阶段期间获取的图像与在学习阶段期间获取的图像之间的这种比较引起每个物体的一个或多个分数的确定，分数的值使得可以相对于与视觉质量水平对应的阈值来分类物体。通过分数的值和预定阈值，能够从生产过程中去除有缺陷的物体。可以使用其它阈值来检测制造过程的偏差，并且允许在形成有缺陷物体之前校正该过程或者对生产工具进行干预。
本发明的一部分在于分数的计算，该计算使得可以通过一个或多个数值来量化生产中的物体的视觉质量。计算生产中的每个物体的分数需要以下操作：
-获取生产中的物体的初级图像Ak；
-相对于相应的参考图像重新定位每个初级图像；
-使用与在学习阶段期间实施的分解相同的分解将K个初级图像划分成次级图像Sk,p；
-使用在学习阶段期间定义的模型Fk,p和因子Qk,p来计算每个次级图像Sk,p的重建图像Rk,p；
-通过比较次级图像Sk,p与重建的次级图像Rk,p来计算每个次级图像的重建误差。因此，物体的一组次级图像给出了一组重建误差。
-根据重建误差计算物体的分数。
使用具有压缩因子Qk,p的数值模型Fk,p使得能够大大减少计算时间，并且最终使得可以在制造过程期间检查物体的质量并控制该过程。该方法特别适用于以高生产吞吐量制造物体的过程。
本发明有利地用在包装领域中，以检查例如旨在用于化妆品的包装的质量。本发明特别有利于例如制造化妆品管或瓶。
本发明可以用于连续制造过程。例如在制造包装管的过程中就是这种情况，在该过程中，连续焊接多层片材以形成管状体。连续检查所制造的管体、特别是焊接区域的美观是非常有利的。
本发明可以用于不连续的制造过程。例如在索引装置中的产品制造中就是这种情况。这是例如通过焊接将管头组装在管体上的过程。本发明特别有利于在组装过程中检查管体与管头之间的焊接区域的视觉质量。
本发明主要针对自动化生产线中的物体制造过程。本发明特别适合于以高生产吞吐量制造物体，诸如在包装部门或任何其它具有高生产吞吐量的部门中生产的物体。
根据本发明，不需要缺陷库来定义缺陷的位置、或缺陷的几何形状、或缺陷的颜色。一旦已经执行了学习过程，就在生产期间自动检测缺陷。
在一个实施方式中，用于制造诸如管或包装的物体的方法包括集成到制造方法中的至少一个质量检查，该质量检查在生产期间执行并且连续地执行，该质量检查包括学习阶段和生产阶段。学习阶段至少包括以下步骤：
-)生产被认为是可接受的N个物体；
-)拍摄N个物体中的每一个的至少一个参考初级图像(Ak)；
-)将每个参考初级图像(Ak)划分为(Pk)个参考次级图像(Sk,p)；
-)将对应的参考次级图像分组为多批N个图像；
-)确定每批具有压缩因子(Qk,p)的压缩-解压缩模型(Fk,p)。
生产阶段至少包括以下步骤：
-)拍摄生产中的至少一个物体的至少一个初级图像；
-)将每个初级图像分成次级图像(Sk,p)；
-)将在学习阶段中定义的压缩-解压缩模型和压缩因子应用于各个次级图像(Sk,p)，以便形成重建的次级图像(Rk,p)；
-)计算每个重建的次级图像Rk,p的重建误差；
-)基于重建误差为每个物体分配一个或多个分数；
-)基于一个或多个分配的分数确定生产的物体是否成功通过质量检查。
在实施方式中，在(在学习和/或生产阶段中)拍摄至少一个初级图像的步骤之后，重新定位每个初级图像。
在实施方式中，例如数字地处理每个初级图像。处理操作可以例如涉及数字滤波器(诸如高斯模糊)和/或边缘检测，和/或掩模应用，以便隐藏图像的某些区域，诸如背景或不感兴趣的区域。
在其他实施方式中，对一个或多个初级图像执行多重分析。多重分析包括同时对同一初级图像应用多个处理操作。由此，“母”初级图像可以根据所执行的分析的数量而产生多个“子”初级图像。例如，“母”初级图像可以经历利用高斯滤波器的第一处理操作，产生第一“子”初级图像，并且经历利用索贝尔滤波器的第二处理操作，产生第二“子”初级图像。两个“子”初级图像经历本发明中定义的用于初级图像的相同数字处理操作。由此，每个“子”初级图像可以与一个或多个分数相关联。而且，在最初拍摄的初级图像中(在学习阶段和生产阶段)，可以决定对所有初级图像应用多重分析，或者仅对其中的一些(或者甚至仅对一个初级图像)应用多重分析。接下来，所有的初级图像(由多重分析产生的“子”图像以及其它还没有应用多重分析的图像)都用根据本发明的方法进行处理。
当在物体上寻找非常不同的缺陷时，多重分析是有益的。由此，多重分析使得可以使图像的分析适应于所寻找的缺陷。该方法允许对各种类型的缺陷有更大的检测精细度。
在实施方式中，压缩因子在5至500000之间，优选在100至10000之间。
在实施方式中，压缩-解压缩函数可以从主成分分析(“PCA”)确定。
在实施方式中，压缩-解压缩函数可以由自动编码器确定。
在实施方式中，压缩-解压缩函数可以使用被称为“OMP”(正交匹配追踪)算法的算法来确定。
在实施方式中，重建误差可以使用欧几里德距离和/或闵可夫斯基距离和/或切比雪夫方法来计算。
在实施方式中，分数可以对应于重建误差的最大值和/或重建误差的平均值和/或重建误差的加权平均值和/或欧几里德距离和/或p距离和/或切比雪夫距离。
在实施方式中，N可以至少等于10。
在实施方式中，拍摄至少两个初级图像，初级图像具有相同尺寸或不同尺寸。
在实施方式中，每个初级图像可以被分成P个相同尺寸或不同尺寸的次级图像。
在实施方式中，次级图像S可以重叠或不重叠地并置。
在实施方式中，一些次级图像可以重叠地并置，而其他次级图像可以不重叠地并置。
在实施方式中，次级图像可以具有相同的尺寸或不同的尺寸。
在实施方式中，在制造过程中可以执行至少一次集成质量检查。
在实施方式中，学习阶段可以在生产期间对生产中的物体进行迭代和重复，以便考虑不被认为是缺陷的差异。
在实施方式中，重新定位可以是考虑分布在图像上的预定数量的兴趣点和描述符，并且确定最小化兴趣点处的叠加误差的参考图像与初级图像之间的相对位移。
在实施方式中，兴趣点可以随机地分布在图像中或图像的预定区域中。
在实施方式中，兴趣点的位置可以是任意预定的或非任意预定的。
在实施方式中，兴趣点可以使用被称为“SIFT”或“SURF”或“FAST”或“ORB”的方法之一来检测；并且描述符由方法“SIFT”或“SURF”或“BRIEF”或“ORB”之一来定义。
在实施方式中，图像可以沿着至少一个轴线重新定位和/或图像可以重新定位为围绕垂直于由图像形成的平面的轴线旋转和/或图像可以通过组合平移和旋转移动来重新定位。
附图说明
图1至图7用于例示本发明。
·图1是制造的物体的一个示例；
·图2示出了在学习阶段期间拍摄的初级图像；
·图3例示了初级图像到次级图像的划分；
·图4示出了学习阶段，并且特别示出了形成多批次级图像，以便最终获得每批的压缩-解压缩模型；
·图5例示了在生产阶段中压缩-解压缩模型的使用；
·图6以框图的形式描述了学习阶段的主要步骤；以及
·图7以框图的形式描述了生产阶段的主要步骤。
具体实施方式
图1例示了制造的物体1。为了例示本发明并使本发明更容易理解，作为非限制性示例，在物体上示出了三种装饰图案。本发明使得可以检查正在生产的物体上的这些图案的质量。本发明使得可以检查任何类型的物体或物体的一部分。根据图1所示的示例，物体可以被认为是单位部分。在其它过程中，诸如通过焊接展开并在连续过程中形成的印刷层压件来制造管，物体由形成的管上的重复装饰图案的大小限定。在限定物体的尺寸将是复杂的另一场景中，例如用于片材或管的连续挤出过程，物体可以由所挤出产品的定期拍摄的图像的大小任意限定。
图2例示了在学习阶段期间拍摄的物体的初级图像的一个示例。在这个学习阶段期间，生产了N个被认为具有可接受质量的物体。为了便于例示本发明，在图2中仅以示例的方式示出了4个物体。为了获得鲁棒模型，在学习阶段期间所需的物体的数量应当大于10(也就是说N＞10)，并且优选地大于50(也就是说N＞50)。当然，这些值是非限制性示例，并且N可以小于或等于10。图2示出了3个初级图像A1、A2和A3，分别示出了印刷在物体上的不同图案。在本发明的公开中，术语Ak用于表示物体的初级图像，图像的索引k在1至K之间变化；并且K对应于每个物体的图像的数量。
如图2例示，初级图像Ak的尺寸不必相同。在图2中，初级图像A2小于初级图像A1和A3。这使得例如可以具有清晰度更好(像素数更多)的图像A2。初级图像可以覆盖物体1的整个表面，或者相反，仅部分地覆盖其表面。
如图2例示，初级图像Ak以物体的特定区域为目标。本发明在初级图像的尺寸、位置和数量方面的这种灵活性使得可以优化计算时间，同时在检查最关键区域中的视觉质量方面维持高准确度。
图2还例示了产生从一个物体到另一个物体类似的图像A1的需要。这需要在适当的位置放置适当的装置，以便在拍摄图像Ak时重复地定位物体或相机。
如将在本发明的公开中稍后解释的，尽管有为了从一个图像到另一个图像重复而实施的装置，但是通常需要相对于参考图像重新定位初级图像，以便克服在工业制造过程中拍摄图像所固有的变化以及所生产的物体所固有的变化。图像以高准确度重新定位，因为图像的小元素(例如像素)用于执行这种重新定位。
图3示出了初级图像到次级图像的划分。由此，如图3例示，初级图像A1被划分为4个次级图像S1,1、S1,2、S1,4和S1,4。由此，每个初级图像Ak被分解为Pk个次级图像Sk,p，其划分索引p在1至Pk之间变化。
如图3例示，次级图像的尺寸不必相同。以示例的方式，图3示出了次级图像S1,2和S1,3小于次级图像S1,1和S1,4。这使得可以在次级图像S1,2和S1,3中具有更准确的缺陷搜索。
同样如图3所示，次级图像不必覆盖整个初级图像Ak。以示例的方式，次级图像S2,p仅部分地覆盖初级图像A2。通过减小次级图像的尺寸，分析集中在物体的特定区域中。仅分析由次级图像覆盖的物体的区域。
图3例示了本发明使得可以通过调节次级图像Sk,p的数量、尺寸和位置来局部调节物体的美观的检查水平。
图4例示了学习阶段，并且特别例示了多批次级图像的形成，以便最终获得每批的具有压缩因子的压缩-解压缩模型。
图4示出了对N个类似的次级图像Sk,p进行分组以形成一批。每批被单独处理，并且用于创建具有压缩因子Qk,p的压缩-解压缩模型Fk,p。由此，以示例的方式并且如图3例示，N＝4个次级图像S3,3用于创建具有压缩因子Q3,3的模型F3,3。
图5例示了在生产阶段中使用源于学习阶段的压缩-解压缩模型。在生产阶段，使用在学习阶段确定的各个模型Fk,p来计算被制造的物体的每个次级图像Sk,p的重建图像。因此，物体的每个次级图像经历利用由学习阶段产生的不同压缩因子和模型的压缩-解压缩操作。每个压缩-解压缩操作给出重建图像，该重建图像可以与从中产生该重建图像的次级图像进行比较。比较次级图像Sk,p和其重建图像Rk,p使得可以计算将用于定义分数的重建误差。
图5以例示性示例的方式例示了使用模型F3,3及其压缩因子Q3,3从次级图像S3,3获得重建图像R3,3的特定情况。
图6示出了根据本发明的学习阶段的主要步骤。在学习阶段开始时，生产N个被认为具有可接受质量的物体。所述物体的定性和/或定量评估可以使用视觉检查过程或使用由公司定义的方法和装置来执行。因此，为学习阶段产生的物体的数量可以等于N或大于N。图6所例示的学习阶段至少包括以下步骤：
·在被认为具有良好质量的物体的制造期间获取所述物体的K×N个所谓的“初级”图像。根据物体上待分析区域的大小和期望检测的缺陷的尺寸，每个物体可以与一个(K＝1)或几个(K>1)不同的初级图像相关联。实施适合于工业环境的照明和放大条件，以便允许在相对恒定的光环境中拍摄图像。可以实施已知的照明优化技术，以便避免与环境相关联的反射现象或干扰。可以采用许多常用的解决方案，例如使得可以避免外部光干扰的隧道或黑盒、和/或具有特定波长的光和/或具有掠光或间接照明的照明系统。当在同一物体上拍摄若干初级图像时(K＞1)，所述初级图像可以是隔开的、并置的或甚至重叠的。当期望避免切割可能在两个图像之间发生的潜在缺陷和/或补偿与重新定位图像的步骤相关联的图像边缘上的信息损失时，初级图像的重叠可能是有用的。这些技术也可以根据初级图像和其中包含的信息来组合。例如，还可以使用光学或数字滤波器对图像进行预处理，以便增加对比度。
·接下来，相对于参考图像重新定位初级图像。通常，在学习阶段期间生产的任何物体的初级图像可以用作参考图像。优选地，在学习阶段期间生产的第一物体的初级图像用作参考图像。用于重新定位初级图像的方法在本申请的描述中稍后详细描述。
·然后，将每个初级图像Ak分成Pk个图像，称为“次级”图像。划分图像可以导致小于初级图像的分析区域。当先验地知道在物体的哪个区域寻找可能的缺陷时，减小分析区域可能是有益的。例如，对于通过焊接制造的并且寻找与焊接操作相关联的缺陷的物体，情况就是这样。次级图像可以彼此隔开，在它们之间留下“未分析”区域。例如，当缺陷出现在目标区域中时，或者当缺陷重复地和连续地出现时，可以使用这种场景。减小分析区域使得可以减少计算时间。作为另选方案，可以叠加次级图像。当在两个次级图像之间的接合处出现缺陷时，次级图像的重叠使得可以避免将所述缺陷切割成两个部分。当寻找小的缺陷时，次级图像的重叠特别有用。最后，次级图像可以并置而没有间隔或重叠。初级图像可以被分成相同或可变尺寸的次级图像，并且也可以根据所寻找的缺陷而结合用于次级图像的相对定位(隔开的、并置的或叠加的)的技术。
·下一步骤包括将对应的次级图像分组为多个批次。从K×N个初级图像获得的次级图像产生了一组次级图像。从这组次级图像，可以形成包含N个对应的次级图像(具体是各个物体的相同的次级图像Sk,p)的批次。由此，N个次级图像S1,1被分组为一批。这同样适用于N个图像S1,2，然后适用于N个图像S1,3，依此类推，适用于所有图像Sk,p。
·下一步骤包括找到每批次级图像的压缩表示。这个操作是本发明的关键步骤。该操作特别包括获得表征所述批次的具有压缩因子Qk,p的压缩-解压缩模型Fk,p。模型Fk,p将用于在生产阶段期间检查物体的质量。这由此对于一批次级图像S1,1给出了具有压缩因子Q1,1的模型F1,1。同样，对于一批图像S1,2获得模型F1,2；然后，对于一批图像S1,3获得模型F1,3；依此类推，对于各批图像Sk,p获得模型Fk,p。
·每批次级图像Sk,p的压缩因子Qk,p的选择取决于可用的计算时间和期望检测的缺陷的尺寸。
·在学习阶段结束时，存在与生产的物体的视觉质量相关联的具有压缩因子Qk,p的一组模型Fk,p。
根据本发明，学习阶段的结果(即模型Fk,p和压缩因子Qk,p)可以被保持为“公式”，并且在以后再次生产相同物体时重新使用。由此，相同质量的物体可以在以后再次使用预定公式来再现。这也使得可以避免在所述相同物体的每次生产开始之前再次执行学习阶段。
根据本发明，可以在生产期间进行迭代学习。由此，在生产期间，例如可以用新物体进行额外(或补充)学习，并且将这些物体的图像添加到在学习阶段中最初考虑的物体的图像。可以从该新的一组图像执行新的学习阶段。如果在生产期间出现物体之间的差异并且该差异不被认为是缺陷，则自适应学习是特别合适的。换言之，与初始学习阶段中相同，这些物体被认为是“良好的”，并且优选地考虑这一点。在这种场景中，为了避免将包括表现出这种差异的物体的高拒绝率，迭代学习是必要的。迭代学习可以以许多方式执行，例如通过将新图像与先前学习的图像累积；或者通过重新开始利用新学习的图像进行学习；或者甚至仅保留一些初始图像和新图像。
根据本发明，迭代学习由与物体的拒绝相关联的指示触发。该指示例如是每单位时间的拒绝数量或生产的每一定数量的物品的拒绝数量。当该指示超过固定值时，警告操作者，并且操作者决定拒绝率的增加是需要机器调节(因为差异是缺陷)还是需要新的学习(因为差异不是缺陷)。
图7示出了物体生产阶段的主要步骤。生产阶段在学习阶段之后开始，也就是说，当可接受“质量”的物体的特性准则已经如上所述被定义时开始。本发明使得可以从生产批次中实时地去除有缺陷的物体，并且当观察到生产质量的偏差时避免产生过多的废物。本发明还使得可以实时地发信号通知生产过程的偏差，并且预测有缺陷物体的生产。实际上，然后可以作用于生产工具(诸如机器)上，以便校正生产过程并校正检测到的缺陷，或校正偏差。图7所例示的根据本发明的生产阶段至少包括以下操作：
·获取制造的物体的K个初级图像。以与在学习阶段拍摄的图像相同的方式拍摄物体的图像：拍摄区域以及照明、放大和调节条件与学习阶段期间使用的条件相同。
·相对于参考图像重新定位K个图像。重新定位操作的目的是克服期望比较的图像之间的轻微偏移。这些偏移可以与振动相关联，或者甚至与物体与成像装置之间的相对移动相关联。
·然后将生产中的物体的每个初级图像Ak划分成Pk个次级图像。该划分以与在学习阶段中进行的图像划分相同的方式来执行。因此，在该划分结束时，生产中的每个物体存在一组次级图像Sk,p。
·然后，利用在学习阶段期间预定义的具有压缩因子Fk,p的模型Fk,p对每个次级图像Sk,p进行压缩-解压缩。该操作产生了针对每个次级图像Sk,p的重建图像Rk,p。由此，这对于生产的物体给出了能够与所述物体的次级图像进行比较的重建图像。从数字的观点来看，术语“次级图像的重建”的使用不一定意味着在该术语的严格意义上获得新图像。由于目的最终是通过压缩-解压缩函数和压缩因子将生产的物体的图像与在学习阶段中获得的图像进行比较，因此仅对这些图像之间的差异进行量化是确实有用的。出于计算时间的原因，可以做出选择以在表示重建图像并且足以量化次级图像与重建图像之间的差异的数字物体处绘制限值。使用模型Fk,p是特别有利的，因为它使得可以在与生产要求和吞吐量相容的非常短的时间内执行这种比较。
·可以从次级图像和重建的次级图像的比较中计算重建误差。用于量化该误差的优选方法是计算均方误差，但是其它等同方法也是可能的。
·因此，对于每个物体，存在次级图像和重建图像，并且因此存在重建误差。根据该组重建误差，可以为生产的物体定义一个或多个分数。多种计算方法可以用于计算物体的分数，该分数表征了其相对于所学习的批次的相似性或差异。由此，根据本发明，视觉上远离学习批次的物体由于其表现出缺陷而将具有一个或多个高分。相反，视觉上接近学习批次的物体将具有一个或多个低分，并且将被认为是具有良好质量或可接受的质量。用于计算物体的一个或多个分数的一个优选方法包括取重建误差的最大值。其他方法包括组合重建误差，以便计算物体的一个或多个分数的值。
·下一步骤包括从生产批次中去除有缺陷的物体。如果物体的一个或多个分数的值低于一个或多个预定义的限值，则被评估的物体满足在学习阶段中定义的视觉质量准则，并且物体被保持在生产流程中。相反，如果物体的一个或多个分数的一个或多个值大于所述一个或多个限值，则从生产流程中去除该物体。当从生产流程中去除几个连续的物体时，或者当拒绝率变高时，可以考虑对过程的校正动作或对生产机器的干预。
下面更详细地概括并呈现本发明的步骤。
重新定位初级图像
根据本发明的图像重新定位方法包括两个步骤：
-在图像中搜索兴趣点和描述符。
-基于兴趣点和描述符相对于参考图像重新定位拍摄的图像。
典型地，如本申请中描述的，在学习阶段中拍摄的第一图像或另一图像上定义一个或多个参考图像。第一步骤包括定义图像上的兴趣点和与兴趣点相关联的描述符。兴趣点例如可以是图像上存在的形状中的角部分，并且它们也可以是在强度或颜色方面具有高对比度的区域，或者兴趣点甚至可以随机地选择。然后，通过定义这些兴趣点的特征的描述符来表征所识别的兴趣点。
优选地，使用适当的算法自动确定兴趣点；然而，一种另选方法包括任意地预定义兴趣点的位置。
用于重新定位的兴趣点的数量是可变的，并且取决于每个兴趣点的像素数量。用于定位的像素的总数通常在100至10000之间，并且优选地在500至1000之间。
用于定义兴趣点的第一方法包括随机地选择这些点。这相当于随机定义被称为兴趣点的像素的百分比，描述符是所述像素的特征(位置、颜色)。该第一方法特别适合于工业生产的情况，尤其是在可用于计算的时间非常有限的高吞吐量制造过程的情况下。
根据第一方法的第一实施方式，兴趣点在图像中随机分布。
根据第一方法的第二实施方式，兴趣点随机地分布在图像的预定义区域中。当先验地知道在哪里将出现任何缺陷时，该第二实施方式是有利的。例如对于焊接过程就是这种情况，在该焊接过程中，主要在受焊接操作影响的区域中预计所述缺陷。在这种场景中，将兴趣点定位在受焊接操作影响的区域之外是有利的。
用于定义兴趣点的第二种方法基于被称为“SIFT”(“尺度不变特征变换”，参见公报US 6,711,293)的方法，也就是说，一种使得可以独立于尺度而保持图像的相同视觉特征的方法。该方法包括计算图像的兴趣点处的所述图像的描述符。这些描述符对应于从图像的局部分析导出的数字信息，并且独立于尺度来表征图像的视觉内容。该方法的原理包括检测在图像上的兴趣点周围定义的区域；所述区域优选地是具有被称为尺度因子的半径的圆形。在这些区域中的每一个中，寻找形状和它们的边缘，然后定义边缘的局部取向。在数字上，这些局部取向转变成构成兴趣点的“SIFT”描述符的向量。
用于定义兴趣点的第三种方法基于“SURF”(“加速鲁棒特征”，参见公报US 2009/0238460)方法，也就是说用于定义兴趣点和描述符的加速方法。该方法类似于“SIFT”方法，但是具有执行速度的优点。像“SIFT”一样，该方法包括提取兴趣点和计算描述符的步骤。“SURF”方法使用快速海森来检测兴趣点，并且使用哈尔小波的近似来计算描述符。
用于基于“FAST”(加速段测试的特征)方法搜索兴趣点的第四种方法包括识别潜在的兴趣点，然后分析位于所述兴趣点周围的像素的强度。该方法使得可以非常快速地识别兴趣点。描述符可以通过“BRIEF”(二进制鲁棒独立基本特征)方法来识别。
图像重新定位方法的第二步骤包括使用兴趣点及其描述符将初级图像与参考图像进行比较。获得最佳重新定位是通过搜索两个图像的描述符之间的最佳对齐来实现的。
图像的重新定位值取决于制造过程，并且特别取决于拍摄图像时物体的空间定位的准确度。取决于场景，图像可能需要沿着单个轴线、沿着两个垂直轴线重新定位，或者甚至围绕垂直于由图像形成的平面的轴线旋转地重新定位。
图像的重新定位可以由平移和旋转移动的组合产生。通过最小二乘法寻找最佳对应变换。
兴趣点和描述符用于重新定位图像的操作。以示例的方式，这些描述符可以是例如像素的特征或者“SIFT”、“SURF”或“BRIEF”描述符。兴趣点和描述符被用作用于重新定位图像的参考点。
SIFT、SURF和BRIEF方法中的重新定位通过比较描述符来进行。使用一致性方法(例如随机抽样一致性方法)去除不相关的描述符。接下来，通过最小二乘法寻找最佳对应变换。
将初级图像分成次级图像
可以以几种方式将初级图像分成P个次级图像。
本发明的一个益处是使得可以调节对物体的观察区域的视觉分析的水平。这种调节最初是通过初级图像的数量和每个初级图像的分辨率水平来执行的。然后，分解成次级图像使得可以在每个初级图像中局部地调节分析水平。可以干预的第一参数是次级图像的尺寸。较小的次级图像使得可以局部地微调分析。通过联合调节每个次级图像Sk,p的尺寸和压缩因子Qk,p，本发明使得可以优化计算时间，同时维持调节到与制造产品相关联的要求水平的高性能检测水平。本发明使得可以局部地使检测水平适应于观察区域的临界水平。
本发明的一个特定情况包括使所有的次级图像具有相同的尺寸。
因此，当整个观察区域具有相同尺寸时，第一种方法包括将初级图像分成P个尺寸相同并且没有重叠地并置的次级图像。
第二种方法包括将初级图像分成P个相同尺寸的并重叠并置的次级图像。重叠根据可能在物体上出现的缺陷的大小来调节。
缺陷越小，重叠可以减少得越多。通常，认为重叠至少等于缺陷的特性半长度；特性长度被定义为使得可以包含整个缺陷的圆的最小直径。
当然，可以组合这些方法并使用并置的和/或重叠的和/或彼此相距一定距离的次级图像。
计算压缩-解压缩函数
根据也是优选方法的第一种方法，由主成分分析(“PCA”)确定压缩-解压缩函数和压缩因子。该方法使得可以定义表征由学习阶段产生的批次的特征向量和特征值。在新的基底中，特征向量按照重要性的顺序排列。压缩因子源于在新的基底中保留的维数。压缩因子越高，新的基底的维数越低。本发明使得可以根据期望的检查水平和可用的计算时间来调节压缩因子。
该方法的第一个优点与机器不需要任何指示来定义新的基底的事实相关联。通过计算自动选择特征向量。
该方法的第二个优点与减少在生产阶段检测缺陷的计算时间相关联。由于维数减少，所以要处理的数据量减少。
该方法的第三个优点导致能够实时地向生产的物体的图像分配一个或多个分数。所获得的一个或多个分数使得可以借助于利用从学习阶段得到的模型对所制造的物体进行的重建来量化该物体相对于来自学习阶段的物体的偏差/错误率。
压缩因子在5至500000之间；优选在100至10000之间。压缩因子越高，在生产阶段分析图像的计算时间越短。然而，过高的压缩因子可能导致模型太粗糙并且最终不适合于检测误差。
根据第二种方法，模型是自动编码器。自动编码器采用神经网络的形式，该神经网络使得可以以无监督的方式定义特征。自动编码器由两部分构成：编码器和解码器。编码器使得可以压缩次级图像Sk,p，并且解码器使得可以获得重建图像Rk,p。
根据第二种方法，每批次级图像存在一个自动编码器。每个自动编码器具有其自己的压缩因子。
根据第二种方法，在学习阶段优化自动编码器。自动编码器通过比较重建图像和初始图像来优化。这种比较使得可以量化初始图像与重建图像之间的差异，并因此确定编码器所产生的误差。学习阶段使得可以通过最小化图像重建误差来优化自动编码器。
根据第三种方法，该模型基于“OMP”或“正交匹配追踪”算法。该方法包括基于从库中选择的一些图像的正交投影来搜索最佳线性组合。该模型通过迭代方法获得。在每次添加来自库的图像时，改进重组图像。
根据第三种方法，图像库由学习阶段定义。通过选择代表学习阶段的所有图像的一些图像来获得该库。
根据压缩-解压缩模型计算重建图像
在生产阶段，使用上述过程重新定位被检查物体的每个初级图像Ak，然后将其分成Pk个次级图像Sk,p。每个次级图像Sk,p经历利用其在学习阶段中定义的模型进行的数字重建操作。因此，在重建操作结束时，每个次级图像Sk,p存在一个重建图像Rk,p。
利用具有压缩因子Qk,p的模型Fk,p来重建每个次级图像Sk,p的操作使得可以具有非常短的计算时间。压缩因子Qk,p在5至500000之间，优选在10至10000之间。
根据也是优选方法的PCA方法，将次级图像Sk,p预先变换为向量。接下来，使用在学习期间定义的函数Fk,p将该向量投影到特征向量的基底中。然后，通过将获得的向量变换为图像，这给出了重建图像Rk,p。
根据第二种方法，由自动编码器重组次级图像，该自动编码器的参数在学习阶段中定义。由自动编码器处理次级图像Sk,p，以便获得重建图像Rk,p。
根据第三种方法，利用OMP或正交匹配追踪算法来重建次级图像，该算法的参数已在学习阶段中定义。
计算每个次级图像的重建误差
由次级图像Sk,p与重建图像Rk,p之间的比较产生重建误差。
用于计算误差的一种方法包括测量次级图像Sk,p与重建图像Rk,p之间的距离。用于计算重建误差的优选方法是欧几里德距离或2范数。该方法考虑误差平方和的平方根。
用于计算误差的一种另选方法包括使用闵可夫斯基距离、是欧几里德距离的泛化的p距离。该方法考虑误差的绝对值之和的第p次方根与幂p。该方法使得可以通过选择大于2的p来对大偏差给予更大的权重。
另一种另选方法是3范数或切比雪夫方法。该方法考虑了误差的最大绝对值。
计算一个或多个分数
从每个次级图像的重建误差获得物体的一个或多个分数的值。
一种优选的方法包括将重建误差的最大值分配给分数。
一种另选方法包括通过取重建误差的平均值来计算分数的值。
另一种另选方法包括取重建误差的加权平均值。当缺陷的关键性在物体的所有区域中不相同时，加权平均值可以是有用的。
另一种方法包括使用欧几里德距离或2范数。
另一种方法包括使用p距离。
另一种方法包括使用切比雪夫距离或3范数。
当然，在本发明的范围内，其它等同的方法也是可能的。
一旦计算出一个或多个分数，就使用它们的值来确定所考虑的产品是否满足期望的质量条件。如果是，则将其保持在生产中，如果不是，则根据已经达到的生产阶段将其标记为有缺陷或从生产中去除。例如，如果产品是个性化的，则可以从制造过程中物理地去除。如果产品不是个性化的，则可以物理地或电子地标记产品，以便以后去除。
当然，根据本申请的质量检查可以在制造过程中(优选地在生产结束时)实施一次，或者以适当的方式选择若干次，以便避免完全制造可能在制造过程中较早地(例如在耗时或需要昂贵装置的步骤之前)已经被认为有缺陷的物体。在制造过程中较早地去除这些物体使得可以在时间和成本方面对其进行优化。
在物体的完全制造过程中可以以固定方式选择各种方法(也就是说，在制造产品的整个过程中使用相同的方法)，或者如果连续执行若干质量检查，则可以组合各种方法。然后可以选择一个或多个最合适的方法来执行检查。
在本申请中，当然应当理解，该过程在可以具有高吞吐量(例如每分钟至少100个产品)的生产机器中实施。尽管在一些示例中，单数被用于在生产中定义物体，但这是为了简单起见而进行的。该过程实际上适用于生产中的连续物体：因此，该过程对生产中的各个连续的物体是迭代和重复的，并且对所有连续的物体执行质量检查。
所描述的实施方式是通过例示性示例来描述的，并且不应被认为是限制性的。其它实施方式可以使用与例如所述装置等同的装置。根据情况，实施方式也可以彼此组合，或者在一个实施方式中使用的装置和/或过程步骤可以在本发明的另一个实施方式中使用。
Claims (25)
1.一种用于制造物体的方法，所述物体例如是管或包装，所述方法包括集成到所述制造方法中的至少一个质量检查，该质量检查在生产期间执行并且连续地执行，
所述质量检查包括学习阶段和生产阶段，
所述学习阶段至少包括以下步骤：
-)生产被认为是能接受的N个物体；
-)拍摄所述N个物体中的每一个的至少一个参考初级图像(Ak)；
-)将每个参考初级图像(Ak)分为(Pk)个参考次级图像(Sk,p)；
-)将对应的参考次级图像分组为多批N个图像；
-)确定每批具有压缩因子(Qk,p)的压缩-解压缩模型(Fk,p)，
并且所述生产阶段至少包括以下步骤：
-)拍摄生产中的至少一个物体的至少一个初级图像；
-)将每个初级图像分成次级图像(Sk,p)；
-)将在所述学习阶段中定义的所述压缩-解压缩模型和所述压缩因子应用于每个次级图像(Sk,p)，以便形成重建的次级图像(Rk,p)；
-)计算每个重建的次级图像Rk,p的重建误差；
-)基于所述重建误差为每个物体分配一个或多个分数；
-)基于一个或多个分配的分数确定生产的物体是否成功通过所述质量检查。
2.根据权利要求1所述的方法，其中，对至少一个最初拍摄的所述初级图像执行多重分析，所述多重分析产生“子”初级图像，该“子”初级图像用于代替该“子”初级图像源自的所述最初拍摄的图像。
3.根据权利要求1或2所述的方法，其中，在拍摄至少一个初级图像的步骤之后，重新定位每个初级图像。
4.根据前述权利要求中任一项所述的方法，其中，处理每个初级图像。
5.根据权利要求4所述的方法，其中，所述处理操作是数字处理操作。
6.根据权利要求4或5所述的方法，其中，所述处理操作使用滤波器、和/或边缘检测、和/或掩模应用，以便隐藏所述图像的某些区域。
7.根据前述权利要求中任一项所述的方法，其中，所述压缩因子在5至500000之间，优选在100至10000之间。
8.根据前述权利要求中任一项所述的方法，其中，所述压缩-解压缩函数由主成分分析(“PCA”)确定。
9.根据前述权利要求中任一项所述的方法，其中，所述压缩-解压缩函数由自动编码器确定。
10.根据前述权利要求中任一项所述的方法，其中，所述压缩-解压缩函数由称为“OMP”(正交匹配追踪)算法的算法来确定。
11.根据前述权利要求中任一项所述的方法，其中，所述重建误差使用欧几里德距离和/或闵可夫斯基距离和/或切比雪夫方法来计算。
12.根据前述权利要求中任一项所述的方法，其中，所述分数对应于所述重建误差的最大值和/或所述重建误差的平均值和/或所述重建误差的加权平均值和/或所述欧几里德距离和/或p距离和/或切比雪夫距离。
13.根据前述权利要求中任一项所述的方法，其中，N至少等于10。
14.根据前述权利要求中任一项所述的方法，其中，拍摄至少两个初级图像，所述初级图像具有相同尺寸或不同尺寸。
15.根据前述权利要求中任一项所述的方法，其中，每个初级图像被分成P个相同尺寸或不同尺寸的次级图像。
16.根据前述权利要求中任一项所述的方法，其中，所述次级图像S重叠或不重叠地并置。
17.根据前述权利要求中任一项所述的方法，其中，所述次级图像中的一些重叠地并置，并且其它次级图像不重叠地并置。
18.根据前述权利要求中任一项所述的方法，其中，所述次级图像具有相同尺寸或不同尺寸。
19.根据前述权利要求中任一项所述的方法，集成的所述质量检查在制造方法中执行至少一次。
20.根据前述权利要求中任一项所述的方法，其中，所述学习阶段在生产期间对生产中的物体进行迭代和重复，以便考虑不被认为是缺陷的差异。
21.根据前述权利要求中任一项所述的方法，其中，所述重新定位包括：考虑分布在所述图像上的预定数量的兴趣点和描述符，并且确定最小化兴趣点处的叠加误差的、所述参考图像与所述初级图像之间的相对位移。
22.根据前一权利要求所述的方法，其中，所述兴趣点随机地分布在所述图像中或所述图像的预定区域中的图像的预定区域中。
23.根据权利要求21或22所述的方法，其中，所述兴趣点的位置是任意地预定的或非任意地预定的。
24.根据权利要求21至23中任一项所述的方法，其中，使用被称为“SIFT”或“SURF”或“FAST”或“ORB”的方法中的一个来检测所述兴趣点；并且由所述方法“SIFT”或“SURF”或“BRIEF”或“ORB”中的一个来定义所述描述符。
25.根据权利要求21至24中任一项所述的方法，其中，所述图像沿着至少一个轴线重新定位和/或所述图像重新定位为围绕垂直于由所述图像形成的平面的轴线旋转和/或通过组合平移和旋转移动来重新定位所述图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19203285.2 | 2019-10-15 | ||
| EP19203285.2A EP3809366A1 (fr) | 2019-10-15 | 2019-10-15 | Procédé de fabrication |
| PCT/IB2020/057678 WO2021074708A1 (fr) | 2019-10-15 | 2020-08-14 | Procédé de fabrication |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114651276A true CN114651276A (zh) | 2022-06-21 |
Family
ID=68281051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080074550.1A Pending CN114651276A (zh) | 2019-10-15 | 2020-08-14 | 制造方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US20220230301A1 (zh) |
| EP (2) | EP3809366A1 (zh) |
| JP (1) | JP2022552080A (zh) |
| KR (1) | KR20220084303A (zh) |
| CN (1) | CN114651276A (zh) |
| BR (1) | BR112022004464A2 (zh) |
| CA (1) | CA3150634A1 (zh) |
| ES (1) | ES2963608T3 (zh) |
| MX (1) | MX2022003804A (zh) |
| PL (1) | PL4046129T3 (zh) |
| WO (1) | WO2021074708A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020079567A1 (en) * | 2018-10-15 | 2020-04-23 | 3M Innovative Properties Company | Automated inspection for sheet parts of arbitrary shape from manufactured film |
| CN113313466A (zh) * | 2021-06-01 | 2021-08-27 | 梁波 | 一种基于表征信息的公路隧道光环境构建系统和方法 |
| US20230153979A1 (en) * | 2021-11-15 | 2023-05-18 | Advanced Vision Technology Ltd. | Method and process for automated auditing of inline quality inspection |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
| ATE470912T1 (de) | 2006-04-28 | 2010-06-15 | Toyota Motor Europ Nv | Robuster detektor und deskriptor für einen interessenspunkt |
| ES2837552T3 (es) | 2010-03-13 | 2021-06-30 | Univ Carnegie Mellon | Método para reconocer y clasificar una planta de raíz desnuda |
| GB2491473B (en) | 2011-05-31 | 2013-08-14 | Pointgrab Ltd | Computer vision based control of a device using machine learning |
| RU2670696C9 (ru) | 2015-09-25 | 2018-11-28 | Альберт КИ | Портативное цилиндропоршневое оборудование для физических упражнений с магнитами и вязкой жидкостью, создающей сопротивление движению |
| WO2018112514A1 (en) | 2016-12-23 | 2018-06-28 | Queensland University Of Technology | Deep learning systems and methods for use in computer vision |
| WO2018200866A1 (en) | 2017-04-26 | 2018-11-01 | UHV Technologies, Inc. | Material sorting using a vision system |
-
2019
- 2019-10-15 EP EP19203285.2A patent/EP3809366A1/fr not_active Withdrawn
-
2020
- 2020-08-14 KR KR1020227014220A patent/KR20220084303A/ko not_active Application Discontinuation
- 2020-08-14 CA CA3150634A patent/CA3150634A1/fr active Pending
- 2020-08-14 ES ES20768702T patent/ES2963608T3/es active Active
- 2020-08-14 BR BR112022004464A patent/BR112022004464A2/pt unknown
- 2020-08-14 JP JP2022516069A patent/JP2022552080A/ja not_active Withdrawn
- 2020-08-14 CN CN202080074550.1A patent/CN114651276A/zh active Pending
- 2020-08-14 EP EP20768702.1A patent/EP4046129B1/fr active Active
- 2020-08-14 PL PL20768702.1T patent/PL4046129T3/pl unknown
- 2020-08-14 MX MX2022003804A patent/MX2022003804A/es unknown
- 2020-08-14 WO PCT/IB2020/057678 patent/WO2021074708A1/fr unknown
-
2022
- 2022-04-05 US US17/713,254 patent/US20220230301A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4046129B1 (fr) | 2023-10-04 |
| EP4046129A1 (fr) | 2022-08-24 |
| CA3150634A1 (fr) | 2021-04-22 |
| BR112022004464A2 (pt) | 2022-05-31 |
| JP2022552080A (ja) | 2022-12-15 |
| KR20220084303A (ko) | 2022-06-21 |
| ES2963608T3 (es) | 2024-04-01 |
| US20220230301A1 (en) | 2022-07-21 |
| PL4046129T3 (pl) | 2024-01-29 |
| MX2022003804A (es) | 2022-04-29 |
| EP4046129C0 (fr) | 2023-10-04 |
| EP3809366A1 (fr) | 2021-04-21 |
| WO2021074708A1 (fr) | 2021-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114651276A (zh) | 制造方法 | |
| US9652843B2 (en) | Machine learning method and apparatus for inspecting reticles | |
| US8045789B2 (en) | Method and apparatus for inspecting defect of pattern formed on semiconductor device | |
| CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| CN109085178B (zh) | 一种用于增材制造的缺陷指纹精确在线监测和反馈方法 | |
| CN112150460B (zh) | 检测方法、检测系统、设备和介质 | |
| JP2019027826A (ja) | 欠陥検査方法及び欠陥検査装置 | |
| US20150324664A1 (en) | Automatic calibration sample selection for die-to-database photomask inspection | |
| Stavropoulos et al. | A vision-based system for real-time defect detection: a rubber compound part case study | |
| JP6328222B2 (ja) | Ｔｓｏｍイメージ獲得方法及び半導体装置検査方法 | |
| TW202136757A (zh) | 使用迴旋內容屬性以尋找半導體缺陷 | |
| CN110689524A (zh) | 一种无参考在线图像清晰度评价方法与系统 | |
| KR101782364B1 (ko) | 케이평균군집화를 통한 학습기반의 비전검사 방법 | |
| Kamani et al. | Automatic paint defect detection and classification of car body | |
| JP3009205B2 (ja) | 検査方法及びその装置 | |
| CN116258838B (zh) | 一种用于管片模具合模系统的智能视觉引导方法 | |
| CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 | |
| CN115953641A (zh) | 半导体样本的缺陷检查 | |
| CN114120318B (zh) | 一种基于集成决策树的暗场图像目标点精确提取方法 | |
| WO2012122467A1 (en) | Intelligent airfoil component surface imaging inspection | |
| CN113532320B (zh) | 一种基于图像的光斑衍射环分析方法、存储介质及芯片 | |
| JP7469740B2 (ja) | ベルト検査システムおよびベルト検査プログラム | |
| KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
| Sun et al. | An adaptable automated visual inspection scheme through online learning | |
| Golodov et al. | Weld segmentation and defect detection in radiographic images of pipe welds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |