CN109196337B - 一种图像捕获系统和一种用于确定片材元件上压花结构的位置的方法 - Google Patents

一种图像捕获系统和一种用于确定片材元件上压花结构的位置的方法 Download PDF

Info

Publication number
CN109196337B
CN109196337B CN201780033750.0A CN201780033750A CN109196337B CN 109196337 B CN109196337 B CN 109196337B CN 201780033750 A CN201780033750 A CN 201780033750A CN 109196337 B CN109196337 B CN 109196337B
Authority
CN
China
Prior art keywords
image
light
sheet element
camera
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780033750.0A
Other languages
English (en)
Other versions
CN109196337A (zh
Inventor
M·理查德
F·皮劳德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bobst Mex SA
Original Assignee
Bobst Mex SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bobst Mex SA filed Critical Bobst Mex SA
Publication of CN109196337A publication Critical patent/CN109196337A/zh
Application granted granted Critical
Publication of CN109196337B publication Critical patent/CN109196337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G01N2021/8908—Strip illuminator, e.g. light tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N2021/8909—Scan signal processing specially adapted for inspection of running sheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Textile Engineering (AREA)
  • Vascular Medicine (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种图像捕获系统（10）以及相应的方法，用于确定移动通过观察区域（18）的片材元件（4）上的压花结构（30）的位置，包括：用于捕获观察区域（18）中的片材元件（4）的表面的线图像的摄像机（12）；具有多个光源（20、21、...）的照明单元（14），每个光源用于照明观察区域（18），光源（20、21、...）相对于观察区域（18）以不同的倾斜度布置；以及用于确定跨越观察区域（18）的观察区域（18）中的片材元件（4）的表面的倾斜度相关参数的图像评估单元（16）。

Description

一种图像捕获系统和一种用于确定片材元件上压花结构的位 置的方法
技术领域
本发明涉及一种用于确定移动通过片材元件加工机的观察区域的片材元件上的压花结构位置的图像捕获系统，以及一种通过使用这种图像捕获系统确定压花结构在片材元件上的位置的方法。
背景技术
术语“片材元件加工机”在此旨在包括用于加工诸如纸、纸板或类似材料的片材元件的任何机器，特别是印刷机、涂布机、层压机和转换机(例如切割、冲压、折叠和/或上胶机)。
片材元件上的压花结构是片材元件的特定区域，其上表面位于片材元件的平均表面的上方或下方。例如，在盒子上诸如字母或者盲文字符的凸起点的凸起设计元素。然而，就本申请而言，压花结构不限于这些示例。
出于许多原因，期望能够确定压花结构在片材元件上的位置，因为许多质量检查基于检查一个元件相对于另一个元件的位置。然而，在以高达15m/s的速度移动通过片材元件加工机的片材元件上检测例如盲文点的位置并不是一件容易的事。
发明内容
因此，本发明的一个目的是提供一种系统和方法，其允许可靠地检测移动通过片材元件加工机的片材元件上压花结构的位置。
为了解决该目的，本发明提供了一种用于确定移动通过观察区域的片材元件中的压花结构的位置的图像捕获系统，包括：用于捕获观察区域中的片材元件表面的线图像的摄像机；具有多个光源的照明单元，每个光源适于照明观察区域，光源相对于观察区域以不同的倾斜度排列；以及图像评估单元，用于确定横跨观察区域的观察区域中的片材元件的表面的倾斜度相关参数。此外，本发明提供了通过使用上述的图像捕获系统获取片材元件上的压花结构的位置的方法，其中执行以下步骤：在第一步骤中，第一个光源将光引导到观察区域，摄像机捕获观察区域的第一线图像。然后，第二个光源将光引导到观察区域，摄像机捕获观察区域的第二线图像。如果需要，重复将光引导到观察区域并捕获相应的线图像的步骤。最后，图像评估单元确定跨越观察区域的观察区域中的片材元件的表面的倾斜度相关参数。
一般而言，本发明基于以下原理：用不同定位的光源照明片材元件的表面上的关注的线，然后评估在不同照明条件下捕获的线图像。由于它们的不同位置，来自不同光源的光将从片材元件表面上的同一点不同地反射。作为一个简单的例子，可以设想截头圆锥体的压花结构，并且可认为照明单元包括三个光单元，即下、中和上单元，如果片材元件的上表面是镜子，则中单元布置成使得从其发出的光将直接落入摄像机中。
然而，由于片材元件的上表面不是镜子，来自光源的光以或多或少地漫射方式反射。然而，来自中光源的反射光的强度高于来自其他光源的反射光的强度(它们的光主要反射到摄像机的上方和下方的区域)。图像评估单元知道，如果在从观察区域捕获的由下、中和上光源照明的三个线图像中，第二线图像的光强度最高，则片材元件表面的倾斜度为零。
如果现在将上述示例性压花结构(截头圆锥体)移动到观察区域中，则将存在一系列捕获的线图像，其中用下光源照明的观察区域的线图像具有最高强度。这由图像评估单元解释为具有不等于零(并且在此定义为正值)的特定值的倾斜度的指示。
如果截头圆锥体已经进一步移动到观察区域中，从而照明其中心，那么其也是与中光源的照明相对应的示出了反射光的最大强度的线图像。图像评估单元理解为表面的倾斜度回到零。
如果截头圆锥体已经进一步移动到观察区域中，则将存在一系列捕获的线图像，其中用上光源照明的观察区域的图像具有最高强度。这被图像评估单元解释为具有不等于零的值(即，负值)的倾斜的指示。
通过评估一系列捕获的线图像，图像评估单元能够确定压花结构的位置。显然，光源的激活与摄像机同步(捕获图像的时间)。为此，可以使用同步模块。此外，光源的激活以及图像的捕获与片材元件的移动相关联。
在根据本发明的系统和方法中，通过为多个光源中的每一个确定由该位置反射的光的强度值，获得片材元件表面中的多个位置中的每一个的倾斜度相关参数。
具体地，(i)生成与片材元件的一个区域对应的倾斜度相关参数数据的阵列，(ii)识别与压花结构的特征对应的倾斜度相关参数数据的子集，(iii)根据与倾斜度相关参数数据的子集相关联的位置数据，确定压花结构的特征在片材中的位置。
根据本发明的一个实施方式，光源产生的光的波长是相同的。这需要一个接一个地激活不同的光源并捕获每个照明条件的线图像，否则将无法确定哪个光源导致朝向摄像机反射的光的最大强度。
根据一个替代的实施方式，由每个光源产生的光的波长不同于照明单元中的任何其他光源的波长。这允许在摄像机具有多个波长信道的条件下同时激活不同的光源，其中每个波长信道设置为用于光源的每个波长。摄像机为所谓的超光谱摄像机，这意味着摄像机能够将测量的强度与特定波长相关联。
优选地，每个光源由彼此相邻布置的多个LED构成。这种类型的光源可以以所需的频率(大约最高20kHz)接通和断开，并且仅产生很少的热量损失。
可以将所有光源布置在以观察区域为中心的弧上。因此，所有光源与观察区域具有相同的距离，以确保引导到观察区域上的光的强度对于所有光源是相同的。然而，优选将光源布置在同一平面中，因为这大大减少了将光源组合为一个照明单元所需的工作量。如果需要，可以通过为LED通电的控制器来适当地调节由每个光源引导到观察区域上的光的强度。
为了确保由多个LED产生的光在从观察区域观察时具有大致相同的辐射度，优选将漫射器与照明单元相关联。
由于观察区域基本上是关注的线，因此摄像机优选地是线摄像机。这导致图像评估单元要处理的数据量适中。然而，也可以使用区域摄像机(2D摄像机)。
鉴于摄像机优选地是线摄像机，当提及由摄像机捕获的图像时，这里使用术语“线图像”。然而，如果摄像机是区域摄像机，则由摄像机捕获的线图像不是仅仅由单行组成的，而是由多行组成的。
倾斜度相关参数可以是指示片材元件表面在特定点处的倾斜度的值。倾斜度相关参数的其他示例是哪个光源产生最高光强度的指示、强度高于或低于预定阈值的指示或强度的灰度值的指示。
当确定倾斜度相关参数时，图像评估单元优选地将从捕获的线图像提取的数据与存储在查找表中的数据进行比较，在该查找表存储经验获得的指示特定强度分布与不同压花结构的倾斜度和/或轮廓之间的关系的数据。
附图说明
现在将参考附图中所示的优选实施方式来描述本发明。在附图中，
-图1以侧视图示意性地示出了片材元件加工机的质量控制站，其中实现了根据本发明的图像捕获系统；
-图2以俯视图示意性地示出了图1的图像捕获系统；
-图3示意性地示出了根据本发明的简化的图像捕获系统的光学组件；
-图4示意性地示出了移动通过图3的图像捕获系统的摄像机的观察区域的压花结构，以及由图像捕获系统确定的倾斜度相关参数；
-图5以更详细的实施方式示意性地示出了根据本发明的图像捕获系统的光学部件；
-图6示意性地示出了由图像评估单元进行的捕获的子图像的评估；
-图7示出了利用根据本发明的图像捕获系统和图像捕获方法识别的压花结构的非常示意性的视图；
-图8示意性地示出了由摄像机捕获的不同线图像；以及
-图9示意性地示出了如何基于在不同照明条件下捕获的线图像生成重建的图像。
具体实施方式
在图1中，示意性地示出了用于片材元件加工机的质量控制站2，其中示出了输送台3。片材元件加工机可以加工沿箭头A的方向输送的片材元件4。片材元件4可以是纸、纸板、塑料箔或类似材料的片材，或者其可以是更长的网形式。片材元件加工机可以是印刷机、冲压机、层压机、折叠机、胶合机等。
在质量控制站2中，实现了用于确定移动通过质量控制站2的片材元件4上压花结构的位置的图像捕获系统10。
图像捕获系统10包括摄像机12、照明单元14和图像评估单元16。
摄像机12在这里是线摄像机，其用于捕获片材元件4的表面上的观察区域18的线图像(“关注的线”)。观察区域18是跨越片材加工机的宽度横向于方向A延伸的细长区域。摄像机12的分辨率使得可以分辨片材元件4的表面上大约0.05至0.3mm、优选为0.1mm的元件。
照明单元14包括横向于方向A延伸的多个光源20、21、22(请参考图3)。每个光源20、21、22包括沿着相应光源20、21、22的长度彼此相邻布置的多个LED。为了确保光源产生的光的强度沿其长度(几乎)恒定，漫射器(未示出)与每个光源单独地相关联或与照明单元14相关联。
在图3所示的简化的实施方式中，三个光源20、21、22布置在以关注的线(摄像机12的观察区域18)为中心(在垂直于关注的线的平面的横截面中)的圆上。因此，所有三个光源20、21、22与观察区域18具有相同的距离。
通过图3中所示的中间平面M解释光源20、21、22相对于摄像机12和关注的线18的位置和布置。中间平面M包含关注的线18并且垂直于在关注的线18处的片材元件4的平均表面延伸。
在图3的横截面中，为了便于参考，三个光源可以称为下光源20，中光源21和上光源22。中光源21相对于中间平面M以角度α布置，摄像机12相对于中间平面M以相同角度布置。中光源21和摄像机12布置在中间平面M的相对侧。因此，假设光源21产生的光从片材元件4的表面反射为镜面反射，其直接落入摄像机12中。
由于光源20和22相对于中间平面M以不同于角度α的角度布置，因此由这些光源中的任何一个产生并且从片材元件4的表面反射作为镜面反射的光不能通过摄像机12探测到。
在实践中，来自片材元件4的表面的反射将不是(纯粹地)镜面反射，而是或多或少地漫射。然而，来自光源20、21、22的反射光的强度是不同的。特别地，来自光源21的光的强度高于来自光源20、22的光的强度。
借助图4，现在将描述图像评估的一般原理。
对于该实施方式，使用多波长光源。
在图4的上半部分中，示出了在此具有截头圆锥体的形状的压花结构30。这里假设压花结构30的宽度为四个像素(沿关注的线18测量)，并且假设压花结构的长度(沿方向A测量)对应于由摄像机12捕获的四个线图像。换句话说，压花结构的长度对应于在捕获四个线图像期间片材元件4移动的距离。
对于每个线图像，激活所有光源20、21、22，并且摄像机12捕获反射光的线图像。这里假设摄像机12能够理解哪个强度来自哪个光源20、21、22。这可以通过对不同光源20、21、22使用不同的波长和彩色摄像机12来实现。因此，该实施方式使用高光谱摄像机。
虽然使用不同波长的实施方式确实在一定程度上产生了有意义的结果，但是在实践中存在缺点。如果片材元件具有彩色表面，则其确实影响反射光的强度。然而，通过将片材元件限定为中性色(仅白色或仅灰色)，该简化实施方式确实有效并且在此用于解释本系统和本方法所基于的基本原理。
在第一线图像(称为I1)中，压花结构30位于关注的线的上游。因此，片材元件4的表面是水平的。鉴于光源21相对于摄像机12以镜像对称的方式布置，来自光源21的光的强度高于来自光源20、22的光的强度。
借助于查找表，图像评估单元16将其解释为“无倾斜”。该倾斜度相关参数在图4的下半部分中显示为行R1中的空像素。
当压花结构30已经移动到其“向前”倾斜表面位于关注的线18处的点时，拍摄第二线图像I2。当照明时，来自光源21的反射光不再具有最高强度，而是来自光源20的光(由于现在改变了将光反射到摄像机的表面的取向)。
再次参考查找表，图像评估单元16将反射光的最高强度与光源20相关联的事实解释为“向上倾斜”的表面。该倾斜度相关参数在图4的下半部分中显示为行R2中的黑色像素。
当压花结构30已经移动到其顶面位于关注的线18处的点时，拍摄第三线图像I3。当照明时，中光源21导致在压花结构30的中心处的摄像机12处的反射光的最高强度，下光源20导致压花结构的侧面部分处的反射光的最高强度。
再次参考查找表，图像评估单元16将这种强度分布转换成与倾斜度相关的参数，即对于两个中心像素为“无倾斜”，对于中心像素两侧的两个像素为“向上倾斜”。
当压花结构30已经移动另一个增量时，拍摄第四线图像I4。当照明时，中光源21再次导致在压花结构30的中心处的摄像机12处的反射光的最高强度，同时现在上光源22导致压花结构30的侧面部分处的反射光的最高强度。
再次参考查找表，图像评估单元16将这种强度分布转换成与倾斜度相关的参数，即对于两个中心像素为“无倾斜”，对于中心像素两侧的两个像素为“向下倾斜”。倾斜度相关参数“向下倾斜”表示为交叉像素。
当压花结构30已经移动另一个增量时，拍摄第五线图像I5。当照明时，由中光源21产生最高强度的侧向像素解释为“无倾斜”，并且由上光源22产生最高强度的中心像素解释为“向下倾斜”。
当压花结构30已经移动另一个增量时，拍摄第六线图像I6。由于压花结构现在已完全通过关注的线18，所以中光源21再次导致朝向摄像机12反射的光的最高强度。因此，图像评估单元理解为在R6排存在“无倾斜”。
因此，图像评估单元16能够从存在压花结构30的倾斜度相关参数(通过确定其在片材元件4的表面上开始升高的位置)导出其长度和宽度等。利用比图3的简化示例更高的分辨率，可以通过图像识别确定形状并识别不同的压花结构之一。如果是相关的，图像评估单元14还可以基于倾斜度的大小和倾斜延伸的长度来确定压花结构的高度。为了能够确定压花结构的高度，需要预先校准系统，特别是在压花结构通过后找到零高度，并调整查找表。
作为“倾斜”、“向上倾斜”和“向下倾斜”的倾斜度相关参数的替代，捕获的线图像的行的像素可以用导致最高强度的反射光的光源的数量直接编码。如果捕获线图像是可视化的，则可以使用不同的颜色来可视化不同的倾斜度。
在实践中，系统操作成片材元件4以高达15m/s的速度移动。摄像机12以每秒10,000到40,000线图像的速率捕获线图像，但也可以使用更高的速率。
图5中示出了图像捕获系统的更精细的实施方式。
一般而言，针对片材元件4的表面上的多个位置获得倾斜度相关参数的阵列。基于该参数阵列，将生成对应于压花结构的特征的数据子集。然后，将确定压花结构的特征的位置。
与图3的实施方式的不同之处在于，照明单元14包括三个以上的光源，即七个光源20、21......26。这允许以更精细的步骤区分不同的倾斜度，并允许应用使用多个查找表的技术。之后将解释这种多查找表技术的使用。
与图3的实施方式的另一个不同之处在于，不可能通过其波长区分不同的光源20、21......26，因为它们产生相同的光。对于每个线图像，当光源中仅有一个光源有效时捕获第一子图像，然后当光源中只有一个不同的光源有效时捕获第二个子图像，依此类推。
由此实现的主要优点是压花结构的识别与片材元件4的表面的颜色无关。优选地，LED对于摄像机是白色的。
可以使用更精细的策略来激活光源。根据具体情况，如果很明显对于图像评估单元该该特定子图像不是确定倾斜相关参数所必需的，则可以同时成对激活一些光源，或者可以“跳过”某些光源的激活(这意味着也没有捕获相应的子图像)。
这里的摄像机12是线摄像机。
图像评估单元14评估每个子图像。在该评估期间，可以考虑并补偿的是，片材元件和要识别的压花结构已在各个子图像之间稍微移动。特别是可以通过将图像重新采样到相同位置来完成补偿。
参考图6解释图像评估单元14如何处理捕获的子图像的示例，其中对于来自线图像的关注的特定像素，对于在横坐标上描绘的七个不同光源数字1到7，示出了在强度纵坐标上的七个测量强度。该图是关注的特定像素的强度分布。当用光源20、21......26中的一个照明关注的线18时，其由在所拍摄的七个子图像中的每一个中测量的强度组成。
图像评估单元14针对每个关注的像素评估哪个光源产生最高强度的反射光。图像评估单元14拟合最适合该关注的像素的不同强度测量的数学曲线C。强度测量的数量直接是顺序获取的子图像的数量。在图6中，获取了七个子图像。该拟合曲线的最大值位于与该像素位置处的片材的倾斜度相关联的横坐标。在图6中，可以看出，这里的最大强度(理论上)用“光源3.5”实现，其对应于布置在图5中的光源23和24之间的光源。借助于查找表，图像评估单元14可以识别在关注的像素处存在哪种倾斜度。通过构造，系统仅测量垂直于关注的线的平面P中的倾斜部分，换句话说，片材元件4的表面的局部法向矢量在平面P上的正交投影。倾斜度相关的输出参数可以是例如相对于投影到平面P上的中间平面M单位为度的倾斜度。
图6的曲线允许定义一个像素的倾斜度相关参数。对于沿着关注的线的每个像素进行相同的评估，并且在片材元件4稍微移动之后重复该评估，以便得到关于存在于片材表面上的压花结构的完整信息集。
因此，获得了对于片材元件4的整个表面或对于关注的部分的倾斜度相关参数数据的阵列。
一旦已经针对所有关注的线(在x方向上)和沿着关注的线(在y方向上)识别出与倾斜度相关的参数，就可以将其可视化。图7中示出了示例，其中组合所有具有相同倾斜度的区域(相对于被认为以0°倾斜的片材元件4，这里以零倾角、10°倾斜、20°倾斜、-10°和-20°倾斜为增量)。生成的视图与地形图上的轮廓线类似。
在3点钟位置和9点钟位置的视图中的“间隙”是由于压花特征的该部分具有几乎垂直于平面P的局部法向矢量，因此在该区域(几乎)没有斜率信号，并且无法正确测量斜率。如上所述，测量的斜率基于局部法向矢量在平面P上的投影。如果矢量指向平面P，则不能获得合理的测量结果。
重要的是要注意，可以不依赖于覆盖压花的任何装饰效果(例如印刷、箔、全息图或清漆)来检测任何压花结构在片材元件4上的位置。这是因为该方法不依赖于测量绝对反射率，而是依赖于倾斜度变化引起的表面反射率分布的变化。
然而，所检查的片材元件4的表面的光泽度导致强度分布的变化：箔将具有清晰的轮廓，但是漫射基底将具有更平坦的强度分布(这里的“平坦的强度分布”意思是：每个光角度的强度更相似)。另外，物理实际倾斜角与最大轮廓强度的位置之间的关系根据反射类型而变化。在一个优选的实施方式中，为了获得与反射类型(无光泽或有光泽)无关的倾斜度相关参数，计算分为三个步骤：
1：分析强度分布以确定最大值所在的位置Xmax(图6)。
2：根据反射类型(无光泽、有光泽或混合)分析强度分布以确定应用哪个查找表。
3：在Xmax上应用确定的查找表以输出与倾斜度相关的参数。
这组查找表(多查找表)通过校准构建。例如，构建对应于从无光泽到有光泽的五种或十种反射类型的五个或十个查找表。然后，查找表将轮廓链接到斜率值。用于识别要使用的正确的查找表LUT的参数是轮廓的锐度(宽度)。
可以使用适当的公式或数学计算来获得相同的结果，而不是使用多个查找表。
如果需要或必要，可以使用两个图像捕获系统，其布置成观察区域的方向相对于彼此倾斜。例如，可以使用上述类型的附加图像捕获系统，其中观察区域18的取向不同于第一图像捕获系统的观察区域的取向。
还可以使第一图像捕获系统的观察区域18相对于片材元件的行进方向A以+45°的角度布置，并且第二图像捕获系统的观察区域18相对于方向A以-45°的角度布置。
通过在两次后续检查之间旋转片材元件，可以获得相同的结果(不同取向的观察区域)。
表面检查系统10可以是与其他照明单元一起的更复杂的检查单元的一部分。特别地，光源12、14可以是更复杂的照明单元的一部分，其用于检测片材元件上的折痕和压花结构。
基于前面的附图，描述了通过仅用一个光源照明片材元件来获得线图像。在实践中，片材元件由不同的光源照明，以便在不同方面检查片材元件的表面。一个例子是明场照明和暗场照明的组合。在每个照明条件下捕获的交错线图像实际上用于重建要重建的BFI图像(由在明场照明下捕获的线图像组成的重建图像)和要重建的DFI图像(由在暗场照明下捕获的线图像组成的重建图像)，这些图像将由图像评估单元分析。
图8示意性地示出了由摄像机捕获的交错线图像IBFI(以实线示出)和IDFI(以虚线示出)。这里，仅示出了每个照明条件的十个线图像。在实践中，为每个片材元件4捕获数千个线图像IBFI、IDFI。假设为一个片材元件4捕获4,000个线图像IBFI和4,000个线图像IDFI，并且该摄像机12能够每秒捕获80,000个线图像，然后可以每秒处理10个片材元件4。
图9示意性地示出了如何从线图像IBFI重建要重建的BFI图像40以及如何从线图像IDFI重建要重建的DFI图像50。
因此，获得倾斜度相关参数数据的子集。
如果摄像机12在超过本文描述的并且如图8所示的两个照明条件(BFI和DFI)的情况下捕获线图像，那么由摄像机12捕获的数据将包括三种或更多种类型的交错线图像，并且将重建三个或更多个重建图像(每个照明条件一个)。
图像评估单元16处理重建图像40、50(全部或在关注的那些部分中)以便检测关注的项目。这里，比较重建图像40、50以识别压花表面部分。特别地，基于倾斜度相关参数数据的子集确定感兴趣特征(例如特定角)的位置。

Claims (19)

1.一种图像捕获系统（10），用于确定移动通过观察区域（18）的片材元件（4）上的压花结构（30）的位置，包括：用于捕获所述观察区域（18）中的所述片材元件（4）的表面的线图像的摄像机（12）；具有多个光源（20、21、...）的照明单元（14），每个光源用于照明所述观察区域（18），所述光源（20、21、...）相对于所述观察区域（18）以不同的倾斜度布置；以及用于确定跨越所述观察区域（18）的所述观察区域（18）中的所述片材元件（4）的表面的每个位置的倾斜度相关参数的图像评估单元（16），其中所述图像捕获系统配置用于确定每个位置的每个光源（20、21、...）的反射光的强度，得到每个位置的强度分布，其特征在于，图像评估单元（16）配置为从所述强度分布确定根据反射类型的查找表和强度分布的最大值的位置，并配置为在倾斜度相关参数的计算中使用被确定的查找表和最大值的位置。
2.根据权利要求1所述的图像捕获系统，用于（i）生成与所述片材元件的一个区域对应的倾斜度相关参数数据的阵列，（ii）识别与压花结构的特征对应的倾斜度相关的参数数据的子集，（iii）根据与倾斜度相关参数数据的子集相关联的位置数据，确定压花结构的特征在片材中的位置。
3.根据权利要求2所述的图像捕获系统，其中所述光源（20、21、...）产生的光的波长是相同的。
4.根据权利要求2所述的图像捕获系统，其中由一个所述光源（20、21、...）产生的光的波长不同于所述照明单元（14）中的任何其他光源（20、21、...）产生的光的波长。
5.根据权利要求4所述的图像捕获系统，其中每个光源（20、21、...）由彼此相邻布置的多个LED组成。
6.根据权利要求4所述的图像捕获系统，其中所述光源（20、21、...）布置在同一平面中。
7.根据权利要求4所述的图像捕获系统，其中，所述照明单元包括漫射器。
8.根据权利要求1所述的图像捕获系统，其中，所述摄像机（12）是线摄像机。
9.根据权利要求1所述的图像捕获系统，其中，所述摄像机（12）是彩色摄像机。
10.根据前述权利要求中任一项所述的图像捕获系统，其中，同步模块用于将所述光源的激活与所述摄像机同步。
11.根据权利要求10所述的图像捕获系统，其中，所述同步模块连接到片材元件（4）的移动。
12.一种通过使用如前述权利要求中任一项所述的图像捕获系统（10）来确定片材元件（4）上压花结构（30）的位置的方法，其中执行以下步骤：
- 光源（20、21、...）中的第一个光源将光引导到观察区域，并且摄像机（12）捕获观察区域的第一线图像（I1）；
- 光源（20、21、...）中的第二个光源将光引导到观察区域，并且摄像机（12）捕获观察区域的第二线图像（I2），
-光源（20、21、...）中的至少另外一个光源将光引导到观察区域，并且摄像机（12）捕获观察区域（18）的相应线图像（In），
- 对于多个光源中的每个光源，确定该位置反射的光的强度值，得到每个位置的强度分布，
- 对于每个强度分布，确定根据反射类型的查找表，
- 确定每个强度分布的最大值的位置，
- 图像评估单元（16）根据强度分布、被确定的查找表和最大值的位置，确定跨越观察区域（18）的观察区域（18）中的片材元件（4）的表面的倾斜度相关参数。
13.根据权利要求12所述的方法，其中（i）生成与片材元件的一个区域对应的倾斜度相关参数数据的阵列，（ii）识别与压花结构的特征对应的倾斜度相关的参数数据的子集，（iii）根据与倾斜度相关参数数据的子集相关联的位置数据，确定压花结构的特征在片材中的位置。
14.根据权利要求12至13中任一项所述的方法，其中，一个接一个地激活不同的光源（20、21、...）。
15.根据权利要求12至13中任一项所述的方法，其中，同时激活不同的光源（20、21、...）。
16.根据权利要求15所述的方法，其中，倾斜度相关参数是倾角。
17.根据权利要求16所述的方法，其中，提供多个查找表，并且其中，根据反射类型选择合适的查找表。
18.根据权利要求17所述的方法，其中，使用相对于片材元件（4）的运动方向（A）以不同的角度布置的两个不同的观察区域（18）。
19.根据权利要求18所述的方法，其特征在于，在确定倾斜度相关参数时，考虑片材元件（4）表面的表面光洁度，包括颜色、反射率或光泽度。
CN201780033750.0A 2016-05-30 2017-05-17 一种图像捕获系统和一种用于确定片材元件上压花结构的位置的方法 Active CN109196337B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16172028 2016-05-30
EP16172028.9 2016-05-30
PCT/EP2017/025131 WO2017207112A1 (en) 2016-05-30 2017-05-17 An image capturing system and a method for determining the position of an embossed structure on a sheet element

Publications (2)

Publication Number Publication Date
CN109196337A CN109196337A (zh) 2019-01-11
CN109196337B true CN109196337B (zh) 2021-12-07

Family

ID=56321721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033750.0A Active CN109196337B (zh) 2016-05-30 2017-05-17 一种图像捕获系统和一种用于确定片材元件上压花结构的位置的方法

Country Status (9)

Country Link
US (1) US11448501B2 (zh)
EP (1) EP3465169B1 (zh)
JP (1) JP6746718B2 (zh)
KR (1) KR102172823B1 (zh)
CN (1) CN109196337B (zh)
BR (1) BR112018071487B1 (zh)
CA (1) CA3021480C (zh)
ES (1) ES2896884T3 (zh)
WO (1) WO2017207112A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11397111B2 (en) * 2018-09-18 2022-07-26 Axalta Coating Systems Ip Co., Llc Device and method for determining observation geometry
US11455716B2 (en) * 2018-11-13 2022-09-27 Rivian Ip Holdings, Llc Image analysis of applied adhesive with fluorescence enhancement
CN117685899B (zh) * 2023-12-08 2024-06-25 魅杰光电科技(上海)有限公司 一种图形结构形貌参数的测量方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5087822A (en) * 1990-06-22 1992-02-11 Alcan International Limited Illumination system with incident beams from near and far dark field for high speed surface inspection of rolled aluminum sheet
CN1146805A (zh) * 1994-03-21 1997-04-02 泰特拉·勒维尔金融控股公司 包装薄片折缝位置检测的方法和装置
US6064478A (en) * 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems
US6166393A (en) * 1997-08-22 2000-12-26 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Method and apparatus for automatic inspection of moving surfaces
CN101371131A (zh) * 2005-07-08 2009-02-18 柯尼格及包尔公开股份有限公司 用于检查表面的装置
CN101726499A (zh) * 2008-10-10 2010-06-09 丰田自动车株式会社 表面检查装置
CN102412170A (zh) * 2010-07-13 2012-04-11 联达科技设备私人有限公司 多方向上反射的光源的采集系统和方法
JP2015125069A (ja) * 2013-12-26 2015-07-06 リコーエレメックス株式会社 検査装置および検査方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3242447C2 (de) 1982-11-16 1986-01-23 Sophokles 8062 Markt Indersdorf Papaioannou Photoelektrische Kontrollvorrichtung zur Qualitätskontrolle einer bewegten Materialbahn
JPH0658731A (ja) * 1992-06-11 1994-03-04 Fujitsu Ltd パターン検査装置
JPH1123489A (ja) 1997-07-07 1999-01-29 Dainippon Printing Co Ltd 金属試料表面の外観検査方法および外観検査装置
JP2001304835A (ja) * 2000-04-26 2001-10-31 Toshiba Eng Co Ltd 凹凸測定用照明装置、凹凸測定装置、欠陥検査用照明装置、欠陥検査装置およびその照明方法
US7102740B2 (en) 2003-09-03 2006-09-05 Xyratex Technology Ltd. Method and system for determining surface feature characteristics using slit detectors
US8103085B1 (en) * 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
DE102009020920A1 (de) 2009-05-12 2010-11-18 Krones Ag Inspektionsvorrichtung zur Erkennung von Embossings und/oder Etiketten auf transparenten Gefäßen, insbesondere Getränkeflaschen
JP2012058091A (ja) 2010-09-09 2012-03-22 Ipro Llc 表面検査装置
EP2508870A1 (fr) * 2011-04-05 2012-10-10 Siemens Vai Metals Technologies SAS Dispositif d'inspection de bande en défilement
EP2574465A1 (en) * 2011-09-26 2013-04-03 Advanced Vision Technology (AVT) Ltd. Three dimensional pattern inspection system
ES2890649T3 (es) * 2013-05-23 2022-01-21 Rina Consulting Centro Sviluppo Mat S P A Método para la inspección de superficie de productos largos y aparato adecuado para llevar a cabo dicho método

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5087822A (en) * 1990-06-22 1992-02-11 Alcan International Limited Illumination system with incident beams from near and far dark field for high speed surface inspection of rolled aluminum sheet
CN1146805A (zh) * 1994-03-21 1997-04-02 泰特拉·勒维尔金融控股公司 包装薄片折缝位置检测的方法和装置
US6064478A (en) * 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems
US6166393A (en) * 1997-08-22 2000-12-26 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Method and apparatus for automatic inspection of moving surfaces
CN101371131A (zh) * 2005-07-08 2009-02-18 柯尼格及包尔公开股份有限公司 用于检查表面的装置
CN101726499A (zh) * 2008-10-10 2010-06-09 丰田自动车株式会社 表面检查装置
CN102412170A (zh) * 2010-07-13 2012-04-11 联达科技设备私人有限公司 多方向上反射的光源的采集系统和方法
JP2015125069A (ja) * 2013-12-26 2015-07-06 リコーエレメックス株式会社 検査装置および検査方法

Also Published As

Publication number Publication date
WO2017207112A1 (en) 2017-12-07
BR112018071487A2 (pt) 2019-02-19
CA3021480A1 (en) 2017-12-07
JP6746718B2 (ja) 2020-08-26
JP2019519767A (ja) 2019-07-11
KR20190003978A (ko) 2019-01-10
US11448501B2 (en) 2022-09-20
US20190145760A1 (en) 2019-05-16
CN109196337A (zh) 2019-01-11
ES2896884T3 (es) 2022-02-28
BR112018071487B1 (pt) 2022-12-20
EP3465169A1 (en) 2019-04-10
EP3465169B1 (en) 2021-09-29
CA3021480C (en) 2022-08-16
KR102172823B1 (ko) 2020-11-04

Similar Documents

Publication Publication Date Title
US20170191946A1 (en) Apparatus for and method of inspecting surface topography of a moving object
CN109196337B (zh) 一种图像捕获系统和一种用于确定片材元件上压花结构的位置的方法
JP6893219B2 (ja) 表面検査システム及び表面検査方法
US11169095B2 (en) Surface inspection system and method using multiple light sources and a camera offset therefrom
JP4808871B2 (ja) 表面性状評価装置
JP4525090B2 (ja) 紙皺検査装置、制御装置
US20090310126A1 (en) Method and apparatus for raised material detection
EP3916378B1 (en) Method and apparatus for capturing an image of a lateral face of a wooden board
JP6498477B2 (ja) ニス検査装置およびニス検査方法
CN115398213A (zh) 用于光学检测表面的方法和检测装置
JPH07306964A (ja) 紙葉類良否判別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant