CN107000334B - 对复合结构的在线检验 - Google Patents

对复合结构的在线检验 Download PDF

Info

Publication number
CN107000334B
CN107000334B CN201580065638.6A CN201580065638A CN107000334B CN 107000334 B CN107000334 B CN 107000334B CN 201580065638 A CN201580065638 A CN 201580065638A CN 107000334 B CN107000334 B CN 107000334B
Authority
CN
China
Prior art keywords
light source
composite construction
illumination light
described image
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580065638.6A
Other languages
English (en)
Other versions
CN107000334A (zh
Inventor
奥克塔维安·约安希姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bombardier Inc
Original Assignee
Bombardier Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bombardier Inc filed Critical Bombardier Inc
Publication of CN107000334A publication Critical patent/CN107000334A/zh
Application granted granted Critical
Publication of CN107000334B publication Critical patent/CN107000334B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B28—WORKING CEMENT, CLAY, OR STONE
    • B28B—SHAPING CLAY OR OTHER CERAMIC COMPOSITIONS; SHAPING SLAG; SHAPING MIXTURES CONTAINING CEMENTITIOUS MATERIAL, e.g. PLASTER
    • B28B1/00—Producing shaped prefabricated articles from the material
    • B28B1/52—Producing shaped prefabricated articles from the material specially adapted for producing articles from mixtures containing fibres, e.g. asbestos cement
    • B28B1/523—Producing shaped prefabricated articles from the material specially adapted for producing articles from mixtures containing fibres, e.g. asbestos cement containing metal fibres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B28—WORKING CEMENT, CLAY, OR STONE
    • B28B—SHAPING CLAY OR OTHER CERAMIC COMPOSITIONS; SHAPING SLAG; SHAPING MIXTURES CONTAINING CEMENTITIOUS MATERIAL, e.g. PLASTER
    • B28B17/00—Details of, or accessories for, apparatus for shaping the material; Auxiliary measures taken in connection with such shaping
    • B28B17/0063—Control arrangements
    • B28B17/0072—Product control or inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28—Shaping operations therefor
    • B29C70/30—Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
    • B29C70/38—Automated lay-up, e.g. using robots, laying filaments according to predetermined patterns
    • B29C70/382—Automated fiber placement [AFP]
    • B29C70/384—Fiber placement heads, e.g. component parts, details or accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28—Shaping operations therefor
    • B29C70/30—Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
    • B29C70/38—Automated lay-up, e.g. using robots, laying filaments according to predetermined patterns
    • B29C70/386—Automated tape laying [ATL]
    • B29C70/388—Tape placement heads, e.g. component parts, details or accessories
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29K—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES B29B, B29C OR B29D, RELATING TO MOULDING MATERIALS OR TO MATERIALS FOR MOULDS, REINFORCEMENTS, FILLERS OR PREFORMED PARTS, e.g. INSERTS
    • B29K2105/00—Condition, form or state of moulded material or of the material to be shaped
    • B29K2105/06—Condition, form or state of moulded material or of the material to be shaped containing reinforcements, fillers or inserts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8472—Investigation of composite materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8822—Dark field detection
    • G01N2021/8825—Separate detection of dark field and bright field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明描述了一种具有照明系统的在线检验方法和系统，所述照明系统以不同的强度同时地或循序地提供亮场和暗场照明，以便获取可以由图像处理装置读取的图像。所述图像处理装置可以获得对所述图像中的特征的测量，并且评估所述特征的可接受性。

Description

对复合结构的在线检验
相关申请的交叉参考
此申请根据35U.S.C.119(e)要求在2014年12月3日提交并且标题为“OnlineInspection for Composite Structures”的美国临时专利申请第62/086,970号的优先权，所述临时专利申请的内容以引用的方式并入本文。
技术领域
本发明涉及机器视觉检验领域，且更具体来说，涉及能够获得对复合部件的表面的特征的测量以便评估所述特征的可接受性的在线检验/测量系统。
技术背景
复合结构(或部件)一般是由具有显著不同的物理或化学性质的两种或更多种构成材料制成。为了使用它们两者的益处，在进行组合时，它们产生具有与个别材料不同的特性的结构。
在使用例如自动化铺丝(AFP)或自动化铺带(ATL)等制造过程来制造复合结构时，检验所制造结构的尺寸要求是所述制造过程的重要部分。所述检验过程的至少部分是对新近铺设的纤维进行的。由于纤维的不同方向性反射率，因此很难从此类表面获得高质量图像。另外，要检验的特征是黑色背景上的黑色细节，因此产生较差的对比度。
出于这些原因，用于执行尺寸检验的已知方法涉及使用手持式激光跟踪仪经由手动检验来搜集数据，并且让操作者将所测得的数据与来自计算机辅助设计(CAD)文件的理论数据进行比较。在复合结构具有许多层的情况下，对所述结构的每个层的纤维的手动检验是非常耗时的。手动检验的另一个缺点是，其依赖于操作者的手和眼的技能，这使得更难在稍后验证所述检验。
因此，需要改进某些结构的制造过程的检验阶段。
发明概要
描述了一种具有照明系统的在线检验方法和系统，所述照明系统以不同的强度同时地或循序地提供亮场和暗场照明，以便获取可以由图像处理装置读取的图像。所述图像处理装置可以获得对所述图像中的特征的测量，并且评估所述特征的可接受性。
根据第一广泛方面，提供一种用于对由自动化工具制造的复合结构进行在线检验的系统。所述系统包括图像获取装置，所述图像获取装置在复合结构的表面上方接近于工具的头部并且界定复合结构的表面上的视场，所述图像获取装置和复合结构的表面界定亮场照明区域和暗场照明区域；以及照明系统，所述照明系统定位在复合结构的表面上方。所述照明系统包括顶部照明光源，所述顶部照明光源在亮场照明区域内部，并且用于以第一强度将光投射到视场内的复合结构的表面上，所述光被所述表面反射朝向图像获取装置；以及侧面照明光源，所述侧面照明光源在暗场照明区域内部，并且用于以不同于所述第一强度的第二强度将光投射到视场内的复合结构的表面上，所述光被所述表面反射远离图像获取装置。
在一些实施例中，所述系统进一步包括光学适配器，其定位在图像获取装置与复合结构的表面之间，以用于使所述图像获取装置与所述表面隔开和/或基本上垂直于所述表面而引导所述图像获取装置的视觉轴。在一些实施例中，罩壳容纳所述光学适配器和所述照明系统并且耦接到所述图像获取装置。
在一些实施例中，所述图像获取装置包括具有长焦距F和相应观察距离D的镜头。在一些实施例中，所述长焦距F比图像获取装置的胶片平面和数字传感器中的一者的对角线长至少五倍。在一些实施例中，所述观察距离D比图像获取装置的胶片平面和数字传感器中的一者的对角线长至少二十倍。
在一些实施例中，顶部照明光源和侧面照明光源中的至少一者包括发光二极管(LED)阵列。在一些实施例中，所述LED阵列是以下各者中的至少一者：弯曲型和由不同强度的LED组成。在一些实施例中，所述LED包括闪光LED。在一些实施例中，所述顶部照明光源和所述侧面照明光源中的至少一者包括背光板。
在一些实施例中，所述顶部照明光源和所述侧面照明光源中的至少一者将彩色光投射到表面上。在一些实施例中，所述彩色光是红橙色和蓝色中的一者。
在一些实施例中，所述图像获取装置包括与照明系统的响应时间同步的快门时间。
根据另一广泛方面，提供一种用于对由自动化工具制造的复合结构进行在线检验的方法。所述方法包括通过从顶部照明光源以第一强度将光投射到复合结构的表面上且从侧面照明光源以不同于第一强度的第二强度将光投射到复合结构的表面上而照明复合结构的表面。所述方法还包括使用图像获取装置接近于自动化工具的头部来获取复合结构的被照表面的图像，所述图像获取装置和所述复合结构的表面界定包括顶部照明光源的亮场照明区域和包括侧面照明光源的暗场照明区域。
在一些实施例中，所述方法进一步包括使用光学适配器基本上垂直于所述表面而引导所述图像获取装置的视觉轴。所述光学适配器还可以用于使所述图像获取装置与所述表面隔开。在一些实施例中，所述光学适配器和所述照明系统包括在耦接到所述图像获取装置的罩壳中。
在一些实施例中，获取图像包括使用长焦距F和相应观察距离D来获取所述图像。在一些实施例中，所述长焦距F比图像获取装置的胶片平面和数字传感器中的一者的对角线长至少五倍。在一些实施例中，所述观察距离D比图像获取装置的胶片平面和数字传感器中的一者的对角线长至少二十倍。
在一些实施例中，顶部照明光源和侧面照明光源中的至少一者包括发光二极管(LED)阵列。在一些实施例中，所述LED阵列是以下各者中的至少一者：弯曲型和由不同强度的LED组成。在一些实施例中，所述LED包括闪光LED。在一些实施例中，所述顶部照明光源和所述侧面照明光源中的至少一者包括背光板。
在一些实施例中，照明复合部件的表面包括将彩色光投射到所述表面上。在一些实施例中，所述彩色光是红橙色和蓝色中的一者。
在一些实施例中，获取至少一个图像包括获取一系列，使用根据复合结构的表面的特定局部形态而应用的不同和定制的照明策略来获取每个图像。
在一些实施例中，照明复合结构的表面包括以依序方式以第一强度投射光并以第二强度投射光。
在本说明书中，被称为具有“长焦距”的镜头既定是指其放大标的的图像，例如长焦镜头或超长焦镜头。随着镜头的焦距增加，场深更浅(对于相同的观察距离)且视角更窄。因此，术语长焦距是指镜头的绝对焦距与胶片图像的对角线之间的关系。在一些实施例中，提供从大约70mm到大约300mm的长焦距。在一些实施例中，提供从大约135mm到大约300mm的长焦距。在一些实施例中，所述长焦距包括大于或等于大约70mm的焦距。在一些实施例中，所述长焦距比在图像获取装置中提供的传感器的对角线长至少五倍。在一些实施例中，长焦距的观察距离比在图像获取装置中提供的传感器的对角线长至少二十倍。
附图简述
通过结合附图进行的以下详细描述，本发明的其他特征和优点将变得显而易见，其中：
图1是用于对由自动化工具制造的复合结构进行在线检验的示例性系统的示意图；
图2a是在仅使用左侧暗场照明来照明表面时捕获的复合部件的表面的示例性图像；
图2b是在使用左侧暗场照明和顶侧亮场照明来照明表面时捕获的复合部件的表面的示例性图像；
图2c是在来自左侧的红橙色光照明的情况下的复合结构的表面的示例性图像；
图2d是在来自顶侧的红橙色光照明的情况下的复合结构的表面的示例性图像；
图3是用作照明源的光导的示例性实施例；
图4是具有光学适配器的用于在线检验的系统的示例性实施例；
图5a是没有任何预处理的复合部件的表面的示例性图像；
图5b是使用标准预处理的图5a的图像；
图5c是使用色彩反转预处理的图5a的图像；以及
图6是对由自动化工具制造的复合结构的在线检验的图像获取阶段的示例性方法的流程图。
应注意，在整个附图中，通过相同的参考数字来识别相同的特征。
具体实施方式
将描述用于对由自动化工具制造的复合结构进行在线检验的方法和系统。出于说明性目的，所描述的工具是自动化铺丝(AFP)机器，但可以使用其他自动化制造工具，例如自动化铺带(ATL)机器。为了使用AFP制造复合结构，沿着模具以多个层铺设纤维条带(丝束)以便产生具有所述模具的形状的复合结构。根据输入到AFP机器中以根据一组设计参数而产生给定结构的纤维分层轨迹而沿着模具放置纤维条带。可以检验的一些特征包括(但不限于)纤维间隙、纤维重叠、角度偏差、碎片，和丝束位置。
所述复合结构可以包括各种材料，例如(但不限于)水泥、混凝土、强化塑料、金属复合物和陶瓷复合物。举例来说，所述复合结构可以由复合纤维强化塑料组成。所述复合结构可以用于各种应用，包括(但不限于)建筑物、桥梁、航天器、飞行器、船只、陆地车辆(包括铁路车辆)，和例如风力涡轮机叶片、游泳池面板、浴缸、储罐和柜台等结构。
用于对由自动化工具制造的复合结构进行在线检验的系统一般包括如图1中说明的图像获取装置100和照明系统101。图像获取装置100可以是记录图像的任何仪器，所述图像可以被直接存储、传输到另一位置，或所述两者。举例来说，图像获取装置100可以是摄像机、照相机、数码相机、图像传感器、CCD传感器、CMOS传感器，和有源像素传感器，以及其他可能性。
通过图像处理器(未示出)来处理图像以实时地或基本上实时地(即，在模具上铺设每个层以形成复合结构时)执行检验。图像获取装置100被安装到自动化工具103的头部且界定复合结构的表面106上的视场(FOV)。图像获取装置100和复合结构的表面106还界定亮场照明区域105和暗场照明区域107。亮场照明区域105是复合结构表面106上方的区域，其中从光源发射且在FOV内投射的光将被反射到图像获取装置100中。暗场照明区域107是复合结构表面106上方的区域，其中从光源发射且在FOV内投射的光将被反射远离图像获取装置100。在亮场照明区域105内部提供一个或多个顶部照明光源102。在暗场照明区域107内部提供一个或多个侧面照明光源104。在一些实施例中，提供四个侧面照明光源104，即，前侧源、背侧源、左侧源，和右侧源。
照明系统101因此是暗场光和亮场光的组合，且经过提供以便显露复合结构的表面106上可得的充分细节，从而确保由图像获取装置100捕获的图像可以含有将由图像处理器成功地处理的足够信息。以第一强度提供侧面照明光源104且其用于产生与阴影的高对比度图像，即，突显表面细节。然而，过多的阴影会阻止图像处理器进行准确测量。虽然人类操作者可以能够更容易地区分高对比度图像中的缺陷，但过多的阴影对于图像处理器来说可能是个问题。因此以不同于第一强度的第二强度提供顶部照明光源102以填充由侧面照明光源104产生的阴影的边缘，使得这些边缘不会被图像处理器误认为是真实特征。
图2a和2b说明在仅具有暗场照明与具有亮场照明和暗场照明的组合之间的差异。图2a示出仅使用左侧照明光源104且不使用顶部照明光的情况下照明的表面的图像。图2b示出使用左侧照明光源104和顶部照明光源102照明的相同表面的图像。通过使用暗场和亮场照明的适当比例，会在保留图像的高对比度的同时减少或基本上消除在图2a中看到的阴影边缘。因此特别为在线系统构想出照明系统101，借此，实时地且自动地处理图像。
照明系统101可以包括漫射器以便产生非相干的光，并且因此避免由于纤维细节(斑点)上的闪烁反射和强投射的阴影而引入的噪声。可以为顶部照明光源102和/或侧面照明光源104提供漫射器。为了增加场深，可以向图像获取装置100提供关闭镜头的大部分光学场的光圈。可以使用快速快门速度(具有短打开时间)来确保短曝光时间，使得图像不模糊，因为图像是在表面移动时拍摄的。可以使用具有非常快速的响应时间的光源以允许与图像获取装置100的快门速度的精确同步。另外，图像获取装置100的设定(例如，快门速度和光圈大小)可以在图像之间不同并且可以实时地改变。对设定的自动调整允许由图像获取装置捕获的图像的质量在捕获具有不同表面特性的图像时是一致的，使得可以在表面移动时实时地以自动化模式对它们进行检验。
在一些实施例中，顶部照明源102和/或侧面照明源104包括如图3中说明的光导300。光导300可以由棱镜和多个镜子组成。在光导300的至少一个侧边缘上提供LED(发光二极管)光源302。沿着光导300的顶部边缘提供主要散射镜304，同时沿着其底部边缘提供辅助散射镜306。光导可以是如所说明的棱镜或由光纤制成的长束。出口散射窗口308允许散射(即，就是漫射光)光从光导300的底部边缘退出。替代地或与光导300组合地，顶部照明源102和/或侧面照明源104包括LED阵列照明板。所述板可以是笔直或弯曲的，从而使视场变宽。所述阵列中的LED还可以在强度上经过调制以便提供均匀的照明场。换句话说，所述阵列中的每个LED可以独立地设定其强度以获得所要的照明场。替代地或与光导300和/或LED阵列照明板组合地，顶部照明源102和/或侧面照明源104包括液晶显示器(LCD)背面照明系统，其在本文被称作背光板。背光板因此可以提供具有高扩散性水平的非常均匀的照明场，并且在一个紧凑特征中包括侧面照明源104和光导。所述背光板还可以是弯曲的和/或具有调节到所要的强度水平的个别纳米印制的微型镜头。
在一些实施例中，光源(侧面和/或顶部)的强度可能会太高而无法提供连续照明，因为这可能会致使表面106燃烧或固化。可以使用闪光LED照明。此类光源具有非常短的响应时间并且还发射“冷”光。对于由快门提供的短时间，闪光LED照明强度通常比连续模式LED照明的量级高至少一个量级，因此允许更亮或更强的照明系统101。另外，闪光LED的小尺寸允许以密集阵列进行安装，进而实现来自光源的非常均匀的光发射率。
在一些实施例中，顶部照明源102和/或侧面照明源104可以被配置成将彩色光投射到表面106上。可以使用色彩来区分复合结构的层。举例来说，在使用可见光谱的红橙色部分中的光频率来照明表面106时，光吸收非常高且很大程度上取决于纤维定向。因此可以使用红橙色光使用纤维定向来显露结构的不同层。可以使用红橙色光使铺层的最后一层与前一层在视觉上“分离”。图2c和2d是使用红橙色光成像的复合结构的示例性实施例。在图2c中，仅从侧面照明源104提供红橙色光，而在图2d中，仅从顶部照明源102提供红橙色照明。如所示，在两种情况下，清楚地区分了最后一层和前一层。
可以提供处于大约625nm到大约775nm的波长的红橙色光。在一些实施例中，可以使用处于大约590nm的波长的橙色光。在一些实施例中，可以使用处于大约650nm的波长的红色光。在一些实施例中，可以使用处于大约621nm的波长的红橙色光。在另一实例中，可以使用蓝色光以产生高对比度图像，这归于AFP表面的高反射率。可以提供处于大约425nm到大约490nm的波长的蓝色光。在一些实施例中，可以提供处于大约475nm的波长的蓝色光。还可以依据材料上的光的所要的反射率和/或吸收而使用其他色彩。可以基于复合结构的材料和/或材料的色彩且/或基于光照和图像获取的所要目的(即，区分层或突显结构的表面上的某些细节)来选择色彩。可以与白光组合地使用彩色光以便产生所要的效果。
在一些实施例中，顶部照明源102和/或侧面照明源104可以被配置成将红外光投射到表面106上。在通过热灯对表面进行预加热以提高粘着性时，碳的最后一层由于压实辊而变热。可以设定相机以在红外域中获取图像，以便区分热层与背景，这类似于使用红橙色照明的实施例。
如图1中所示，复合结构的表面106可以弯曲，因此向图像中引入视差误差。可以通过具有小视觉场、垂直于表面的视觉方向、小视觉角度(或长视觉距离)，和/或非常靠近表面而执行的检验来使视差误差最小化。在将由AFP制造的复合结构的表面成像时，无法将视觉场减小超过由铺层几何形状强加的特定大小。靠近压实辊的自由空间受到限制，因此使接近复合结构的表面并且在视觉方向垂直于所述表面的情况下安装相机复杂化。另外，长视觉距离还使得接近压实辊来安装相机成为挑战。因此，在一些实施例中，向在线检验系统提供光学适配器，其定位在图像获取装置与复合结构的表面之间，以用于使所述图像获取装置与所述表面隔开且基本上垂直于所述表面而引导所述图像获取装置的视觉轴。因此可以将所述图像获取装置安装到工具的头部，且使用长焦距来用于所述图像获取装置。
图4是具有长焦距和光学适配器的在线检验系统400的示例性实施例的侧视图。具备具有长焦距的镜头的相机408被安装到AFP铺层头部402。光学适配器412使相机408与表面406隔开，并且与表面406基本上垂直地引导相机408的视觉轴。相机408与表面406的隔开还允许在相机408下方且在表面406上方的用于照明系统410的空间。可以在单个外壳409中提供照明系统410和光学适配器412。在一些实施例中，所述外壳可以是暗室罩壳，以便阻挡所有环境光，并且允许对投射到复合结构的表面406上的光进行更好的控制。替代地，外壳309可以仅封围照明系统410，并且可以与其单独地提供光学适配器412。
光学适配器412可以由一个或多个光学元件组成以用于与正被成像的表面垂直地引导图像获取装置的视觉轴。举例来说，光学适配器412可以由半五棱镜或一对镜子组成。还可以使用其他光学元件。
在一些实施例中，向在线检验系统400提供长视觉距离、短快门时间、关闭的光圈、高强度照明、非常漫射的照明、没有光束的光相干性或非常低的光相干性、非常靠近表面的浅角度照明、结合浅角度照明的顶侧照明、具有非常快速的响应的闪光照明光源，和以特定波长发射的光，以使最后一层与背景分离。虽然看起来容易得到漫射光源，但复合表面所需的扩散性水平比当前可得的扩散性水平高得多。这是由于纤维的非常小的尺寸，在照明光是均匀只有一点点相干的情况下，这可能会容易产生斑点。
在一些实施例中，使用色彩反转来增强复合结构的暗特征与暗背景之间的对比度。色彩反转有助于在特征提取之后对图像的背景进行滤波，而不会失去有用的信息。在特征自身是黑色且背景是黑色因此具有非常低的对比度时，色彩反转可以尤其有用。图5a是由在线检验系统的图像获取装置捕获的原始图像的实例。在此实例中，目标是检测复合结构的表面中的间隙。图5b是在通常应用于图像的标准预处理之后的原始图像的实例。如所示，可以在图像上看到许多特征，而不仅仅是间隙。图5c是使用色彩反转的原始图像的实例。清楚地示出间隙502而没有图像中的额外特征。滤波水平可以自动化，这是因为特征与背景的比率可以在处理器的反馈回路中得到优化。
图6是用于对由自动化工具制造的复合结构进行在线检验的方法的示例性实施例的流程图。所述方法包括照明复合结构的表面的第一步骤600，紧接着是获取所照明表面的至少一个图像的步骤606。所述照明步骤600可以由将亮场照明投射到复合部件的表面上的步骤602和将暗场照明投射到复合部件的表面上的步骤604组成。由顶部照明光源以第一强度提供亮场照明，且由侧面照明光源以不同于所述第一强度的第二强度提供暗场照明。对所述两个强度进行调整以提供合适对比的图像而没有太多的阴影，以便允许图像处理器检测图像中的特征和/或在图像中执行测量。可以同时地或一个接一个地按序列(但在相同快门打开中)应用所述亮场照明和暗场照明步骤。如果将不同色彩用于暗场和亮场照明，那么可以使用序列应用以避免不可预测的减色或加色形成。
在一些实施例中，获取至少一个图像包括获取一系列多个图像。可以使用不同和定制的照明策略来获取序列中的图像中的每一者。可以根据复合结构的表面的特定局部形态来选择/应用照明策略。所述方法因此可以实时地适应复合部件的表面，且可以以自动化方式执行检验。
如上所述，可以将图像获取装置安装到自动化工具的头部。替代地，可以将图像获取装置构建到所述工具的头部中。可以与图像获取装置远程地提供图像处理器，因此允许附接到自动化工具的头部的系统的部分保持重量轻和体积小。可以使用色彩反转图像预处理来用于检测特定类型的特征。可以通过图像处理器或通过从图像获取装置接收所获取的图像的中间装置(例如，可编程逻辑控制器(PLC)、上层控制器等)来直接应用色彩反转。
本文中所描述的方法和系统允许以及时的方式对新近铺设的纤维进行实时检验。复合结构上的大量特征和位置需要速度，以便考虑到在复合结构的表面干燥时的表面反射率的改变。本文中所描述的用于增强待检验的特征的对比度的手段(例如，光频率、照明类型和照明角度)允许为快速和自动化检验过程获取高质量图像。
以上描述打算仅是示例性的，且本领域技术人员将认识到，在不脱离所公开的本发明的范围的情况下，可以对实施例作出改变。举例来说，本文中所描述的流程图和图式中的框和/或操作仅用于实例的目的。在不脱离本公开的教导的情况下，这些框和/或操作可能存在许多变化。例如，可以通过不同次序执行框，或者可以添加、删除或修改框。因此，提供所说明的结构是为了教导本实施例的效率。在不脱离权利要求书的标的的情况下，可以通过其他特定形式来体现本公开。而且，本领域技术人员将了解，虽然本文公开和示出的系统和方法可以包括特定数目的元件/部件，但可以修改所述系统和方法以包括额外的或更少的此类元件/部件。还希望本公开涵盖并且包括技术上的所有合适的改变。鉴于对本公开的检视，本领域技术人员将明白属于本发明的范围内的修改，且希望此类修改属于所附权利要求书内。

Claims (26)

1.一种用于对由自动化工具制造的复合结构进行在线检验的系统，所述系统包括：
图像获取装置，所述图像获取装置在所述复合结构的表面上方接近于所述工具的头部并且界定所述复合结构的所述表面上的视场，所述图像获取装置和所述复合结构的所述表面界定亮场照明区域和暗场照明区域；
照明系统，所述照明系统定位在所述复合结构的所述表面上方且包括：
顶部照明光源，所述顶部照明光源在所述亮场照明区域内部，用于以第一强度将光投射到所述视场内的所述复合结构的所述表面上，所述光被所述表面反射朝向所述图像获取装置；以及
侧面照明光源，所述侧面照明光源在所述暗场照明区域内部，用于以不同于所述第一强度的第二强度将光投射到所述视场内的所述复合结构的所述表面上，所述光被所述表面反射远离所述图像获取装置；
光学适配器，所述光学适配器定位在所述图像获取装置与所述复合结构的所述表面之间，以用于基本上垂直于所述表面而引导所述图像获取装置的视觉轴；以及
罩壳，所述罩壳至少容纳所述照明系统且耦接到所述图像获取装置，所述罩壳阻挡环境光并且提供对到所述复合结构的所述表面上的光的控制，
其中，通过所述顶部照明光源和所述侧面照明光源的组合来照明所述表面，并且来自所述顶部照明光源的光填充由所述侧面照明光源产生的阴影的边缘。
2.如权利要求1所述的系统，其中所述罩壳容纳所述光学适配器和所述照明系统。
3.如权利要求1所述的系统，其中所述图像获取装置包括具有长焦距F和相应观察距离D的镜头。
4.如权利要求3所述的系统，其中所述长焦距F比所述图像获取装置的胶片平面和数字传感器中的一者的对角线长至少五倍。
5.如权利要求4所述的系统，其中所述观察距离D比所述图像获取装置的所述胶片平面和所述数字传感器中的一者的所述对角线长至少二十倍。
6.如权利要求1所述的系统，其中所述顶部照明光源和所述侧面照明光源中的至少一者包括发光二极管LED阵列。
7.如权利要求6所述的系统，其中所述LED阵列是以下各者中的至少一者：弯曲型和由不同强度的LED组成。
8.如权利要求6所述的系统，其中所述LED包括闪光LED。
9.如权利要求1所述的系统，其中所述顶部照明光源和所述侧面照明光源中的至少一者包括背光板。
10.如权利要求1所述的系统，其中所述顶部照明光源和所述侧面照明光源中的至少一者将彩色光投射到所述表面上。
11.如权利要求10所述的系统，其中所述彩色光是红橙色和蓝色中的一者。
12.如权利要求1所述的系统，其中所述图像获取装置包括与所述照明系统的响应时间同步的快门时间。
13.如权利要求1所述的系统，其中，所述光学适配器定位在所述图像获取装置与所述复合结构的所述表面之间，以用于使所述图像获取装置与所述表面隔开。
14.一种用于对由自动化工具制造的复合结构进行在线检验的方法，所述方法包括：
提供照明系统，所述照明系统包括顶部照明光源和侧面照明光源；
通过以下操作来照明所述复合结构的表面：
从所述顶部照明光源以第一强度将光投射到所述复合结构的所述表面上；以及
从所述侧面照明光源以不同于所述第一强度的第二强度将光投射到所述复合结构的所述表面上；
使用接近于所述自动化工具的头部的图像获取装置来获取所述复合结构的所述被照表面的至少一个图像，所述图像获取装置和所述复合结构的所述表面界定包括所述顶部照明光源的亮场照明区域和包括所述侧面照明光源的暗场照明区域；以及
使用光学适配器基本上垂直于所述表面而引导所述图像获取装置的视觉轴，
其中，所述照明系统被包括在耦接到所述图像获取装置的罩壳中，所述方法还包括：
利用所述罩壳阻挡环境光并且提供对到所述复合结构的所述表面上的光的控制，
其中，通过所述顶部照明光源和所述侧面照明光源的组合来照明所述表面，并且来自所述顶部照明光源的光填充由所述侧面照明光源产生的阴影的边缘。
15.如权利要求14所述的方法，其中所述光学适配器和所述照明系统包括在耦接到所述图像获取装置的所述罩壳中。
16.如权利要求14所述的方法，其中获取图像包括使用长焦域中的长焦距F和相应观察距离D来获取所述图像。
17.如权利要求16所述的方法，其中所述长焦距F比所述图像获取装置的胶片平面和数字传感器中的一者的对角线长至少五倍。
18.如权利要求17所述的方法，其中所述观察距离D比所述图像获取装置的所述胶片平面和所述数字传感器中的一者的所述对角线长至少二十倍。
19.如权利要求14所述的方法，其中所述顶部照明光源和所述侧面照明光源中的至少一者包括发光二极管LED阵列。
20.如权利要求19所述的方法，其中所述LED阵列是以下各者中的至少一者：弯曲型和由不同强度的LED组成。
21.如权利要求19所述的方法，其中所述LED包括闪光LED。
22.如权利要求14所述的方法，其中所述顶部照明光源和所述侧面照明光源中的至少一者包括背光板。
23.如权利要求14所述的方法，其中照明所述复合部件的所述表面包括将彩色光投射到所述表面上。
24.如权利要求23所述的方法，其中所述彩色光是红橙色和蓝色中的一者。
25.如权利要求14所述的方法，其中获取至少一个图像包括获取一系列多个图像，使用根据所述复合结构的所述表面的特定局部形态而应用的不同和定制的照明策略来获取每个图像。
26.如权利要求14所述的方法，其中照明所述复合结构的所述表面包括以依序方式以所述第一强度投射光并以所述第二强度投射光。
CN201580065638.6A 2014-12-03 2015-11-30 对复合结构的在线检验 Expired - Fee Related CN107000334B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462086970P 2014-12-03 2014-12-03
US62/086,970 2014-12-03
PCT/IB2015/059223 WO2016088024A1 (en) 2014-12-03 2015-11-30 Online inspection for composite structures

Publications (2)

Publication Number Publication Date
CN107000334A CN107000334A (zh) 2017-08-01
CN107000334B true CN107000334B (zh) 2019-08-13

Family

ID=54783979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580065638.6A Expired - Fee Related CN107000334B (zh) 2014-12-03 2015-11-30 对复合结构的在线检验

Country Status (5)

Country Link
US (1) US10445869B2 (zh)
EP (1) EP3227669A1 (zh)
CN (1) CN107000334B (zh)
CA (1) CA2969643A1 (zh)
WO (1) WO2016088024A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3193158B1 (en) * 2016-01-14 2020-06-17 Volkswagen AG System and method for assessing the visual appearance of a reflective surface
CN108088845B (zh) * 2017-12-07 2020-09-11 武汉精测电子集团股份有限公司 一种基于微弱信息保留的成像校正方法与装置
JP6914484B2 (ja) * 2018-03-14 2021-08-04 オムロン株式会社 光電センサ及びセンサシステム
EP3552809B1 (en) * 2018-03-30 2022-06-08 The Boeing Company Automated fiber placement end effector with laminar gas cooling jet and infrared image processor for in-situ inspection
US10899089B2 (en) 2018-03-30 2021-01-26 The Boeing Company Automated fiber placement end effector with laminar gas cooling jet and infrared image processor for in-situ inspection
NL2020882B1 (en) * 2018-05-04 2019-11-12 Boeing Co Automated fiber placement end effector with laminar gas cooling jet and infrared image processor for in-situ inspection
US10928340B2 (en) * 2018-06-14 2021-02-23 The Boeing Company Method and apparatus for controlling contact of composite tows
US11002697B2 (en) * 2018-08-17 2021-05-11 The Boeing Company Robotic infrared thermographic inspection for unitized composite structures
US10996177B2 (en) * 2019-07-03 2021-05-04 The Boeing Company Automated inspection system for composite structures
DE102020111106A1 (de) * 2020-04-23 2021-10-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zum Erkennen von Fehlstellen an Fasermaterialien

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11108637A (ja) * 1997-10-03 1999-04-23 Dakku Engineering Kk 品質検査装置
EP1503206A1 (en) * 2003-07-28 2005-02-02 The Boeing Company Systems and methods for identifying foreign objects and debris and defects during fabrication of a composite structure
US8451440B2 (en) * 2009-05-19 2013-05-28 Kla-Tencor Mie Gmbh Apparatus for the optical inspection of wafers
KR20140031372A (ko) * 2011-08-08 2014-03-12 그렌체바흐 마쉬넨바우 게엠베하 투명 재료에서의 재료 결함을 확실하게 검출하기 위한 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5562788A (en) 1994-09-20 1996-10-08 The Boeing Company Composite material laser flaw detection
US6075883A (en) * 1996-11-12 2000-06-13 Robotic Vision Systems, Inc. Method and system for imaging an object or pattern
US6180415B1 (en) 1997-02-20 2001-01-30 The Regents Of The University Of California Plasmon resonant particles, methods and apparatus
US6424407B1 (en) 1998-03-09 2002-07-23 Otm Technologies Ltd. Optical translation measurement
US6290382B1 (en) 1998-08-17 2001-09-18 Ppt Vision, Inc. Fiber bundle combiner and led illumination system and method
US6871684B2 (en) 2002-08-13 2005-03-29 The Boeing Company System for identifying defects in a composite structure
US6960769B2 (en) 2002-10-03 2005-11-01 Abb Inc. Infrared measuring apparatus and method for on-line application in manufacturing processes
TW589242B (en) 2003-08-01 2004-06-01 Bau-Fang Liou Nut riveter
US20050094021A1 (en) * 2003-11-03 2005-05-05 Demitry Gorlik Auto focus camera optical system
US7193696B2 (en) * 2004-04-12 2007-03-20 United Technologies Corporation Systems and methods for using light to indicate defect locations on a composite structure
US7889907B2 (en) * 2005-01-12 2011-02-15 The Boeing Company Apparatus and methods for inspecting tape lamination
US7835567B2 (en) 2006-01-24 2010-11-16 Ingersoll Machine Tools, Inc. Visual fiber placement inspection
US7659973B2 (en) 2006-05-26 2010-02-09 Applied Materials Southeast Asia, Pte Ltd. Wafer inspection using short-pulsed continuous broadband illumination
US8098375B2 (en) * 2007-08-06 2012-01-17 Lumencor, Inc. Light emitting diode illumination system
US7807002B2 (en) 2007-12-17 2010-10-05 The Boeing Company Verification of tow cut for automatic fiber placement
TWI512865B (zh) 2008-09-08 2015-12-11 Rudolph Technologies Inc 晶圓邊緣檢查技術
JP5875812B2 (ja) * 2011-09-27 2016-03-02 オリンパス株式会社 顕微鏡システムおよび照明強度調整方法
TWI454689B (zh) * 2011-12-29 2014-10-01 Chroma Ate Inc 光學檢測系統
US9299118B1 (en) * 2012-04-18 2016-03-29 The Boeing Company Method and apparatus for inspecting countersinks using composite images from different light sources
TWI490471B (zh) 2013-01-28 2015-07-01 Univ Nat Taiwan 非破壞性的複合材料檢測裝置及其檢測方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11108637A (ja) * 1997-10-03 1999-04-23 Dakku Engineering Kk 品質検査装置
EP1503206A1 (en) * 2003-07-28 2005-02-02 The Boeing Company Systems and methods for identifying foreign objects and debris and defects during fabrication of a composite structure
US8451440B2 (en) * 2009-05-19 2013-05-28 Kla-Tencor Mie Gmbh Apparatus for the optical inspection of wafers
KR20140031372A (ko) * 2011-08-08 2014-03-12 그렌체바흐 마쉬넨바우 게엠베하 투명 재료에서의 재료 결함을 확실하게 검출하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP3227669A1 (en) 2017-10-11
WO2016088024A1 (en) 2016-06-09
US20170365049A1 (en) 2017-12-21
CA2969643A1 (en) 2016-06-09
CN107000334A (zh) 2017-08-01
US10445869B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
CN107000334B (zh) 对复合结构的在线检验
US7276719B2 (en) Device for a goniometric examination of the optical properties of surfaces
CN106595482B (zh) 激光投影系统的光斑测量方法及装置
US8390926B2 (en) High speed acquisition vision system and method for selectively viewing object features
CN108136600A (zh) 系统
JP2008249568A (ja) 外観検査装置
KR101211438B1 (ko) 결함 검사장치
CN110262092A (zh) 一种基于机器视觉系统的液晶屏检测方法
CN107727665A (zh) 外观检查装置及外观检查方法
CN107544135A (zh) 具有测距功能的内视镜及测距方法
TW201005285A (en) System and method for inspection of semiconductor packages
KR101739096B1 (ko) 디스플레이 패널 외관 검사 장치 및 그 검사 방법
KR101006983B1 (ko) 패널 검사장치
CN103439812B (zh) 液晶玻璃基板45°角检查法
CN106885809B (zh) 一种ito导电玻璃缺陷检测成像方法
CN108152302A (zh) 一种曲面光学元件表面疵病的检测装置及方法
CN206223209U (zh) 光学机构和光学测量仪
CN110196232A (zh) 一种共焦成像装置及共焦成像方法
JP2006270798A (ja) 合成映像撮影装置
TW201939014A (zh) 用於檢測面板斑紋的光學檢測系統及其方法
CN209387247U (zh) 一种银幕亮度测试装置
JP7458617B1 (ja) 検査用照明装置及び照明光学系及び検査システム
JP2013113812A (ja) 透明膜検査装置及び検査方法
TWM281285U (en) Optical testing device
JP2005180939A (ja) 光学装置、検査装置及び検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190813

Termination date: 20201130