CN115705646A - 过程中检测和映射复合铺层中的缺陷的方法 - Google Patents

过程中检测和映射复合铺层中的缺陷的方法 Download PDF

Info

Publication number
CN115705646A
CN115705646A CN202210961784.9A CN202210961784A CN115705646A CN 115705646 A CN115705646 A CN 115705646A CN 202210961784 A CN202210961784 A CN 202210961784A CN 115705646 A CN115705646 A CN 115705646A
Authority
CN
China
Prior art keywords
defect
layup
product
image
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210961784.9A
Other languages
English (en)
Inventor
特洛伊·温弗里
萨亚塔·高斯
布赖斯·A·约翰逊
达斯廷·法斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN115705646A publication Critical patent/CN115705646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28Shaping operations therefor
    • B29C70/30Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
    • B29C70/34Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core and shaping or impregnating by compression, i.e. combined with compressing after the lay-up operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28Shaping operations therefor
    • B29C70/54Component parts, details or accessories; Auxiliary operations, e.g. feeding or storage of prepregs or SMC after impregnation or during ageing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C73/00Repairing of articles made from plastics or substances in a plastic state, e.g. of articles shaped or produced by using techniques covered by this subclass or subclass B29D
    • B29C73/24Apparatus or accessories not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B3/00Layered products comprising a layer with external or internal discontinuities or unevennesses, or a layer of non-planar shape; Layered products comprising a layer having particular features of form
    • B32B3/10Layered products comprising a layer with external or internal discontinuities or unevennesses, or a layer of non-planar shape; Layered products comprising a layer having particular features of form characterised by a discontinuous layer, i.e. formed of separate pieces of material
    • B32B3/14Layered products comprising a layer with external or internal discontinuities or unevennesses, or a layer of non-planar shape; Layered products comprising a layer having particular features of form characterised by a discontinuous layer, i.e. formed of separate pieces of material characterised by a face layer formed of separate pieces of material which are juxtaposed side-by-side
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B3/00Layered products comprising a layer with external or internal discontinuities or unevennesses, or a layer of non-planar shape; Layered products comprising a layer having particular features of form
    • B32B3/10Layered products comprising a layer with external or internal discontinuities or unevennesses, or a layer of non-planar shape; Layered products comprising a layer having particular features of form characterised by a discontinuous layer, i.e. formed of separate pieces of material
    • B32B3/18Layered products comprising a layer with external or internal discontinuities or unevennesses, or a layer of non-planar shape; Layered products comprising a layer having particular features of form characterised by a discontinuous layer, i.e. formed of separate pieces of material characterised by an internal layer formed of separate pieces of material which are juxtaposed side-by-side
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B37/00Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding
    • B32B37/06Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding characterised by the heating method
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B37/00Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding
    • B32B37/10Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding characterised by the pressing technique, e.g. using action of vacuum or fluid pressure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B37/00Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding
    • B32B37/14Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding characterised by the properties of the layers
    • B32B37/16Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding characterised by the properties of the layers with all layers existing as coherent layers before laminating
    • B32B37/18Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding characterised by the properties of the layers with all layers existing as coherent layers before laminating involving the assembly of discrete sheets or panels only
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B38/00Ancillary operations in connection with laminating processes
    • B32B38/18Handling of layers or the laminate
    • B32B38/1808Handling of layers or the laminate characterised by the laying up of the layers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B41/00Arrangements for controlling or monitoring lamination processes; Safety arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B41/00Arrangements for controlling or monitoring lamination processes; Safety arrangements
    • B32B2041/04Detecting wrong registration, misalignment, deviation, failure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B2309/00Parameters for the laminating or treatment process; Apparatus details
    • B32B2309/70Automated, e.g. using a computer or microcomputer
    • B32B2309/72For measuring or regulating, e.g. systems with feedback loops
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B32LAYERED PRODUCTS
    • B32BLAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B2605/00Vehicles
    • B32B2605/18Aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Composite Materials (AREA)
  • Quality & Reliability (AREA)
  • Fluid Mechanics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Moulding By Coating Moulds (AREA)

Abstract

一种检测复合铺层中的缺陷的方法,包括:使用红外相机捕获由参考铺层头铺设的参考铺层的参考图像。该方法还包括手动检查用于缺陷的参考图像,并且生成指示参考图像中的缺陷的参考缺陷掩模。该方法还包括使用参考图像和参考缺陷掩模来训练神经网络,从而创建机器学习模型,在产品图像作为输入的情况下,该模型输出指示每个缺陷的缺陷位置和缺陷类型的产品缺陷掩模。该方法还包括使用红外相机捕获由产品铺层头铺设的产品铺层的产品图像,并且将模型应用于产品图像以自动生成指示产品图像中的每个缺陷的产品缺陷掩模。

Description

过程中检测和映射复合铺层中的缺陷的方法
技术领域
本公开总体上涉及复合材料制造,并且更具体地涉及一种过程中(in-process)检测和映射复合铺层中的缺陷的方法。
背景技术
由于复合结构的高强度重量比、耐腐蚀性、降低的重量以及其他有利的性能,使得复合结构用于包括在飞机中的多种应用中。此外,复合材料为飞机的各种结构提供了增加的使用寿命。具体地,在飞机制造中,复合结构可用于形成飞机的机身、机翼、尾部和其他部分。
然而,在制造过程期间对复合材料质量的监测是具有挑战性的。复合结构典型地通过在铺层工具上一次铺设一个复合层以铺设多个复合层来制造。诸如自动铺丝头的复合铺层头典型地用于将每个复合层自动铺设为带或丝束的多个单独的层件(course)。层件顺序地并排施加至基板并且彼此平行。在铺层过程期间,必须监测复合铺层以便发现可能影响总体铺层质量的问题。例如,必须监测复合铺层的缺陷(诸如复合材料的丝束中的扭曲、折叠、间隙和重叠)的存在。可能发生的其他缺陷包括遗漏丝束、异物碎片(FOD)、绒毛球以及丝束和基板之间的低质量粘性。
监控复合铺层的缺陷的传统方法包括在铺设每个复合层之后由质量保证(QA)人员对每个复合层进行的视觉检查。虽然通常是有效的,但是由QA人员进行的视觉检查是对复合铺层的定性测量,并且因此经受人为误差影响。此外,当QA人员进行对复合铺层的视觉检查时,必须暂时停止复合铺层头的操作。由于视觉检查多层铺层中的每个复合层所需的时间量,视觉检查方法对总体生产速率具有显著影响。
在制造期间监控复合铺层质量的另一种方法是在过程中基于图像的方法。然而,这种方法依赖于经典的机器视觉算法,涉及边缘检测和基于启发式的决策。机器视觉方法需要设备的复杂设置,包括安装和定位多个相机。此外,机器视觉方法需要对预期丝束边缘位置、预期热梯度和可容许偏差进行耗时且特定构建的预编程。此外,机器视觉方法受特定启发式的质量以及经典算法的计算复杂性的限制,从而导致不理想的检测可信度以及对可检测到的缺陷类型的范围的限制。机器视觉方法还需要铺层头在特定速度阈值以下运行,这对生产速率具有负面影响。
可见,在本领域中需要一种检查复合铺层的方法,该方法最小化铺层头的操作必须停止的时间量,需要最少量的设备设置和预编程,在计算上是高效的并且不是特定构建的。
发明内容
本公开解决了与检查复合铺层相关联的上述需要,本公开提供了在过程中检测复合铺层中的缺陷的方法。该方法包括使用参考铺层头的红外相机捕获由参考铺层头铺设的参考铺层的层件的一系列参考图像。该方法另外包括手动检查用于缺陷的参考图像,并且为包括缺陷的每个参考图像生成指示参考图像中的每个缺陷的缺陷位置并识别缺陷类型的参考缺陷掩模。该方法还包括使用参考图像和对应的参考缺陷掩膜来训练人工神经网络,以便以创建机器学习缺陷识别模型的方式来执行分割,在产品图像作为输入的情况下,该模型输出指示由该模型检测到的每个缺陷的缺陷位置和缺陷类型的产品缺陷掩膜。该方法还包括使用产品铺层头的红外相机捕获由产品铺层头铺设的产品铺层的至少一个层件的一系列产品图像。另外,该方法包括将模型应用到产品图像,并且为包括缺陷的每个产品图像自动生成指示由模型检测到的每个缺陷的缺陷位置并识别缺陷类型的产品缺陷掩模。
还公开了一种过程中检测复合铺层中的缺陷的方法,包括:使用参考铺层头的一个或多个红外相机捕获由参考铺层头铺设的参考铺层的层件的一系列参考图像,该层件包括彼此并排的多个丝束。该方法还包括手动检查用于缺陷的参考图像,并且为包括缺陷的每个参考图像生成指示该层件中的用于每个丝束的丝束边界和独特的丝束识别号以及参考图像中的每个缺陷的缺陷位置并识别缺陷类型的参考缺陷掩模。该方法还包括使用参考图像和对应的参考缺陷掩模来训练人工神经网络,以便以创建机器学习缺陷识别模型的方式来执行实例分割,在产品图像作为输入的情况下,该模型输出指示层件中每个丝束的丝束边界和丝束识别号以及由该模型检测到的每个缺陷的缺陷位置和缺陷类型的产品缺陷掩模。此外,该方法包括使用产品铺层头的一个或多个红外相机捕获由产品铺层头铺设的产品铺层的丝束的一个或多个层件的一系列产品图像。此外,该方法包括将模型应用于产品图像,并且为包括缺陷的每个产品图像自动生成指示缺陷类型、沿着层件的纵向方向识别缺陷位置、以及指示包括缺陷的一个或多个丝束的丝束识别号的产品缺陷掩模。
此外,公开了一种过程中映射复合铺层中的缺陷的方法,包括:在由参考铺层头施加到基板上期间,使用图像注释软件程序为参考铺层的层件的多个参考图像中的每个手动生成参考缺陷掩模。每个参考图像示出层件中的至少一个缺陷。该方法还包括使用参考图像和对应的参考缺陷掩模来训练人工神经网络,以便以创建机器学习缺陷识别模型的方式来执行实例分割,在产品图像作为输入的情况下,该模型输出指示由该模型检测到的每个缺陷的缺陷位置和缺陷类型的产品缺陷掩模。该方法另外包括使用产品铺层头的红外相机捕获由产品铺层头铺设的产品铺层的一个或多个层件的一系列产品图像。此外,该方法包括将模型实时地应用于产品图像以在产品铺层的层件中自动定位和分类缺陷。
已经讨论的特征、功能和优点可以在本公开的各种版本中独立地实现,或者可以在其他版本中组合,其进一步的细节可以参考以下描述和附图看出。
附图说明
结合附图参考以下详细描述,可以更好地理解本发明,附图示出了示例性版本,但不一定按比例绘制。附图是示例,并不意味着对描述或权利要求的限制。
图1是过程中检测复合铺层中的缺陷的方法的示例的流程图的图示;
图2是过程中检测复合铺层中的缺陷的方法的另一示例的流程图的图示;
图3示出了在参考铺层工具上铺设参考铺层的参考铺层头的示例;
图4是图3的参考铺层头的侧视图;
图5是沿图4的线5截取的立体图,并且示出了参考铺层头将复合材料的单宽度带分配到基板上;
图6是参考铺层头将复合材料的丝束并排地分配到基板上的示例的立体图;
图7示出了由参考铺层头的红外相机捕获的参考图像的示例,并且示出了起皱、绒毛球、异物碎片和落下的丝束;
图8示出了叠加在图7的参考图像上的参考缺陷掩模(即,像素掩模)的示例,并且指示了每个丝束的丝束边界且指示了图7中的每个缺陷的缺陷位置及缺陷类型;
图9示出了图8的参考缺陷掩模;
图10示出了由参考铺层头的红外相机捕获的参考图像的示例,并且示出了褶皱、扭曲的丝束、树脂球和缺失的丝束;
图11示出了叠加在参考图像上的参考缺陷掩模,并且指示了图10中每个缺陷的丝束边界、缺陷位置和缺陷类型;
图12示出了图11的参考缺陷掩模;
图13示出了由参考铺层头的红外相机捕获的参考图像的示例,并且示出了间隙、折叠丝束和低质量粘性;
图14示出了叠加在参考图像上的参考缺陷掩模,并且指示了图13中的每个缺陷的丝束边界、缺陷位置及缺陷类型;
图15示出了图14的参考缺陷掩模;
图16是人工神经网络的模型架构的示意图;
图17是模型架构优化循环的示意图;
图18是当通过产品铺层头将产品复合铺层铺设在产品铺层工具上时的产品复合铺层的示例的立体图;
图19示出了其产品图像被提交到模型的层件之一;
图20是将产品图像提交到模型以生成产品缺陷掩模的示意图;
图21示出了在产品缺陷掩模与图19的层件的数字表示空间对准过程中的计算机的显示屏;
图22示出了图21的显示屏,示出了产品缺陷掩模与层件的数字表示空间对准,从而形成缺陷映射;
图23示出了显示屏,示出了包括图18的产品铺层的复合层的缺陷位置的缺陷映射;
图24示出了图23的缺陷映射的一部分的放大图,示出了复合层中多个缺陷的部分上坐标和缺陷类型;
图25A是过程中映射复合铺层中的缺陷的方法的一部分的流程图的图示;
图25B是图25A的方法的继续部分的流程图的图示。
本公开中所示出的附图表示所呈现的版本的不同方面,且将仅详细讨论差异。
具体实施方式
现在将参考附图在下文中更全面地描述所公开的版本,在附图中示出了所公开的版本中的一些但非全部。实际上,可以提供几个不同的版本,并且不应解释为局限于本文所阐述的版本。相反,提供这些版本,使得本公开将是彻底的,并且将本公开的范围充分地传达给本领域的技术人员。
本说明书包括对“一个版本”或“版本”的引用。短语“一个版本”或“版本”的示例不一定指同一版本。类似地,本说明书包括对“一个示例”或“示例”的引用。短语“一个示例”或“示例”的示例不一定指同一示例。特定特征、结构或特性可以与本公开一致的任何合适的方式组合。
如本文所使用的,“包括”是开放式术语,并且如在权利要求中使用的,该术语不排除另外的结构或步骤。
如本文所使用的,“配置成”意味着各个部分或部件可以描述或要求为“配置成”执行一个或多个任务。在此上下文中,“配置成”用于通过指示这些部分或组件包括在操作期间执行那些任务或多个任务的结构来暗示结构。照此,可以说部件或组件配置为执行任务,即使当指定的部件或组件当前不操作(例如,不在)。
如本文中所使用的,以单数形式陈述并且前面有词语“一个”或“一个”的元件或步骤应当理解为不一定排除元件或步骤的复数。
如本文所使用的,当与一系列项目一起使用时,短语“至少一个”意味着可以使用所列出的项目中的一个或多个的不同组合,并且可以仅需要列表中的每个项目中的一个。换言之,“至少一个”意味着可以使用列表中的项目和多个项目的任何组合,但是不需要列表中的所有项目。项目可以是特定对象、事物或类别。
现在参考示出了本公开的各种示例的附图,图1示出了过程中检测复合铺层(诸如图18所示的产品铺层560)中的缺陷508(图7至图15)的方法100。参考图3,方法100包括经由参考铺层头404将复合材料452的层件450施加到基板476上。层件450是由参考铺层头404以彼此平行关系顺序地铺设以形成复合层474的多个层件450中的一个。当完成时,参考铺层470由铺设在彼此顶部上的多个复合层474组成。在一些示例中,基板476为参考铺层工具478的工具表面480。在其他示例中,基板476是先前通过参考铺层头404铺设的复合层474。
在图3中,参考铺层470是由参考铺层头404铺设到具有大体平面的工具表面480的参考铺层工具478上的平坦面板472。参考铺层470可以在受控环境中(诸如在实验室设置中)铺设。虽然示出为平坦面板472,但是参考铺层470可以以多种不同尺寸、形状和配置中的任何一种铺设,如由参考铺层工具478的尺寸、形状和配置所指示的。
在图3中,参考铺层头404由机器人装置400的机器人臂402支撑。然而,在未示出的其他示例中,参考铺层头404可以由高架台架支撑,或者由用于相对于基板476移动参考铺层头404的各种其他支撑机构中的任一个支撑。替代地,本公开的方法可以在参考铺层头404静止并且基板476(例如,参考铺层工具478)相对于参考铺层头404移动的布置中实现。如下文更详细描述的,参考铺层头404可以是本领域已知的自动铺丝(AFP)头。
图4是将层件450施加到基板476上的参考铺层头的侧视图。图5示出了参考铺层头404将层件450施加到基板476上作为复合材料452的单宽度带454。图6示出了参考铺层头404将层件450施加在基板476上作为并排丝束456的阵列,如下文更详细描述的。
参考图4至6,方法100的步骤102包括使用参考铺层头404的红外相机406捕获由参考铺层头404铺设的参考铺层470的层件450的一系列参考图像500(例如,图7、图10和图13)。红外相机406安装在参考铺层头404的压紧装置410的后面。由红外相机406捕获的参考图像500是红外图像。压紧装置410配置成抵靠基板476压紧层件450。参考铺层头404还包括位于压紧装置410前面的加热装置414。加热装置414配置成施加热416至基板476,以提高层件450与基板476之间的粘性(例如,粘合性)。
参考图7至图15,方法100的步骤104包括手动检查用于缺陷508的参考图像500,并且为包括缺陷508的每个参考图像500生成指示参考图像500中的每个缺陷508的缺陷位置510和缺陷类型516的参考缺陷掩模504(例如,像素掩模)。在步骤104中,技术人员(例如,领域专家)在视觉上检查缺陷508的每个参考图像500。如下文更详细描述的,可由技术人员检测的缺陷类型516的示例包括但不限于铺设在基板476上的复合材料452的带454或丝束456中的扭曲518、折叠520、间隙522和重叠524。其他缺陷508包括缺失带或丝束532、异物碎片536、树脂球538、绒毛球540和低质量粘性534。
如上所述,当检测到参考图像500中的缺陷508时,技术人员生成(例如经由计算机)参考图像500的参考缺陷掩模504(例如数字对象)。参考缺陷掩模504包括缺陷边界511,例如边界框512,其由技术人员产生以指示每个缺陷508的边界。此外,对于每个缺陷508来说,技术人员对缺陷508施加缺陷标签514,从而识别缺陷类型516(例如,参考图8、图11和图14)。如下所述,技术人员使用图像注释软件程序以计算机辅助的方式执行参考图像500的手动检查和参考缺陷掩模504的生成。
方法100的步骤106包括使用参考图像500(例如,图7、图10和图13)和对应的参考缺陷掩模504(例如,图9、图12和图15)来训练人工神经网络600(图16),以便以创建机器学习缺陷识别模型602(模型,例如,图17)的方式来执行分割(例如,语义图像分割或实例分割),在产品图像566(图20)作为输入的情况下,该模型输出指示由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568(图20至图22)。图18示出了在产品铺层工具564上铺设产品铺层560的过程中的产品铺层头562。
参考图18至20,方法100的步骤108包括使用产品铺层头562的红外相机406捕获由产品铺层头562铺设的产品铺层560的层件450的一系列产品图像566。在图18的示例中,产品铺层头562可以与上述参考铺层头404(图3至图6)类似或不同。红外相机406以类似于图4至图6中红外相机406到参考铺层头404的安装的方式安装到产品铺层头562,使得红外相机406的视场408指向在压紧装置410正后面的层件450的区域。
参考图9、图12和图15,方法100的步骤110包括将模型602应用到产品图像566,并且为包括缺陷508的每个产品图像566自动生成(例如,经由模型602)指示由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568。图20示意性地示出了作为对模型602的输入的一系列产品图像566的示例。在铺层期间,模型602可以实时应用于产品图像566。模型602为包括至少一个缺陷508的每个产品图像566生成产品缺陷掩模568。由模型602生成的产品缺陷掩模568包括指示每个缺陷508的位置的标记,诸如边界框512,类似于图9、图12和图15中的参考缺陷掩模504。产品缺陷掩模568还包括识别每个产品图像566中每个缺陷508的缺陷类型516的缺陷标签514,类似于图9、图12和图15所示的参考缺陷掩模504。
图1的方法100另外包括将每个产品缺陷掩模568与在对应的产品图像566中捕获的层件450的区域的数字表示630空间对准,如图20至图21中所示并且在下文中更详细地描述。作为产品缺陷掩模568与层件450的数字表示630的空间对准的结果,产生缺陷映射632。缺陷映射632包括产品铺层560的至少一个层件450的数字表示630,并且还包括与层件450相关联的每个缺陷508的部分上位置(on-part location)636和缺陷类型516。图22示出了产品铺层560(图18)的复合层474(图18)的单个层件450的缺陷映射632的示例。图23示出了产品铺层560的整个复合层474的缺陷映射632的示例。
技术人员(例如,质量保证(QA)人员)可以使用缺陷映射632物理地定位产品铺层560上的每个缺陷508,并且物理地检查缺陷508以确定缺陷508是可接受的还是不可接受的。基于缺陷508的检查,可作出关于是否修复缺陷508和/或调整一个或多个铺层过程参数以减轻相同缺陷类型516的进一步发生的决定,如下文更详细地描述。
有利地,本文公开的检查方法消除了QA人员对每个复合层474的整个区域的时间密集且昂贵的检查,取而代之的是可快速检测缺陷508并在铺层过程期间识别特定缺陷位置510和缺陷类型516的自动化过程。如上文提到并在下文更详细地描述,当前公开的方法实施机器学习方法,该机器学习方法可使用单个红外相机406执行,而不需要先对复合铺层构建几何结构的了解,并且在计算上是高效的。因此,目前公开的方法需要最少量的设备设置和预编程,并且对于各种不同的复合铺层构建几何形状具有普遍性。因为通过当前公开的方法执行的检查在过程中发生,所以铺层头的停工时间相对于与传统手动和/或过程外检查方法相关联的铺层头停工时间的较大的量来说显著减少。
现在参考图2,示出了过程中检测复合铺层中的缺陷508的另一方法200的流程图,其中,参考铺层头404将层件450分配为复合材料452的并排丝束456,如图6所示,这与将层件450分配为单宽度带454的图5的参考铺层头404形成对比。对此,过程中检测和映射缺陷508的当前公开的方法100、方法200、方法300(图25A至图25B)中的任一个可使用参考铺层头404和产品铺层头562的各种配置中的任一个来实现。方法200在范围上类似于方法100,并且与方法100相关联的步骤、功能和装备中的任何一个或多个适用于本文公开的任何其他方法,包括方法200和下文描述的方法300。同样地,与方法200相关的步骤、功能和装备中的任何一个或多个可适应于本文公开的任何其他方法,包括方法100和方法300。
在图6的示例中,参考铺层头404收集丝束456,并排地将它们排列成层件450,并且在参考铺层头404沿着预编程的路径相对于基板476移动的同时将层件450施加到基板476上。参考铺层头404包括在施加到基板476上之前用于引导、切割和夹持丝束456的各种部件。如图3、图4和图6所示并且如上所述,参考铺层头404包括压紧装置410、位于压紧装置410前面的至少一个加热装置414以及位于压紧装置410后面的至少一个红外相机406,如上所述。
方法200包括将复合材料452的丝束456施加到基板476上,如上所述,该基板可以是参考铺层工具478的工具表面480,或者基板476可以是先前由参考铺层头404施加的复合材料452的层件450。在图3的示例中,参考铺层工具478具有平坦的工具表面480,这可以简化参考铺层工具478的制造,并且还可以简化参考铺层头404的设置(例如,预编程)和操作。此外,提供具有平坦工具表面480的参考铺层工具478可简化铺设参考铺层470和捕获参考图像500的过程。可潜在地出现在产品铺层560中的每个缺陷类型516在参考铺层470中的多个位置处通过参考铺层头404产生。
由参考铺层头404施加的复合材料452由用树脂预浸渍的单向增强纤维(即,预浸料)组成。增强纤维由多种材料中的任一种形成,诸如塑料、玻璃、陶瓷、碳、金属或其任何组合。树脂是热固性树脂或热塑性树脂,并且由各种有机或无机材料中的任何一种形成。在由复合材料452的并排丝束456(图6)构成的层件450中,每个丝束具有0.25-0.50英寸或更大的宽度。相反,由复合材料452的单宽度带454(图5)构成的层件450可以具有几英寸(例如,2英寸)的宽度直到12英寸或更大的宽度。由并排丝束456构成的层件450可比单宽度带454更适合于在弯曲工具表面480上铺设。相反,单宽度带454可以更适合于铺设在大体平坦或平面的工具表面480上,这部分地由于单宽度带454具有在较短的时间段内和以比多个丝束456更成本有效的方式覆盖较大表面积的能力。
仍然参考图2,另外参考图6,在将复合材料452的层件450施加到基板476上期间,方法200包括使用加热装置414在压紧装置410正前面的位置处将热416施加到基板476,如图4中所示。将热416施加到基板476降低了先前施加的复合材料452中的树脂的粘度,由此增加了层件450与基板476之间的粘性或粘合性水平。此外,向基板476施加热416降低了层件450中的树脂粘度,这是由于热416从基板476传导到层件450中,如图4中所示。加热装置414可提供为红外加热器、激光加热器、氙闪光灯或各种替代加热装置414配置中的任何一种。
方法200的步骤202包括使用参考铺层头404的一个或多个红外相机406捕获作为并排丝束456施加到基板476的参考铺层470的层件450的一系列参考图像500(即,红外图像)。层件450的丝束456以彼此非重叠和非间隙关系施加到基板476,如图6所示。当参考图像500被捕获时,方法200可进一步包括向每个参考图像500分派参考铺层470的构建识别号、每个参考图像500的图像捕获时间以及参考铺层470上的图像捕获位置。图像捕获位置可根据参考铺层头404相对于参考铺层工具478或相对于铺设参考铺层470的制造单元或实验室中的其他特征的坐标(例如,x、y、z)来提供。
在图5至图6中,红外相机406安装和定向成使得红外相机406的视场408延伸横跨层件450的整个宽度,并且可另外捕获在层件450的相对侧中的每个上的基板476的一小区段。红外相机406可以配置成周期性地捕获参考图像500(诸如每十分之一秒),或者在参考铺层头404每行进几英寸之后捕获参考图像,或者以确保层件450的整个长度由参考图像500共同捕获的任何其他方式来捕获参考图像。尽管附图示出了安装到参考铺层头404的单个红外相机406,但是在未示出的其他示例中,参考铺层头404可以包括两个或更多个红外相机406,每个红外相机以在从参考铺层头404分配层件450时捕获层件450的不同区域的方式安装。
捕获参考图像500的步骤202包括使用红外相机406在压紧装置410正后面的层件450上的位置处捕获参考图像500,如图6所示。如上所述,压紧装置410配置成抵靠基板476压紧或按压层件450。在所示的示例中,压紧装置410是压紧辊412。压紧辊412由弹性材料或柔顺材料形成,以在压紧层件450时允许辊至少部分地符合基板476中的曲率。
在捕获参考图像500的同时铺设参考铺层470的过程可以继续,直到所有复合层474已经被铺设为止。替代地,铺设参考铺层470和捕获参考图像500的过程可继续,直到在至少一个参考图像500中捕获每个缺陷类型516中的至少一个。在多个参考图像500中捕获每个缺陷类型516。针对每个缺陷类型516具有多个参考图像500可提高模型602在准确地识别产品铺层560中的相同缺陷类型516方面的稳健性。
在准备训练神经网络600时,方法200包括删除以下参考图像500:部分外图像(off-part image)(未示出)、遮挡视图图像(未示出)和/或非铺层头移动图像(未示出)。部分外图像可描述为层件450未被分配到基板476上的参考图像500。部分外图像可能发生在一个层件450已经铺设在基板476上结束时,并且参考铺层头404重新定位其自身以准备开始将另一层件450铺设在基板476上。遮挡视图图像可描述为层件450的一部分从红外相机406的正常视场408(例如,图5至图6)被遮挡(例如,通过硬件)的参考图像500。非铺层头移动图像可描述为在参考铺层头404静止时拍摄的参考图像500。
在对用于训练神经网络600的参考图像500的进一步准备中,方法200包括预处理参考图像500(例如,图7、图10和图13)。例如,方法可包括裁剪每个参考图像500以从参考图像500移除一些或全部非铺层特征502。非铺层特征502可以包括没有关联的背景特征,诸如参考铺层头404的部件或参考铺层工具478的部件。参考图像500还可缩放以准备训练神经网络600。每个参考图像500(例如,温度记录图像)可以是灰度图像,该灰度图像由范围从黑色到白色以及具有不同灰度水平的像素组成并表示层件450、基板476以及缺陷508的温度差。像素强度值可以是范围从0至255的整数。该方法可包括通过将像素强度值的范围以平均像素值为中心并且通过标准偏差重新缩放像素强度值的范围,来标准化每个参考图像500。
在图2中,方法200的步骤204包括手动检查用于缺陷508的参考图像500,并且注释包括一个或多个缺陷508的每个参考图像500。注释每个参考图像500包括生成指示参考图像500中的每个缺陷508的缺陷位置510和缺陷类型516的参考缺陷掩模504(即,经标记像素掩模),类似于图8、图11和图14中所示的参考图像500和参考缺陷掩模504。每个缺陷508的缺陷位置510可通过在参考图像中的每个缺陷508周围形成边界框512而在参考缺陷掩模504上指示,如上文针对方法100所述。图8、图11和图14的参考缺陷掩模504示出了围绕包括缺陷508的参考铺层470的每个区域的缺陷边界511。缺陷边界511可具有遵循缺陷508的形状的不规则形状。在所示的示例中,缺陷边界511是具有直边的边界框512。在未示出的替代示例中,每个缺陷508的缺陷位置510可通过对表示缺陷508的像素进行颜色编码来指示。不管指示缺陷位置510的方式如何,应注意,因为某些缺陷508可能延伸超过单个参考图像500,所以在多个参考图像500中可见的任何单个缺陷508被映射为单个缺陷508。例如,在缺失延伸超过单个参考图像500的带或丝束532的情况下,分别与参考图像500相关联的参考缺陷掩模504将在缺陷映射632上指示缺失的带或丝束532是单个缺陷508。
在步骤204中,指示每个缺陷508的缺陷类型516包括将每个缺陷508指示为以下缺陷类型516中的一个:扭曲518、折叠520、间隙522、重叠524、桥接(未示出)、起皱528、褶皱530、缺失带或丝束532、低质量粘性534、树脂球538、绒毛球540或异物碎片536。执行图像注释的技术人员可在包围每个缺陷508的边界框512旁边施加适当的缺陷标签514。
图7示出了包括缺陷508的参考图像500的示例,该缺陷包括起皱528、绒毛球540、异物碎片536及落下的丝束542。图10示出了包括缺陷508的参考图像500的示例,该缺陷包括褶皱530、扭曲518、树脂球538以及缺失丝束532。图13示出了包括缺陷508的参考图像500的示例,该缺陷包括间隙522、折叠520和低质量粘性534。虽然未示出,但是当由铺层头(例如,自动纤维放置头)铺设时,上述识别的缺陷类型516中的任一个或多个可在单宽度带454(图5)中出现。
扭曲518(图10)可以描述为沿着丝束或带454的长度的位置,在该位置复合材料452具有在通过铺层头铺设在基板476上时产生的围绕其自身的螺旋缠绕部(例如,180°)。折叠520(图13)可以描述为沿着带454或丝束456的长度的位置,在该位置复合材料452具有在由铺层头铺设时产生的在其自身上的对折或折叠。落下的带或丝束542(图7)可以描述为这样的带454或丝束456,即其最初施加到基板476,但是被铺层头无意地切割,或者是铺层头上的带454或丝束456的卷轴耗尽的结果。间隙522(图13)可描述为其中同一复合层474中的相邻带454的侧边缘或者相邻丝束456的侧边缘在它们的长度的一区段上彼此间隔开的情况。重叠524(图10)是同一复合层474中的相邻带454或相邻丝束456在它们的长度的一区段上位于彼此顶部上的情况。
桥接是带454或丝束456横跨基板476的表面中的凹部(即,凹曲率)并且可以在铺层工具的工具表面480中的内部拐角处发生的情况。起皱528(图7)可描述为沿着带454或丝束456的侧边缘局部升高的复合材料452的区域,并且起皱可出现在沿平面内方向行进(steer)的带454或丝束456中。褶皱530(图10)类似于起皱528,并且可以描述为在带454或丝束456的侧边缘之间的内部区域中的平面外形变。低质量粘性534(图13)可描述为层件450与基板476之间的粘合水平低于阈值。
异物碎片536(图7)可描述为非预期地并入到复合铺层中的任何类型的外来材料,并且可包括小片背纸或膜、塑料或金属颗粒、液体(诸如水或油)或者任何其他类型的材料。异物碎片536的其他示例包括但不限于树脂球538和绒毛球540。树脂球538(图10)可描述为树脂的小球体,当带454或丝束456穿过铺层头时,小球体可积聚在铺层头的部件(例如,丝束引导件)上,最终下落到基板476上并且落到基板476上。绒毛球540(图7)可描述为在穿过铺层头时沿着带454或丝束456的侧边缘形成的松散的纤维细丝的束,并且可从铺层头下落到基板476上或下落到施加到基板476的层件450上。
检查参考图像500的技术人员可基于像素的连续组的尺寸和形状来检测并识别上述缺陷508的缺陷类型516,像素的连续组可具有与周围像素不同的像素强度值。例如,树脂球538可由具有特定尺寸(例如,3-7mm的宽度)的圆形形状的黑色像素组表示,并且树脂球可由表示树脂球538下方的复合材料452的较亮形状的像素围绕。
对于由并排丝束456(图6)构成的层件450的参考图像500,生成缺陷掩模的步骤还可包括在参考缺陷掩模504上指示层件450中的每个丝束的丝束边界458,并且用独特的丝束识别号462标记每个丝束456,如图9、图12和图15所示的参考缺陷掩模504。检查参考图像500的技术人员可基于像素强度中的对比度来检测丝束456的丝束边界458,类似于检测缺陷508的方式。
图8示出了针对图7的参考图像500生成的参考缺陷掩模504(即,像素掩模)的示例。图10示出了针对图9的参考图像500生成的参考缺陷掩模504的示例。图13示出了针对图12的参考图像500生成的参考缺陷掩模504的示例。每个参考缺陷掩模504指示层件450中的每个丝束456的丝束边界458或丝束侧边缘460,并且用独特的丝束识别号462标记每个丝束456。
使用图像注释软件程序来执行参考图像500的视觉检查和参考缺陷掩模504的生成。图像注释软件程序的示例包括但不限于称为NapariTM的图像注释工具和称为Scikit-imageTM的图像处理工具,这两者都是Python编程语言。参考图像500的视觉检查由领域专家执行,该领域专家具有识别可在使用自动铺丝设备(例如,铺层头)铺设复合材料期间发生的各种缺陷类型516的经验。在为包括缺陷508的参考图像500生成参考缺陷掩模504之后,该方法包括将每个参考图像500和对应的参考缺陷掩模504存储在图像/掩模数据库506中(例如,图17)。
参考图16至图17,方法200的步骤206包括使用参考图像500和对应的参考缺陷掩模504来训练人工神经网络600以便以创建机器学习缺陷识别模型602(即,模型)的方式来执行分割,在产品图像566(例如,红外图像)作为输入的情况下,该模型自动输出指示由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568。对于由并排丝束456(图6)组成的层件450的参考图像500,产品缺陷掩模568还包括层件450中每个丝束的丝束边界458和丝束识别号462,如下文更详细描述的。
训练神经网络600的步骤206包括训练神经网络600以执行语义图像分割或实例分割。在语义图像分割中,模型602确定每个缺陷508的类别(即,缺陷类型),但不将同一图像中的缺陷508区分为单独对象。例如,如果产品图像566包括2个具有相同缺陷类型516的缺陷508,那么模型602可不将缺陷508区分为单独对象。相比之下,在实例分割中,将缺陷508的每个实例识别为单独对象。
图16是人工神经网络600的模型架构的示例的示意图。神经网络600是卷积神经网络600。模型602可以具有输入层(未示出)和输出层616。此外,模型602包括编码器部分606和解码器部分608。编码器部分606包括一定数量的卷积层610和一定数量的下采样层612。解码器部分608包括一定数量的卷积层610和一定数量的上采样层614。可用作模型602的编码器部分的示例架构包括但不限于EfficientNet、Inception和MobileNet。如图16所示,编码器部分的架构被镜像以形成解码器部分608。
在图16中,每个层由神经元618组成,神经元可描述为神经网络600的核心处理单元。每个层中的神经元618经由通道620互连至相邻层中的神经元618。每个通道具有初始权值(即,数值)。输入层接收为参考图像500(见图17)的输入。输出层616预测神经网络600的输出,该输出是在参考缺陷掩模504(图17)中指示的缺陷类型516(图9、图12和图15)。
在编码器部分606中,卷积层610概括参考图像500中的特征,并且下采样层612减小特征的尺寸。在解码器部分608中,上采样层614增加特征的尺寸,并且将像素集合成缺陷掩模(例如,参考缺陷掩模504或产品缺陷掩模568)。神经网络600包括对神经元618的输出施加附加转换的激活函数。可在神经网络600中实现的激活函数的示例包括但不限于已知的数学函数,诸如S型函数、sofmax函数、tanh函数和修正线性单元(ReLU)。
编码器部分606和解码器部分608中的卷积层610经由向前传播(例如,在图16中从左到右)一起工作,以预测或推断参考图像500中的缺陷类型516。对于给定参考图像500,输出层616输出在参考图像500中预测的缺陷类型516和缺陷位置510。将输出层616中的缺陷类型516和缺陷位置510(即,预测的输出)与对应参考缺陷掩模504中指示的缺陷类型516和缺陷位置510(即,实际输出)进行比较,并且如果预测有误差,那么误差的量级经由向后传播(例如,在图16中从右到左)通过神经网络600传递回来,从而使得权值自动调整。向前传播及向后传播的循环反复继续,直到模型602以足够的准确度(例如,95%准确度)正确地识别参考缺陷掩模504中的缺陷类型516为止。
图17是用于优化模型602的配置的模型架构优化回路604的示图。模型602的优化包括在模型架构优化回路604中选择和调整模型参数。在模型的操作期间,最先选择模型参数。在优化期间调整模型参数。例如,可以调整模型602的编码器部分606中的卷积层610和下采样层612的数量。此外,可以调整模型602的解码器部分608中的卷积层610和上采样层614的数量。可以调整的其他模型参数包括输入到神经网络600中的参考图像500的尺寸(即,像素的数量)和/或神经网络600中的不同类型的激活函数的选择。在调整一个或多个模型参数之后,该方法包括将神经网络600适配到参考图像500中的缺陷类型516。重复调整模型参数和将神经网络600适配到缺陷类型516的步骤,直到模型602以足够的准确度(例如,95%准确度)正确地识别存在于每个参考缺陷掩模504中的缺陷类型516。
参考图18,示出了在制备期间的产品铺层560的示例。方法200包括经由产品铺层头562将产品铺层560的复合层474的层件450施加到基板476上。如上所述,产品铺层头562可以与上述参考铺层头404相同或不同。虽然示出为由机器人装置400支撑,但是产品铺层头562可以由高架台架(未示出)支撑或用于相对于基板476移动产品铺层头562的各种其他机构中的任一个支撑。产品铺层头562包括以类似于上述图4至图6中的参考铺层头404的布置的方式安装的红外相机406。
在图18中,基板476是产品铺层工具564。替代地,基板476可以是先前通过产品铺层头562铺设在产品铺层工具564上的复合层474。在所示的示例中,每个层件450由彼此并排的复合材料452的丝束456组成,类似于图6中所示的布置。
方法200的步骤208包括使用产品铺层头562的红外相机406捕获由产品铺层头562施加的产品铺层560的层件450的一系列产品图像566。在铺层头将复合材料452施加到基板476上的同时,实时捕获一系列产品图像566。每个产品图像566可以用产品铺层560的构建识别号来标记。此外,每个产品图像566可标记有图像捕获时间和产品铺层头562相对于参考位置(诸如图18中所示的部件原点634)的图像捕获位置。
参考图20,方法200的步骤210包括将模型602应用到产品图像566,并针对包括缺陷508的每个产品图像566自动生成(即,无需人为干预)指示层件450上的缺陷类型516和缺陷位置510以及包括缺陷508的一个或多个丝束456的丝束识别号的产品缺陷掩模568。可以在生成产品图像566之后立即将模型602应用于每个产品图像566。替代地,模型602可以在铺设层件450之后应用于一系列产品图像566。在又一示例中,在铺设整个复合层474之后,模型602可应用于产品图像566。
图19示出了计算机640,其示出通过产品铺层头562最近应用到产品铺层工具564的层件450的数字表示630。层件450的数字表示630可以从复合铺层的计算机辅助设计(CAD)模型提取。图20示出了产品图像566提交到模型602以生成产品缺陷掩模568。响应于接收产品图像566作为输入,模型602输出用于包括至少一个缺陷508的每个产品图像566的产品缺陷掩模568(图9、图12和图15)。如上所述,每个产品缺陷掩模568例如通过在每个缺陷508周围放置边界框512来指示产品图像566中每个缺陷508的缺陷位置510。此外,每个产品缺陷掩模568经由缺陷标签514识别每个缺陷508的缺陷类型516。
参考图21至图24,示出了计算机640的显示屏642。在生成一个或多个产品缺陷掩模568时,方法200包括将每个产品缺陷掩模568与在对应的产品图像566中捕获的层件450的区域的数字表示630空间对准,并且产生如图22所示的缺陷映射632。将每个产品缺陷掩模568与产品铺层560的层件450的数字表示630空间对准的操作包括基于在产品缺陷掩模568中指示的每个缺陷508的像素位置推断与层件450相关联的每个缺陷508的部分上位置636。此外,每个缺陷508的部分上位置636可基于包括缺陷508的丝束456的丝束识别号以及在包括缺陷508的产品图像566的图像捕获时间处产品铺层头562相对于产品铺层560的位置来推断。产品铺层头562的位置可以经由构建日志、层件几何形状和机器代码(即,限定产品铺层头562的移动路径的程序指令)获得。红外相机406相对于产品铺层头562的位置和定向也可以用于推断每个缺陷508的部分上位置636。
在一些示例中,可在铺设复合层474的所有层件450之后生成缺陷映射632。图23至图24示出了包括铺设在产品铺层工具564上的整个复合层474的数字表示630的缺陷映射632的示例,并且该缺陷映射指示与复合层474相关联的每个缺陷508的部分上位置636(经由缺陷边界511,诸如边界框512)。图24是图23的缺陷映射632的一部分的放大图,示出了几个缺陷508的部分上坐标和缺陷类型516。
在图22至图24的示例中,每个缺陷映射632包括产品铺层560的数字表示630,并且包括在产品缺陷掩模568中限定的每个缺陷508的缺陷位置510和缺陷类型516。在图24的缺陷映射632中,依据相对于部分原点634的x、y、z坐标来限定每个缺陷508的部分上位置636。在每个部分上位置636处,缺陷映射632示出了丝束456的丝束边界458,并且列出包括缺陷508的丝束456的丝束识别号462,并且另外列出缺陷508的缺陷类型516。
方法200可包括使用缺陷映射632来在产品部分(即,产品铺层560)上物理地定位在缺陷映射632上指示的一个或多个缺陷508。例如,在铺设产品铺层560的复合层474的每个层件450之后,质量保证人员可物理地定位限定在针对层件450自动生成的缺陷映射632上的每个缺陷508(如果有的话)。质量保证人员可物理地检查一个或多个缺陷508,以确定缺陷508是可接受的还是不可接受的。如果不可接受,则可以确定是否修复缺陷508,和/或调整一个或多个铺层控制过程。
缺陷508的修复类型可由多种因素决定,这些因素包括缺陷类型516、相对于层件450几何形状和/或相对于复合层474中的其他缺陷508的缺陷位置510以及其他因素。方法200可包括在施加产品铺层560的后续层件450之前修复一个或多个缺陷508。例如,方法200可包括移除和替换层件450的纵向区段,或移除和替换层件450的一个或多个丝束456的整个长度。
如上所述,方法200还可以包括调整与铺设产品铺层560相关联的一个或多个铺层控制过程。以减少随后形成与在缺陷映射632上指示的缺陷508的缺陷类型516相同的缺陷508的方式来调整铺层控制过程。例如,方法200可包括在铺设后续层件450时调整产品铺层头562的行进速度。对此,可以调整产品铺层头562以在层件450的不同纵向区段以不同的行进速度移动。在一个示例中,产品铺层头562的行进速度可以沿着产品铺层560的具有大的表面曲率度的纵向区段减小,以及行进速度可以沿着产品铺层560的大致平坦或平面的区段增加。
对于识别为低质量粘性534的缺陷508,方法200可包括在通过压紧辊412(图4)压紧之前调整加热装置414(图4)的热416输出(图4),以增加基板476的温度,由此增加层件450和基板476之间的粘性(即,粘合力)。由压紧辊412抵靠基板476施加到层件450上的压紧压力的量也可以调整以提高粘性。可以调整的其他铺层控制过程包括制造环境的周围空气温度和/或湿度水平、复合材料452在由铺层头施加之前的外置时间以及在由产品铺层头562施加到基板476上期间在层件450中的张力的量级。
在一些示例中,方法200可包括基于缺陷508与最近的相邻缺陷508之间的距离,确定层件450中的每个缺陷508是可接受的还是不可接受的。如果认为缺陷508是不可接受的,则方法200包括基于缺陷类型516修复缺陷508和/或调整一个或多个铺层过程参数。例如,对于在不移除层件450的情况下可接近的异物碎片536(诸如树脂球538或绒毛球540),修复层件450的步骤包括简单地移除缺陷508。对于在不移除层件450的情况下不可接近的异物碎片536,修复层件450的步骤包括在铺设整个复合层474之前或之后移除层件450,移除异物碎片536以及手动地或经由产品铺层头562重新施加层件450。
对于诸如层件450中的扭曲518、折叠520、间隙522、重叠524、桥接(未示出)、起皱528或褶皱530的缺陷508,修复层件450的步骤包括移除包括缺陷508的带454或丝束456的至少一部分,并且用来自加热装置414的增加的热输出重新施加层件450,以增加层件450和基板476之间的粘性。对于诸如层件450中的桥接(未示出)、起皱528或褶皱530的缺陷508,方法200还可包括至少沿着层件450的发生缺陷508的区段降低产品铺层头562的行进速度。对于缺失带或丝束532,修复层件450的步骤包括手动地或通过使用产品铺层头562在缺失的位置施加带454或丝束456。
在一些示例中,方法200可以包括使用产品图像566来进一步增加模型602的准确度。例如,在制造产品铺层560的新配置的早期阶段,方法可包括手动检查用于缺陷508的产品图像566,并且为包括缺陷508的每个产品图像566生成指示产品图像566中每个缺陷508的缺陷位置510和缺陷类型516的参考缺陷掩模504。可以以与上述在步骤204中针对参考图像500的相同的方式并且可以使用图像注释软件程序来执行对产品图像566的手动检查和生成用于包括缺陷508的产品图像566的缺陷掩模。在手动检查产品图像566并生成缺陷掩模之后,方法200包括以类似于上述步骤206的方式将产品图像566和对应的缺陷掩模输入到神经网络600中,以进一步训练模型602,以便在检测由产品铺层头562施加的后续层件450的产品图像566中的缺陷508时提高模型602的准确度。
现在参考图25A至图25B,示出了过程中映射复合铺层中的缺陷508的方法300。如上所述,与方法100和/或方法200相关联的上述步骤、功能和设备中的任一个或多个可适用于方法300。方法300的范围类似于上述方法100和方法200。然而,在方法300中,参考铺层470的铺设和/或参考图像500的捕获可以由第三方执行。方法300的步骤302包括在参考铺层由参考铺层头404施加到基板476上期间使用图像注释软件程序为参考铺层470的层件450的多个参考图像500中的每个手动生成参考缺陷掩模504。如上所述,每个参考图像500是温度记录图像,并可示出与层件450相关联的一个或多个缺陷508。方法300的步骤304包括使用参考图像500和对应的参考缺陷掩模504来训练人工神经网络600,以便以创建机器学习缺陷识别模型602的方式执行实例分割,在产品图像566作为输入的情况下,该模型输出指示由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568。
方法300的步骤306包括使用产品铺层头562的红外相机406捕获由产品铺层头562铺设的产品铺层560的一个或多个层件450的一系列产品图像566。如上所述,图18示出了经由产品铺层头562将产品铺层560的层件450施加到产品铺层工具564的示例。方法300的步骤308包括将模型602实时应用于产品图像566以自动地定位和分类产品铺层560的层件450中的缺陷508。如上所述,图20示出了应用于在步骤304中创建的模型602的产品图像566的示例。
如图20所示,方法300的步骤310包括为包括缺陷508的每个产品图像566自动生成指示由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568,如上所述。方法300的步骤312包括将每个产品缺陷掩模568与层件450的数字表示630空间对准,如图21的示例所示,从而产生包括与层件450相关联的每个缺陷508的部分上位置636和缺陷类型516的缺陷映射632,如图22至图24所示。
方法300的步骤314包括使用缺陷映射632物理地定位与层件450相关联的一个或多个缺陷508。如上所述,该方法包括在施加产品铺层560的后续层件450之前修复一个或多个缺陷508,和/或以减轻在当前产品铺层560中或在未来的产品铺层560中形成相同缺陷类型516的缺陷508的方式调整至少一个铺层控制过程。方法300还包括步骤316,该步骤包括对于每个层件450重复步骤306、308、310和312,直到产品铺层560的每个复合层474中的所有层件450已经被铺设。
根据本公开的另外的示出性和非排他性的示例在以下段落中描述:
在根据本公开的示例中,过程中检测复合铺层中的缺陷508的方法包括以下步骤:使用参考铺层头404的红外相机406捕获由参考铺层头404铺设的参考铺层470的层件450的一系列参考图像500;手动检查用于缺陷508的参考图像500,并且为包括缺陷508的每个参考图像500生成指示参考图像500中的每个缺陷508的缺陷位置510并识别缺陷类型516的参考缺陷掩模504;使用参考图像500和对应的参考缺陷掩膜504来训练人工神经网络600,以便以创建机器学习缺陷识别模型602的方式来执行分割,在产品图像566作为输入的情况下,该模型输出指示由模型602检测的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩膜568;使用产品铺层头562的红外相机406捕获由产品铺层头562铺设的产品铺层560的至少一个层件450的一系列产品图像566;以及将模型602应用到产品图像566,并且为包括缺陷508的每个产品图像566自动生成指示由模型602检测的每个缺陷508的缺陷位置510并识别缺陷类型516的产品缺陷掩模568。
可选地,根据前述段落所述的方法,训练神经网络600包括训练卷积神经网络。
可选地,根据前述段落之一所述的方法,训练卷积神经网络包括:在模型架构优化回路604中选择或调整模型参数,模型参数包括以下中的至少一个:模型架构的编码器部分606中的卷积层610和下采样层612的数量,模型架构的解码器部分608中的卷积层610和上采样层614的数量,输入到神经网络600中的参考图像500的尺寸,神经网络600的激活函数的类型;将神经网络600适配到参考图像500中的缺陷类型516;以及重复调整模型参数和适配神经网络600的步骤,直到模型602正确地识别在参考缺陷掩模504中指示的缺陷类型516。
可选地,根据前述段落之一所述的方法还包括:将每个产品缺陷掩模568与在对应的产品图像566中捕获的层件450的区域的数字表示630空间对准,并且使得缺陷映射632包括与层件450相关联的每个缺陷508的部分上位置636和缺陷类型516。
可选地,根据前述段落之一所述的方法,将每个产品缺陷掩模568与层件450的数字表示630空间对准包括:基于以下各项中的至少一个推断与层件450相关联的每个缺陷508的部分上位置636:由模型602检测到的每个缺陷508的像素位置;在包括缺陷508的产品图像566的图像捕获时间处产品铺层头562相对于产品铺层560的位置;以及红外相机406相对于产品铺层头562的位置和定向。
可选地,根据前述段落之一所述的方法还包括:使用缺陷映射632物理地定位与层件450相关联的一个或多个缺陷508,并且执行下列各项中的至少一项:在施加产品铺层560的后续层件450之前修复一个或多个缺陷508,以及以减轻后续形成与在缺陷映射632上指示的一个或多个缺陷508的缺陷类型516相同的缺陷508的方式来调整至少一个铺层过程参数。
可选地,根据前述段落之一所述的方法,调整至少一个铺层过程参数包括调整以下各项中的至少一项:当将层件450施加到基板476上时产品铺层头562的行进速度;在施加层件450之前用于加热基板476的加热装置414的热输出;以及压紧装置410抵靠基板476压紧层件450的压紧压力。
可选地,根据前述段落之一所述的方法,层件450铺设为单宽度带454或多个并排丝束456,识别每个缺陷508的缺陷类型516的步骤包括:将缺陷508识别为以各项中的一项:扭曲、折叠、间隙、重叠、桥接、起皱、皱褶、缺失带或丝束、低质量粘性、异物碎片、树脂球、绒毛球。
可选地,根据前述段落之一所述的方法,捕获参考图像500包括:使用红外相机406在层件450上的位于参考铺层头404的压紧装置410正后面的位置处捕获参考图像500,压紧装置410配置成抵靠基板476压紧层件450。
可选地,根据前述段落之一所述的方法还包括:使用参考铺层头404的加热装置414将热416施加到基板476的位于压紧装置410正前面的区域。
可选地,根据前述段落之一所述的方法还包括:删除是下列各项中的至少一项的参考图像500:部分外图像、遮挡视图图像和非铺层头移动图像。
可选地,根据前述段落之一所述的方法,每个参考图像500包括具有强度值的像素,该方法还包括:通过执行以下各项中的至少一项预处理参考图像500以准备用于训练神经网络600:裁剪每个参考图像500以从参考图像500移除非铺层特征;通过将参考图像500的像素的强度值以平均像素值为中心并通过标准偏差来对像素的强度值的范围进行重新缩放,来对每个参考图像500进行标准化。
可选地,根据前述段落之一所述的方法,指示每个缺陷508的缺陷位置510包括以下各项中的一项:在参考图像500中的每个缺陷508周围形成缺陷边界511;或者对表示参考图像500中的每个缺陷508的像素进行颜色编码。
可选地,根据前述段落之一所述的方法,使用图像注释软件程序执行参考缺陷掩模504的生成。
可选地,根据前述段落之一所述的方法,训练神经网络600以执行分割包括:训练神经网络600以执行语义图像分割或实例分割。
可选地,根据前述段落之一所述的方法还包括:手动检查用于缺陷508的产品图像566,并且为包括手动检测到的缺陷508的每个产品图像566生成指示产品图像566中每个缺陷508的缺陷位置510和缺陷类型516的参考缺陷掩模504;以及将产品图像566和对应的参考缺陷掩模504输入到神经网络600中,以进一步训练模型602,从而在检测由产品铺层头562施加的后续层件450的产品图像566中的缺陷508时提高模型602的准确度。
在根据本公开的另一示例中,一种过程中检测复合铺层中的缺陷508的方法包括:使用参考铺层头404的一个或多个红外相机406捕获由参考铺层头404铺设的参考铺层470的层件450的一系列参考图像500,层件450包括彼此并排的多个丝束456;手动检查用于缺陷508的参考图像500,并且为包括缺陷508的每个参考图像500生成指示层件450中的每个丝束456的丝束边界458和独特的丝束识别号462以及参考图像500中的每个缺陷508的缺陷位置510并识别缺陷类型516的参考缺陷掩模504;使用参考图像500和对应的参考缺陷掩模504来训练人工神经网络600,以便以创建机器学习缺陷识别模型602的方式执行示例分割,在产品图像566作为输入的情况下,该模型输出指示层件450中每个丝束456的丝束边界458和丝束识别号462以及由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568;使用产品铺层头562的一个或多个红外相机406捕获由产品铺层头562铺设的产品铺层560的丝束456的层件450的一系列产品图像566;以及将模型602应用到产品图像566,并且为包括缺陷508的每个产品图像566自动生成指示缺陷类型516、沿着层件450的长度方向识别缺陷位置510、以及指示包括缺陷508的一个或多个丝束456的丝束识别号462的产品缺陷掩模568。
可选地,根据前述段落所述的方法还包括:将每个产品缺陷掩模568与在对应的产品图像566中捕获的层件450的区域的数字表示630空间对准,并且使缺陷映射632包括与层件450相关联的每个缺陷508的部分上位置636和缺陷类型516。
条款19.根据条款17或18所述的方法,其中,将每个产品缺陷掩模568与层件450的数字表示630空间对准包括:基于以下各项中的至少一项推断与层件450相关联的每个缺陷508的部分上位置636:由模型602检测的每个缺陷508的像素位置;包括缺陷508的一个或多个丝束456的丝束识别号462;在包括缺陷508的产品图像566的图像捕获时间处产品铺层头562相对于产品铺层560的位置;以及红外相机406相对于产品铺层头562的位置和定向。
在根据本公开的另一示例中,一种过程中映射复合铺层中的缺陷508的方法包括:在参考铺层由参考铺层头404施加到基板476上期间,使用图像注释软件程序为参考铺层470的层件450的多个参考图像500中的每个手动生成参考缺陷掩模504,每个参考图像500示出层件450中的至少一个缺陷508;使用参考图像500和对应的参考缺陷掩模504来训练人工神经网络600,以便以创建机器学习缺陷识别模型602的方式执行实例分割,在产品图像566作为输入的情况下,该模型输出指示由模型602检测到的每个缺陷508的缺陷位置510和缺陷类型516的产品缺陷掩模568;使用产品铺层头562的红外相机406捕获由产品铺层头562铺设的产品铺层560的一个或多个层件450的一系列产品图像566;以及将模型602实时应用到产品图像566以自动地定位和分类产品铺层560的一个或多个层件450中的缺陷508。
受益于以上描述和相关附图中呈现的教导,本公开所属领域的技术人员将想到本公开的许多修改和其他版本和示例。在此描述的版本和示例旨在是说明性的并且不旨在是限制性的或详尽的。虽然本文采用了特定术语,但是它们仅以一般性和描述性的意义使用,而不是为了限制的目的。除了在此列举的那些之外,本公开的范围内的功能等效的方法和设备从前述说明中是可能的。这些修改和变化旨在落入所附权利要求的范围内。本公开仅由所附权利要求的术语以及这些权利要求所赋予的等效物的整个范围来限定。

Claims (15)

1.一种过程中检测复合铺层中的缺陷(508)的方法,包括以下步骤:
使用参考铺层头(404)的红外相机(406)捕获由所述参考铺层头(404)铺设的参考铺层(470)的层件(450)的一系列参考图像(500);
手动检查用于缺陷(508)的所述参考图像(500),并且为包括所述缺陷(508)的每个所述参考图像(500)生成指示所述参考图像(500)中的每个所述缺陷(508)的缺陷位置(510)并识别缺陷类型(516)的参考缺陷掩模(504);
使用所述参考图像(500)和对应的所述参考缺陷掩膜(504)训练人工神经网络(600),以便以创建机器学习缺陷识别模型(602)的方式来执行分割,在产品图像(566)作为输入的情况下,所述模型输出指示由所述模型(602)检测到的每个所述缺陷(508)的所述缺陷位置(510)和所述缺陷类型(516)的产品缺陷掩膜(568);
使用产品铺层头(562)的红外相机(406)捕获由所述产品铺层头(562)铺设的产品铺层(560)的至少一个层件(450)的一系列所述产品图像(566);以及
将所述模型(602)应用到所述产品图像(566),并为包括所述缺陷(508)的每个所述产品图像(566)自动生成所述产品缺陷掩模(568),所述产品缺陷掩模指示由所述模型(602)检测到的每个所述缺陷(508)的所述缺陷位置(510)并识别所述缺陷类型(516)。
2.根据权利要求1所述的方法,其中,训练所述人工神经网络(600)包括训练卷积神经网络。
3.根据权利要求2所述的方法,其中,训练所述卷积神经网络包括:
在模型架构优化回路(604)中选择或调整模型参数,所述模型参数包括以下中的至少一个:模型架构的编码器部分(606)中的卷积层(610)和下采样层(612)的数量;所述模型架构的解码器部分(608)中的卷积层(610)和上采样层(614)的数量;输入到所述神经网络(600)中的所述参考图像(500)的尺寸;所述神经网络(600)的激活函数的类型;
将所述神经网络(600)适配到所述参考图像(500)中的所述缺陷类型(516);以及
重复调整所述模型参数和适配所述神经网络(600)的步骤,直到所述模型(602)正确地识别所述参考缺陷掩模(504)中指示的所述缺陷类型(516)。
4.根据权利要求1至3中任一项所述的方法,所述方法还包括:
将每个所述产品缺陷掩模(568)与在对应的所述产品图像(566)中捕获的所述层件(450)的区域的数字表示(630)空间对准,并且使得缺陷映射(632)包括与所述层件(450)相关联的每个所述缺陷(508)的部分上位置(636)和所述缺陷类型(516)。
5.根据权利要求4所述的方法,其中,将每个所述产品缺陷掩模(568)与所述层件(450)的所述数字表示(630)空间对准包括:
基于以下各项中的至少一项来推断与所述层件(450)相关联的每个缺陷(508)的所述部分上位置(636):
由所述模型(602)检测的每个所述缺陷(508)的像素位置;
在包括所述缺陷(508)的所述产品图像(566)的图像捕获时间处所述产品铺层头(562)相对于所述产品铺层(560)的位置;以及
所述红外相机(406)相对于所述产品铺层头(562)的位置和定向。
6.根据权利要求4所述的方法,所述方法还包括:
使用所述缺陷映射(632)物理地定位与所述层件(450)相关联的一个或多个所述缺陷(508),并且执行以下各项中的至少一项:
在施加所述产品铺层(560)的后续层件(450)之前修复一个或多个所述缺陷(508);以及
以减轻后续形成与在所述缺陷映射(632)上指示的一个或多个所述缺陷(508)的所述缺陷类型(516)相同的缺陷(508)的方式来调整至少一个铺层过程参数。
7.根据权利要求6所述的方法,其中,调整所述至少一个铺层过程参数包括调整以下各项中的至少一项:
当将所述层件(450)施加到基板(476)上时所述产品铺层头(562)的行进速度;
在施加所述层件(450)之前用于加热所述基板(476)的加热装置(414)的热输出;以及
压紧装置(410)抵靠所述基板(476)压紧所述层件(450)的压紧压力。
8.根据权利要求1至3中任一项所述的方法,其中,所述层件(450)被铺设为单宽度带(454)或多个并排丝束(456),识别每个所述缺陷(508)的所述缺陷类型(516)的步骤包括:
将所述缺陷(508)识别为以下各项中的一项:扭曲、折叠、间隙、重叠、桥接、起皱、皱褶、缺失带或丝束、低质量粘性、异物碎片、树脂球、绒毛球。
9.根据权利要求1至3中任一项所述的方法,其中,捕获所述参考图像(500)包括:
使用所述红外相机(406)在所述层件(450)上的位于所述参考铺层头(404)的压紧装置(410)正后面的一位置处捕获所述参考图像(500),所述压紧装置(410)配置成抵靠基板(476)压紧所述层件(450);以及
使用所述参考铺层头(404)的加热装置(414)将热(416)施加到所述基板(476)的位于所述压紧装置(410)正前面的区域。
10.根据权利要求1至3中任一项所述的方法,所述方法还包括:
删除是以下各项中的至少一项的所述参考图像(500):部分外图像、遮挡视图图像和非铺层头移动图像。
11.根据权利要求1至3中任一项所述的方法,其中,每个所述参考图像(500)由具有强度值的像素组成,所述方法还包括:
通过执行以下各项中的至少一项来预处理所述参考图像(500)以准备用于训练所述神经网络(600):
裁剪每个所述参考图像(500)以从所述参考图像(500)移除非铺层特征;以及
通过将所述参考图像(500)的像素的强度值以平均像素值为中心并且通过标准偏差对像素的强度值的范围进行重新缩放,来对每个所述参考图像(500)进行标准化。
12.根据权利要求1至3中任一项所述的方法,其中,指示每个所述缺陷(508)的所述缺陷位置(510)包括以下各项中的一项:
在所述参考图像(500)中的每个所述缺陷(508)周围形成缺陷边界(511);或者
对表示所述参考图像(500)中的每个所述缺陷(508)的像素进行颜色编码。
13.根据权利要求1至3中任一项所述的方法,其中,使用图像注释软件程序执行所述参考缺陷掩模(504)的生成。
14.根据权利要求1至3中任一项所述的方法,其中,训练所述神经网络(600)以执行分割包括:
训练所述神经网络(600)以执行语义图像分割或实例分割。
15.根据权利要求1至3中任一项所述的方法,所述方法还包括:
手动检查用于所述缺陷(508)的所述产品图像(566),并为包括手动检测到的所述缺陷(508)的每个所述产品图像(566)生成指示所述产品图像(566)中每个所述缺陷(508)的缺陷位置(510)和缺陷类型(516)的参考缺陷掩模(504);以及
将所述产品图像(566)和对应的所述参考缺陷掩模(504)输入到所述神经网络(600)中,以进一步训练所述模型(602),从而在检测由所述产品铺层头(562)施加的后续层件(450)的所述产品图像(566)中的所述缺陷(508)时提高所述模型(602)的准确度。
CN202210961784.9A 2021-08-12 2022-08-11 过程中检测和映射复合铺层中的缺陷的方法 Pending CN115705646A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/401,149 2021-08-12
US17/401,149 US20230051895A1 (en) 2021-08-12 2021-08-12 Method of in-process detection and mapping of defects in a composite layup

Publications (1)

Publication Number Publication Date
CN115705646A true CN115705646A (zh) 2023-02-17

Family

ID=82846266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961784.9A Pending CN115705646A (zh) 2021-08-12 2022-08-11 过程中检测和映射复合铺层中的缺陷的方法

Country Status (4)

Country Link
US (1) US20230051895A1 (zh)
EP (1) EP4134910A1 (zh)
JP (1) JP2023026360A (zh)
CN (1) CN115705646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630264A (zh) * 2023-05-21 2023-08-22 阿里巴巴(中国)有限公司 密封钉焊接缺陷的检测方法、存储介质以及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020079567A1 (en) * 2018-10-15 2020-04-23 3M Innovative Properties Company Automated inspection for sheet parts of arbitrary shape from manufactured film
CN116030038B (zh) * 2023-02-23 2023-06-20 季华实验室 基于缺陷生成的无监督oled缺陷检测方法
CN118247602A (zh) * 2024-04-08 2024-06-25 航天宏图信息技术股份有限公司 基于图像生成方式的缺陷零样本生成方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769785B2 (en) * 2018-09-14 2020-09-08 Siemens Medical Solutions Usa, Inc. Neural network for neurodegenerative disease classification
CN112015603A (zh) * 2019-05-30 2020-12-01 鸿富锦精密电子(郑州)有限公司 用户终端硬件检测方法、装置、计算机装置及存储介质
US20220031394A1 (en) * 2019-09-27 2022-02-03 Asensus Surgical Us, Inc. Method and System for Providing Real Time Surgical Site Measurements
US11380529B2 (en) * 2020-09-30 2022-07-05 Fei Company Depth reconstruction for 3D images of samples in a charged particle system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630264A (zh) * 2023-05-21 2023-08-22 阿里巴巴(中国)有限公司 密封钉焊接缺陷的检测方法、存储介质以及电子设备

Also Published As

Publication number Publication date
EP4134910A1 (en) 2023-02-15
JP2023026360A (ja) 2023-02-24
US20230051895A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN115705646A (zh) 过程中检测和映射复合铺层中的缺陷的方法
CN104915635B (zh) 检查复合物品的方法和计算机系统、计算机可读介质
US7835567B2 (en) Visual fiber placement inspection
US5562788A (en) Composite material laser flaw detection
US7362437B2 (en) Vision inspection system device and method
US8934702B2 (en) System and method for determining cumulative tow gap width
US7978328B2 (en) Vision inspection system device and method
EP2056095B1 (en) Method and system for determining cumulative foreign object characteristics of a composite structure
US20120216957A1 (en) Mapping Tow Splices in Composite Structures
EP3396484B1 (en) Process control of a composite fabrication process
JP2015172576A5 (ja) 複合アイテムの検査方法及びシステム
JP6949594B2 (ja) 表面及び表面下のfod及び欠陥を高速で検出するためのシステム及び方法
CN105487486A (zh) 用于在制造期间检测复合零件的系统和方法
EP3599457A1 (en) Characterization of melted veil strand ratios in plies of fiber material
JP2018031775A (ja) 表面及び表面下のfod及び欠陥を高速で検出するためのシステム及び方法
US20220397471A1 (en) Pressure vessel strain analysis device and pressure vessel manufacturing method
US11040500B2 (en) Thermographic inspection for tape layup machines
US11192319B2 (en) Method for cutting belt-like member, and apparatus therefor
Yadav Inline monitoring and control for Automated Tape Laying
JP2023082692A (ja) マルチヘッド自動繊維配置システム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination