CN109458962A - 自动化铆钉测量系统 - Google Patents

自动化铆钉测量系统 Download PDF

Info

Publication number
CN109458962A
CN109458962A CN201810998993.4A CN201810998993A CN109458962A CN 109458962 A CN109458962 A CN 109458962A CN 201810998993 A CN201810998993 A CN 201810998993A CN 109458962 A CN109458962 A CN 109458962A
Authority
CN
China
Prior art keywords
rivet
image
hole
profile
concentricity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810998993.4A
Other languages
English (en)
Other versions
CN109458962B (zh
Inventor
帕特里克·L·安德森
史蒂芬·J·本尼森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN109458962A publication Critical patent/CN109458962A/zh
Application granted granted Critical
Publication of CN109458962B publication Critical patent/CN109458962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/04—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automatic Assembly (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种自动化铆钉测量系统，包括多个末端执行器、多个照相机、处理器和比较器。该多个末端执行器被配置为对结构执行钻孔和铆接。多个照相机连接到多个末端执行器。多个照相机被配置为拍摄结构中的孔的第一图像和孔中的铆钉的第二图像。处理器被配置为处理第一图像和第二图像以识别第一图像和第二图像中的多个参考点。比较器被配置为使用第一图像中的孔和第二图像中的铆钉来确定铆钉同心度，其中使用多个参考点来对齐第一图像和第二图像。

Description

自动化铆钉测量系统
技术领域
本公开总体上涉及制造交通工具，并且具体地涉及使用铆钉测量系统在交通工具中安装紧固件。再更具体地，本公开涉及一种被配置为安装铆钉并确定铆钉同心度的自动化铆钉测量系统。
背景技术
在制造交通工具时，安装紧固件以使零部件彼此连接。例如，可在商用飞机中安装成千上万个或更多的铆钉。执行已安装的铆钉的检查以确定铆钉是否满足商用飞机的规格。
可以许多不同的方式执行该检查。可使用非破坏性测试和破坏性测试来执行该检查。
可通过让操作人员使用诸如计量器或探针等工具进行测量来执行非破坏性测试。另外，可使用机器人执行非破坏性测试，该机器人具有被配置为进行测量的末端执行器。还可使用照相机或激光测量工具来获得铆钉的测量。
然而，一些测量可无法容易地使用操作人员或机器人利用计量器、探针、照相机或激光测量工具来进行。例如，一些参数无法在已安装的铆钉上查看。一个感兴趣的参数是铆钉同心度。通过钻出铆钉并测量未安装的铆钉来测量该参数。钻出铆钉会破坏并移除铆钉。钻孔和测量是破坏性测试的一种形式。
因此，可采用破坏性测试来获得对铆钉同心度和其它参数的测量。对于破坏性测试，拆卸和移除铆钉以进行测量通常比预期耗费更多时间和成本。然而，对于破坏性测试的另一个缺点是，发生了将另一个铆钉安装在飞机中的结构中的所检查的位置内的附加步骤。这种情况也增加了用于制造商用飞机的成本。
因此，希望具有一种考虑到上面讨论的至少一些问题以及其它可能的问题的方法和设备。例如，希望具有一种克服与在不使用破坏性测试的情况下获得期望参数的测量相关的技术问题的方法和设备。
发明内容
本公开的一说明性实施例提供了一种用于铆钉同心度的自动化非破坏性测试的方法。使用末端执行器将铆钉安装在结构中的孔内。处理结构中的孔的第一图像和结构中的铆钉的第二图像以识别位于第一图像和第二图像这两者中的多个参考点。使用多个参考点来对齐第一图像和第二图像。分析第一图像以确定孔的多个位置。分析第二图像以确定铆钉的多个位置。使用孔的多个位置和铆钉的多个位置来自动确定铆钉同心度。
本公开的另一说明性实施例提供了一种自动化铆钉测量系统。自动化铆钉测量系统包括多个末端执行器、多个照相机、处理器和比较器。多个末端执行器被配置为对结构执行钻孔和铆接。多个照相机连接到多个末端执行器。多个照相机被配置为拍摄结构中的孔的第一图像和孔中的铆钉的第二图像。处理器被配置为处理第一图像和第二图像以识别第一图像和第二图像中的多个参考点。比较器被配置为使用第一图像中的孔和第二图像中的铆钉来确定铆钉同心度，其中使用该多个参考点来对齐第一图像和第二图像。
本公开的进一步说明性实施例提供了一种用于铆钉同心度的自动化非破坏性测试的方法。使用被配置为执行钻孔的末端执行器在结构中钻孔。对结构中的孔拍摄第一图像。使用被配置为执行铆接的末端执行器在孔内安装铆钉。对结构中的铆钉拍摄第二图像。处理第一图像和第二图像以识别位于第一图像和第二图像这两者中的多个参考点。在坐标系内相对于多个参考点对齐第一图像和第二图像。分析第一图像以确定孔的多个位置。分析第二图像以确定铆钉的多个位置。使用孔的多个位置和铆钉的多个位置来自动确定铆钉同心度。
特征和功能可在本公开的各种实施例中独立地实现，或者可在另外的其它实施例中组合，其中可参考以下描述和附图来查看进一步细节。
附图说明
在所附权利要求中阐述了被认为是新颖特征的说明性实施例的特性。然而，当结合附图阅读时，通过参考本公开的说明性实施例的具体实施方式，将最好地理解说明性实施例以及优选的使用模式、其进一步的目的和特征，其中：
图1是其中可实施一说明性实施例的飞机的图示；
图2是根据一说明性实施例的具有自动化铆钉测量系统的制造环境的框图的图示；
图3是根据一说明性实施例的具有自动化铆钉测量系统的制造环境的等距视图的图示；
图4是根据一说明性实施例的具有所连接的照相机的末端执行器的图示；
图5是根据一说明性实施例的具有已安装的铆钉的结构的俯视图的图示；
图6是根据一说明性实施例的具有已安装的铆钉的结构的透视图的图示；
图7是根据一说明性实施例的第一图像的图示；
图8是根据一说明性实施例的第二图像的图示；
图9是根据一说明性实施例的处理后的第一图像的图示；
图10是根据一说明性实施例的处理后的第二图像的图示；
图11是根据一说明性实施例的处理后的第二图像的图示；
图12是根据一说明性实施例的覆盖在第二图像的一部分上的典型分析的图示；
图13是根据一说明性实施例的覆盖在第二图像的一部分上的典型分析的图示；
图14是根据一说明性实施例的覆盖在第二图像的一部分上的典型分析的图示；
图15是根据一说明性实施例的用于自动化铆钉测量的过程的流程图的图示；
图16是根据一说明性实施例的分析选项的流程图的图示；
图17是根据一说明性实施例的用于自动化铆钉测量的过程的流程图的图示；
图18是根据一说明性实施例的数据处理系统的框图的图示；
图19是根据一说明性实施例的飞机制造和维修方法的框图的图示；并且
图20是其中可实施一说明性实施例的飞机的框图的图示。
具体实施方式
说明性实施例认识并考虑到一个或多个不同的考虑事项。例如，说明性实施例认识并考虑到，在不进行破坏性测试的情况下执行测量将是合乎需要的。说明性实施例认识并考虑到，可用于识别铆钉参数(诸如同心度)的一种类型的非破坏性测试是使用x射线系统。
然而，说明性实施例认识并考虑到，x射线系统是较不理想的非破坏性测试系统。x射线系统可需要移除或拆卸零部件以执行x射线测量。在生成图像之后，重新安装或重新组装零部件。在其它情况下，可不需要移除或拆卸零部件，但是设备的成本、对操作员的专业培训以及用于x射线测量的耗时步骤使该类型的技术是不合需要的。
说明性实施例认识并考虑到，减少人体暴露于x射线是合乎需要的。在x射线系统的操作期间，制造环境内的x射线系统范围内的操作人员将被屏蔽而免于x射线。说明性实施例认识到，可在没有安排制造活动的时间期间安排x射线检查，以使处于制造环境中的操作人员降到最少数量。说明性实施例认识到，在操作x射线系统之前，在x射线系统范围内的操作人员将被疏散或屏蔽。在操作x射线系统期间，疏散或屏蔽操作人员将导致工作停止。
因此，说明性实施例认识到并考虑到，x射线系统由于进行测量所需的时间和工作增加而是较不理想的非破坏性测试系统。说明性实施例认识到，当可存在成千上万个铆钉时，这种类型的系统可大量增加所需的时间和工作。
说明性示例认识并考虑到，安装在结构中的铆钉具有头部和扣状部(button，按钮)。说明性示例认识并考虑到，铆钉的头部位于结构的外表面上。说明性示例认识并考虑到，结构的外表面是由此插入铆钉以供安装的表面。说明性示例认识并考虑到，结构的内表面与外表面相对。说明性示例认识并考虑到，内表面是当安装铆钉时其上形成扣状部的表面。
说明性示例认识并考虑到，为了安装铆钉，将铆钉的轴插入到结构的孔中，使得铆钉的头部接触结构的外表面。说明性示例认识并考虑到，扣状部是通过接触铆钉的轴并向下按压以使铆钉轴的端部在内表面上变形成扣状部而形成的。说明性示例认识并考虑到，由于工艺变化，扣状部可不规则地成形。说明性示例认识并考虑到，由于工艺变化，扣状部可相对于铆钉轴不是对称的。说明性示例认识并考虑到，由于工艺变化，扣状部可不覆盖孔。
说明性示例认识并考虑到，铆钉同心度描述了扣状部在铆钉中有多对称。说明性示例认识并考虑到，铆钉同心度可相对于孔或相对于铆钉轴来确定。
说明性示例认识到并考虑到，环境因素会影响将铆钉安装到结构中。说明性示例认识到并考虑到，环境因素可影响所得到的铆钉同心度。
说明性示例认识并考虑到，环境因素可包括特定的紧固机器、特定的操作人员团队或其它适当的因素。说明性示例认识并考虑到，环境因素还可包括机器工艺参数，例如安装过程、锤击时间、施力设置、钻速和其它参数。说明性示例认识并考虑到，这些参数可影响铆钉的安装。说明性示例认识并考虑到，环境因素的示例可包括诸如材料类型、涂层和钻头磨损等工艺参数。说明性示例认识并考虑到，附加的环境因素包括温度、湿度、机器位置和其它类型的环境因素。
说明性实施例认识并考虑到，执行对于铆钉同心度的非破坏性测试可比使用破坏性测试执行测量花费更少的时间。说明性的示例认识并考虑到，可需要在原地执行检查。说明性实施例认识并考虑到，原地执行对于铆钉同心度的非破坏性测试可比作为单独步骤执行非破坏性测试花费更少的时间。说明性实施例认识并考虑到，原地执行对于铆钉同心度的非破坏性测试可包括以下中的至少一项：在其它制造操作期间拍摄图像、处理图像或分析图像。说明性实施例认识并考虑到，原地执行对于铆钉同心度的非破坏性测试可包括在钻孔操作、铆接操作中的至少一项期间或者在钻孔或铆接操作之间的移动期间执行非破坏性测试。
说明性实施例认识并考虑到，制造操作内存在可变性。说明性实施例认识并考虑到，对于制造环境内的末端执行器的移动存在公差。说明性实施例认识并考虑到，被指示而多次驱动到相同位置的末端执行器将由于移动公差而不会每次都驱动到精确相同的位置。说明性实施例认识并考虑到，据称从相同位置拍摄的图像可基于移动公差而具有位置上的差异。
现在参考附图，并且具体地参考图1，描绘了其中可实施一说明性实施例的飞机的图示。在该说明性示例中，飞机100具有连接到机体106的机翼102和机翼104。飞机100包括连接到机翼102的发动机108和连接到机翼104的发动机110。
机体106具有尾部112。水平稳定翼114、水平稳定翼116和垂直稳定翼118连接到机体106的尾部112。
飞机100是其中可找到由自动化铆钉测量系统安装和测量的铆钉的环境。例如，由自动化铆钉测量系统安装和测量的铆钉存在于机翼102、机翼104或机体106中的至少一者中。
如本文所使用，当与项目列表一起使用时，短语“……中的至少一个”意味着可使用一个或多个所列项目的不同组合，并且可仅需要列表中的每个项目中的一个。换句话说，“……中的至少一个”意味着可使用列表中的任何项目组合和任何数量的项目，但是并非列表中的所有项目都是必需的。该项目可以是特定的对象、事物或类别。
例如，但不限于，“物品A、物品B或物品C中的至少一个”可包括物品A、物品A和物品B或物品C。该示例还可包括项目A、项目B、以及项目C；或者项目B和项目C。当然，这些项目的任何组合都可能存在。在一些说明性示例中，“……中的至少一个”可为例如但不限于，项目A中的两个、项目B中的一个和项目C中的十个；项目B中的四个和项目C中的七个；或其它合适的组合。
提供该飞机100的图示是为了说明其中可实施不同的说明性实施例的一种环境的目的。图1中的飞机100的图示并不意味着暗示关于可实施不同的说明性实施例的方式的架构限制。例如，飞机100被示出为商用客机。不同的说明性实施例可应用于其它类型的飞机，诸如私人客机、旋翼飞机或其它合适类型的飞机。
虽然关于飞机描述了针对说明性实施例的说明性示例，但是说明性实施例可应用于其它类型的结构。该结构例如可为移动结构、静止结构、陆基结构、水基结构或天基结构。更具体地，该结构可为水面舰艇、坦克、人员输送车、火车、航天器、空间站、卫星、潜艇、制造设施、建筑物或其它合适类型的结构。
现在转向图2，描绘了根据一说明性实施例的具有自动化铆钉测量系统的制造环境的框图的图示。飞机100的部件可在制造环境200中制造。例如，机翼102或机翼104中的至少一者可具有在制造环境200中安装和测量的铆钉。在制造环境200中，使用自动化铆钉测量系统202来安装和测量结构204中的铆钉203。
结构204可采用不同的形式。例如，可从蒙皮面板、管道、标石、发动机、发动机壳体、机身部分、翼盒、翼梁、肋条、现场可更换单元(LRU)、电气组件、以及可用于交通工具中的其它类型的结构中的至少一者选择结构。在该说明性示例中，结构204可由使用铆钉203彼此连接的一个或多个零部件或部件形成。在一些说明性示例中，结构204可仅由包括铆钉203的单个零部件形成。在一些说明性示例中，结构204是用于飞机100中的至少一个零部件或部件。
自动化铆钉测量系统202包括多个末端执行器206、多个照相机207、处理器208和比较器209。多个末端执行器206被配置为对结构204执行钻孔210和铆接211。如本文所使用，“多个项目”是一个或多个项目。例如，多个末端执行器206是一个或多个末端执行器。
在一些说明性示例中，多个末端执行器206包括用于执行钻孔210和铆接211的一个末端执行器。在这些说明性示例中，多个末端执行器206是末端执行器212。在这些说明性示例中，多个末端执行器206是被配置为执行钻孔210和铆接211的末端执行器212。
在其它说明性示例中，多个末端执行器206包括用于执行钻孔210和铆接211的一个以上的末端执行器。在一些说明性示例中，多个末端执行器206是被配置为执行钻孔210的末端执行器212和被配置为执行铆接211的末端执行器213。
多个照相机207连接到多个末端执行器206。多个照相机207被配置为拍摄结构204中的孔216的第一图像214和孔216中的铆钉219的第二图像218。第一图像214具有孔216a(结构204中的孔216的视觉描绘)。第二图像218具有铆钉219b(结构204中的铆钉219的视觉描绘)。
在一些说明性示例中，多个照相机207包括连接到末端执行器212的照相机220。在这些说明性示例中，照相机220拍摄第一图像214和第二图像218这两者。
在一些说明性示例中，多个照相机207包括连接到末端执行器213的照相机220。在这些说明性示例中，照相机220拍摄第一图像214和第二图像218这两者。
在一些说明性示例中，多个照相机207包括照相机220和照相机222。在这些说明性示例中，连接到末端执行器212的照相机220拍摄第一图像214。在这些说明性示例中，连接到末端执行器213的照相机222拍摄第二图像218。
在一些说明性示例中，多个末端执行器206包括用于执行钻孔的第一末端执行器(末端执行器212)以及用于执行铆接的第二末端执行器(末端执行器213)。在这些说明性示例中的一些说明性示例中，多个照相机207包括连接到第一末端执行器的被配置为拍摄第一图像214的照相机220以及连接到第二末端执行器的被配置为拍摄第二图像218的第二照相机(照相机222)。在这些说明性示例中的其它说明性示例中，多个照相机207包括连接到第二末端执行器(末端执行器213)的照相机220。
处理器208被配置为处理第一图像214和第二图像218以识别第一图像214和第二图像218中的多个参考点224。多个参考点224可采用结构204的任何类型的特征的形式。例如，多个参考点224可包括结构204的铆钉、孔或边缘中的至少一者。
比较器209被配置为分析第一图像214以确定孔216a的多个位置226，分析第二图像218以确定铆钉219b的多个位置228，并且使用孔216a的多个位置226和铆钉219b的多个位置228来确定铆钉同心度230。在一些说明性示例中，孔216a的多个位置226是孔216a的所检测的边缘。在一些说明性示例中，多个位置226可不同于孔216的边缘。在一些说明性示例中，铆钉219b的多个位置228是铆钉219b的所检测的边缘。在一些说明性示例中，多个位置228可不同于铆钉219的扣状部的边缘。
比较器209是被配置为确定铆钉同心度230的装置。比较器209还被配置为将确定的铆钉同心度230与规格限制280进行比较。
如所描绘的，比较器209可位于计算机系统232中。计算机系统232是物理硬件系统并包括一个或多个数据处理系统。当存在一个以上的数据处理系统时，那些数据处理系统使用通信介质彼此通信。通信介质可为网络。可从计算机、服务器计算机、平板电脑或一些其它合适的数据处理系统中的至少一者中选择数据处理系统。
在说明性示例中，比较器209可以软件、硬件、固件或其组合来实施。当使用软件时，由比较器209执行的操作可在被配置为在诸如处理器单元等硬件上运行的程序代码中实施。当使用固件时，由比较器209执行的操作可以程序代码和数据实施，并且被存储在持久性存储器中以在处理器单元上运行。当采用硬件时，硬件可包括用于执行比较器209中的操作的电路。
在说明性示例中，硬件可采用从电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑装置或被配置为执行多个操作的一些其它合适类型的硬件中的至少一者中选择的形式。对于可编程逻辑装置，该装置可被配置为执行多个操作。该装置可在稍后重新配置，或者可永久地被配置为执行多个操作。可编程逻辑装置包括例如可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列以及其它合适的硬件装置。另外，该过程可在与无机部件集成的有机部件中实施，并且可完全由有机部件组成。例如，该过程可被实施为有机半导体中的电路。
末端执行器212在结构204的位置234中钻出孔216。在一些说明性示例中，照相机220附接到末端执行器212并当末端执行器212处于第一位置236时拍摄第一图像214。在一些说明性示例中，第一位置236是用于在位置234中钻出孔216的末端执行器212的位置。在一些说明性示例中，当末端执行器212在钻出210孔216之后远离位置234移动时，第一位置236是末端执行器212的位置。
在一些其它说明性示例中，照相机220附接到末端执行器213并当末端执行器213处于第一位置236时拍摄第一图像214。在这些说明性示例中，照相机220在末端执行器213执行铆接211以完成铆钉219之前拍摄第一图像214。
末端执行器212或末端执行器213中的一者执行铆接211以完成铆钉219。完成铆钉219包括形成铆钉219的扣状部(未描绘)。铆钉219的扣状部(未描绘)是由多个照相机207成像的铆钉219的可见部分。使用铆钉219的扣状部(未描绘)的视觉描绘来确定铆钉同心度230。
多个照相机207在完成铆钉219之后拍摄第二图像218。在一些说明性示例中，附接到末端执行器212的照相机220拍摄第二图像218。在这些说明性示例中，照相机220当末端执行器212处于第二位置238时拍摄第二图像218。
在一些说明性示例中，第二位置238是末端执行器212在孔216中完成铆钉219的位置。在一些说明性示例中，第二位置238是当末端执行器212在孔216中完成铆钉219之后远离铆钉219移动时末端执行器212的位置。
在一些说明性示例中，附接到末端执行器213的照相机220拍摄第二图像218。在这些说明性示例中，照相机220当末端执行器213处于第二位置238时拍摄第二图像218。
在一些说明性示例中，附接到末端执行器213的照相机222拍摄第二图像218。在这些说明性示例中，照相机222当末端执行器213处于第二位置238时拍摄第二图像218。
在一些说明性示例中，第二位置238是末端执行器213在孔216中完成铆钉219的位置。在一些说明性示例中，第二位置238是当末端执行器213在孔216中完成铆钉219之后远离铆钉219移动时末端执行器212的位置。
在一些说明性示例中，第一位置236和第二位置238大致上相同。在一些说明性示例中，第一位置236偏离第二位置238。
如所描绘的，结构204具有第一特征240和第二特征242。当第一特征240和第二特征242存在于两个图像中时，第一特征240和第二特征242可用作对于这两个图像的多个参考点224。如所描绘的，第一特征240和第二特征242存在于两个图像(第一图像214和第二图像218)中。
第一特征240a是第一图像214内的第一特征240的视觉描绘。第一特征240b是第二图像218内的第一特征240的视觉描绘。
第二特征242a是第一图像214内的第二特征242的视觉描绘。第二特征242b是第二图像218内的第二特征242的视觉描绘。
在该说明性示例中，第一特征240采用铆钉203中的铆钉243的形式。铆钉243a是第一图像214内的铆钉243的视觉描绘。铆钉243b是第二图像218内的铆钉243的视觉描绘。
在该说明性示例中，第二特征242采用铆钉203中的铆钉244的形式。铆钉244a是第一图像214内的铆钉244的视觉描绘。铆钉244b是第二图像218内的铆钉244的视觉描绘。
在其它未描绘的示例中，第一特征240可为结构204中的孔(未描绘)。在其它未描绘的示例中，第一特征240可为结构204的边缘(未描绘)。在其它未描绘的示例中，第二特征242可为结构204中的孔(未描绘)。在其它未描绘的示例中，第二特征242可为结构204的边缘(未描绘)。
处理器208使用多个参考点224来对齐第一图像214和第二图像218。在一些说明性示例中，处理器208相对于坐标系统246定位第一图像214。在一些说明性示例中，处理器208相对于坐标系统246定位第二图像218。
在一些说明性示例中，在坐标系统246内识别孔216a的多个位置226。在一些说明性示例中，在坐标系统246内识别铆钉219b的多个位置228。
在一些说明性示例中，在覆盖第二图像218和第一图像214之前，使用多个参考点224来对齐第一图像214和第二图像218。在一些说明性示例中，在将孔216a的多个位置226覆盖到第二图像218上之前，使用多个参考点224来对齐第一图像214和第二图像218。
比较器209在任何期望的时间自动确定铆钉同心度230。在一些说明性示例中，比较器209原地确定铆钉同心度230。当比较器209原地确定铆钉同心度230时，比较器209在多个末端执行器206对结构204执行操作的同时确定铆钉同心度230。在一些说明性示例中，当比较器209原地确定铆钉同心度230时，比较器209在多个末端执行器206对结构204执行钻孔210和铆接211的同时确定铆钉同心度230。在一些说明性示例中，比较器209响应于接收到第一图像214和第二图像218而确定铆钉同心度230。在一些说明性示例中，比较器209响应于多个末端执行器206对结构204完成钻孔210和铆接211而确定铆钉同心度230。在一些说明性示例中，比较器209响应于多个末端执行器206在结构204的位置234上完成钻孔210和铆接211而确定铆钉219的铆钉同心度230。
比较器209执行任何期望的程序以确定铆钉同心度230。在一些说明性示例中，比较器209被配置为产生孔216a的轮廓248并产生铆钉219b的轮廓250。轮廓248表示孔216a的多个位置226。轮廓250表示铆钉219b的多个位置228。在一些说明性示例中，确定铆钉同心度230包括确定孔216a的轮廓248的点253与铆钉219b的轮廓250的点254之间的距离252。在一些说明性示例中，铆钉同心度230是距离252的最小值。
在一些说明性示例中，距离252包括每个点253与每个点254之间的距离。在其它说明性示例中，距离252包括每个点254与对于点254中的每个点的点253的子集之间的距离。在其它说明性示例中，距离252包括与轮廓248的切线垂直的距离。
在一些说明性示例中，比较器209被配置为产生孔216a的轮廓248，确定孔216a的轮廓248的中心点256，产生铆钉219b的轮廓250。在一些说明性示例中，确定铆钉同心度230包括确定铆钉219b的轮廓250的点254与中心点256之间的距离258。在一些说明性示例中，铆钉同心度230是距离258的最小值。
在一些说明性示例中，比较器209被配置为产生孔216a的轮廓248，确定孔216a的轮廓248的中心点256，产生铆钉219b的轮廓250，并且确定铆钉219b的轮廓250的质量中心点260。在一些说明性示例中，确定铆钉同心度230包括确定中心点256与质量中心点260之间的距离262。
多个照相机207当多个末端执行器206对结构204执行钻孔210和铆接211时拍摄多个图像264。多个图像264被发送到计算机系统232以供处理器208处理和以供比较器209分析。多个图像264可包括任何期望数量的图像。多个图像264可作为图像266存储在数据库268内。
自动化铆钉测量系统202可使用图像266的元数据270来确定要处理哪些图像266来识别多个参考点224。例如，每个图像266在可用作多个参考点224的类似位置中可具有铆钉203中的两个完成的铆钉。然而，铆钉203中的每个铆钉将具有独特地成形和定位的扣状部(未描绘)。为了减少处理资源，图像266的子集可由于不相关而被排除。
可使用元数据270来识别包括孔和随后用孔安装的铆钉的图像266中的两个图像。例如，可使用元数据270来识别要处理和分析的第一图像214和第二图像218。
在一些说明性示例中，第一图像214使用拍摄第一图像214的时间272、制造环境200内的位置274、功能276或照相机标识278中的至少一者被识别为具有孔216a。在一些说明性示例中，位置274是多个照相机207中拍摄第一图像214的照相机的位置。在一些说明性示例中，位置274是多个末端执行器206中附接有多个照相机207中拍摄第一图像214的相应照相机的末端执行器的位置。可使用任何期望的方法来识别位置274。在一些说明性示例中，使用制造环境200内的位置传感器来识别位置274。
功能276是在拍摄第一图像214之前或期间执行的制造功能，诸如钻孔210或铆接211。照相机标识278是多个照相机207中拍摄第一图像214的照相机的唯一标识符。
处理器208使用元数据270来识别第一图像214。处理器208使用元数据270来识别第二图像218。例如，第二图像218的时间272将晚于第一图像214的时间272。在一些说明性示例中，第一图像214的位置274将与第二图像218的位置274大致上相同。在一些说明性示例中，第一图像214的位置274和第二图像218的位置274使得第一特征240、第二特征242和位置234在第一图像214和第二图像218中可见。
比较器209自动确定铆钉同心度230是否满足规格限制280。在一些说明性示例中，比较器209生成指示铆钉219是否满足规格限制280的输出282。
在一些说明性示例中，输出282是警告或警报。当铆钉同心度230不满足规格限制280时，输出282可触发音频或视觉警报。在一些说明性示例中，输出282是报告中的条目。在一些说明性示例中，输出282是不满足规范限制280的结构204的位置图的一部分。
在一些说明性示例中，当输出282指示铆钉219的铆钉同心度230不满足规格限制280时，将由操作员检查输出282。在一些说明性示例中，当输出282指示铆钉219的铆钉同心度230不满足规格限制280时，铆钉219将被重新加工。
在一个说明性示例中，存在一个或多个克服与在不使用破坏性测试的情况下获得期望参数的测量相关的技术问题的技术方案。因此，一个或多个技术方案可提供识别破坏性测试测量而无需执行破坏性测试的技术效果。存在一个或多个提供在不钻出铆钉的情况下识别铆钉同心度的能力的技术方案。
因此，计算机系统232充当专用计算机系统，其中计算机系统232中的比较器209能够根据图像原地确定铆钉同心度。具体地，与不具有比较器209的当前可用的通用计算机系统相比较，比较器209将计算机系统232转换成专用计算机系统。
图2中的制造环境200的图示并非意味着暗示对于其中可实施一说明性实施例的方式的物理或架构限制。除了所说明的那些部件以外或代替所说明的那些部件，可使用其它部件。一些部件可以是不必要的。另外，还呈现了用于说明一些功能部件的框。当在一说明性实施例中实施时，这些框中的一个或多个可被组合、划分或被组合并划分为不同的框。
在一些说明性示例中，结构204可包括其它未描绘的特征。例如，结构204中的铆钉203可包括三个以上的铆钉。在一些说明性示例中，多个参考点224包括两个以上的参考点。例如，多个参考点224可包括三个参考点。
现在转向图3，描绘了根据一说明性实施例的具有自动化铆钉测量系统的制造环境的侧视图的图示。制造环境300是图2的制造环境200的一个物理实现方式。制造环境300中的末端执行器302是图2的末端执行器213的物理实现方式。
在该说明性示例中，末端执行器302被配置为执行铆接操作。在该说明性示例中，末端执行器302被定位成在制造环境300中将铆钉安装在结构304中的孔(未描绘)中。在该说明性示例中，使用不同的末端执行器(未描绘)在结构304中钻孔。
末端执行器302和照相机306是自动化铆钉测量系统308的部件。在该说明性示例中，照相机306是图2的多个照相机207中的照相机的物理实现方式。在一些说明性示例中，照相机306是拍摄孔和铆钉的图像(诸如第一图像214和第二图像218)的照相机220的实现方式。在一些说明性示例中，照相机306是拍摄已安装的铆钉的图像(诸如第二图像218)的照相机222的实现方式。自动化铆钉测量系统308使用来自照相机306的至少一个图像自动原地确定铆钉同心度。
照相机306在末端执行器302的操作期间拍摄结构304的图像。在一个说明性示例中，照相机306在孔处进行铆接操作前后拍摄图像。在该说明性示例中，照相机306同时拍摄第一图像(诸如图7的第一图像700)和第二图像(诸如图8的第二图像800)这两者。在该说明性示例中，照相机306在末端执行器302处于第一位置时拍摄第一图像，并且在末端执行器302处于第二位置时拍摄第二图像。在一些说明性示例中，第一位置和第二位置大致上相同。在其它说明性示例中，第一位置和第二位置彼此偏离。
在另一个说明性示例中，照相机306在将铆钉安装在孔中之后拍摄图像。在该说明性示例中，照相机306可仅拍摄第二图像(诸如图8的第二图像800)。在这些说明性示例中，照相机306在末端执行器302处于第二位置时拍摄第二图像。在该说明性示例中，附接到被配置为在结构304中钻孔的另一个末端执行器(未描绘)的不同照相机在另一个末端执行器处于第一位置时拍摄第一图像。在一些说明性示例中，第一位置和第二位置大致上相同。在其它说明性示例中，第一位置和第二位置彼此偏离。
当第一位置和第二位置大致上相同时，由于末端执行器移动公差，第一图像和第二图像仍然可对齐。当第一位置和第二位置偏离时，由于第一位置与第二位置之间的偏离，第一图像和第二图像被对准或对齐。
图3中的自动化铆钉测量系统308的图示并非意味着暗示关于其中可实施不同的说明性实施例的方式的架构限制。例如，在其它未描绘的示例中，末端执行器(未描绘)都在结构304中钻孔并在该孔中安装铆钉。在这些未描绘的示例中，附接到末端执行器(未描绘)的照相机拍摄孔和铆钉的图像。在这些说明性示例中，照相机在末端执行器相对于结构304处于第一位置时拍摄第一图像。在结构304中钻孔之后，照相机将在末端执行器处于第二位置时拍摄第二图像。在一些说明性示例中，第一位置和第二位置大致上相同。在一些说明性示例中，第一位置是钻孔位置，并且第二位置是铆接位置。在一些说明性示例中，第一位置是钻孔后末端执行器的位置。在一些说明性示例中，第二位置是铆接后末端执行器的位置。
现在转向图4，描绘了根据一说明性实施例的具有已连接的照相机的末端执行器的图示。视图400是图3的末端执行器302的侧视图的视图。
照相机306连接到末端执行器302并与末端执行器302一起移动。当末端执行器302相对于结构(诸如图3的结构304)移动时，照相机306也相对于该结构移动。
末端执行器302具有夹脚402和打钉工具(bucking tool)404。在铆接期间，打钉工具404接触铆钉以形成扣状部。
现在转向图5，描绘了根据一说明性实施例的具有已安装的铆钉的结构的俯视图的图示。视图500是图3的结构304的俯视图。结构304是图2的结构204的物理实现方式。
在该说明性示例中，结构304由铆接在一起的三个部件形成。如所描绘的，结构304由第一板502、第二板504和梁506形成。第一板502、第二板504和梁506中的每一者使用铆钉508装在一起。使用图3的自动化铆钉测量系统308安装和测量铆钉508。
现在转向图6，描绘了根据一说明性实施例的具有已安装的铆钉的结构的透视图的图示。视图600是图3的结构304的透视图。
在视图600中，看到了在视图500中被梁506遮蔽的铆钉602。为了测量铆钉602，由图3的照相机306相对于结构304以一角度拍摄图像。自动化铆钉测量系统308在图像处理和图像分析期间提供对角度的补偿。可使用结构304的俯视图的图像来测量铆钉508中的铆钉604。
现在转向图7，描绘了根据一说明性实施例的第一图像的图示。第一图像700是图2的第一图像214的实现方式。第一图像700是结构(诸如图3、图5和图6的结构304)的图像。
第一图像700具有铆钉702、铆钉704、孔706和孔708。铆钉702、铆钉704、孔706或孔708中的任何一个可为用于第一图像700的参考点。
铆钉702是物理铆钉的第一图像700内的视觉描绘。铆钉704是物理铆钉的第一图像700内的视觉描绘。孔706是物理孔的第一图像700内的视觉描绘。孔708是物理孔的第一图像700内的视觉描绘。
当拍摄第一图像700时，元数据与第一图像700一起被保存。元数据包括独特地识别第一图像700的数据。元数据包括照相机标识、照相机在坐标系统中的位置、时间、日期、在拍摄第一图像700之前由末端执行器执行的功能或任何其它期望的数据中的至少一者。
现在转向图8，描绘了根据一说明性实施例的第二图像的图示。第二图像800是结构(诸如图3、图5和图6的结构304)的图像。第二图像800是图2的第二图像218的实现方式。在一些说明性示例中，第二图像800是与图7中的结构相同的图像。在一些说明性示例中，第二图像800是与图7中成像的相同位置的图像。第二图像800具有铆钉802、铆钉804、孔806和铆钉808。
铆钉802是物理铆钉的第二图像800内的视觉描绘。铆钉804是物理铆钉的第二图像800内的视觉描绘。孔806是物理孔的第二图像800内的视觉描绘。铆钉808是物理铆钉的第二图像800内的视觉描绘。
当拍摄第二图像800时，元数据与第二图像800一起被保存。元数据包括独特地识别第二图像800的数据。元数据包括照相机标识、照相机在坐标系统中的位置、时间、日期、在拍摄第二图像800之前由末端执行器执行的功能或任何其它期望的数据中的至少一者。
将用于第二图像800的元数据与用于其它图像的元数据进行比较以确定任何潜在相关的图像。当与用于第一图像700的元数据进行比较时，用于第二图像800的元数据可指示第一图像700和第二图像800包括至少一些相同的特征。
为了说明目的，第一图像700和第二图像800是在安装铆钉前后的结构的相同位置的视觉描绘。图9到图11描绘了在第一图像700和第二图像800上使用说明性标记进行的图像分析。虽然第一图像700和第二图像800被描绘和讨论为结构的大致相同位置的图像，但是在一些说明性示例中，第一图像700和第二图像800可为相同或不同结构的不同位置的图像。
现在转向图9，描绘了根据一说明性实施例的处理后的第一图像的图示。视图900是覆盖有说明性标记的第一图像700的视图。
第一图像700和第二图像800是结构901的相同位置在两个不同时间的视图。在钻孔708之后拍摄第一图像700。在将铆钉808插入到孔708中之后拍摄第二图像800。
在一些说明性示例中，可仅使用元数据来将第一图像700和第二图像800识别为包含相同的特征。在其它说明性示例中，元数据可与第一图像700和第二图像800的视觉数据结合使用，以将第一图像700和第二图像800识别为包含相同的特征。例如，在将第一图像700和第二图像800识别为可包含相同特征之后，可将第一图像700和第二图像800的视觉数据进行比较以识别存在于第一图像700和第二图像800这两者中的不一致或其它独特特性。
例如，可使用第一图像700和第二图像800的视觉数据来确认铆钉702与铆钉802相同。例如，在铆钉702和铆钉802中的每一者中都存在凹陷(divot)。
处理第一图像700以确定多个参考点902。多个参考点902包括存在于第一图像700和第二图像800这两者中的特征。铆钉702与第二图像800中的铆钉802相同。铆钉704与第二图像800中的铆钉804相同。孔706与第二图像800中的孔806相同。在第二图像800中看不到孔708。
多个参考点902包括铆钉702、铆钉704和孔706。在视图900中，说明性标记904表示多个参考点902。表示多个参考点902的说明性标记904覆盖在铆钉702、铆钉704、孔706上。
例如，说明性标记906覆盖在铆钉702上。说明性标记908覆盖在铆钉704上。说明性标记910覆盖在孔706上。
多个参考点902用于对准第一图像700。在一些说明性示例中，多个参考点902用于相对于坐标系统定位第一图像700。
在处理第一图像700之后，分析第一图像700。分析第一图像700以确定孔708的多个位置912。
多个参考点902可包括存在于第一图像700中的任何期望类型的特征。虽然未在第一图像700中描绘，但是多个参考点902可包括结构901的边缘、结构901的不一致、标记或任何其它期望的特征。
现在转向图10，描绘了根据一说明性实施例的处理后的第二图像的图示。视图1000是覆盖有说明性标记的第二图像800的视图。
第一图像700和第二图像800是结构901的相同位置在两个不同时间的视图。在钻孔708之后拍摄第一图像700。在将铆钉808插入到孔708中之后拍摄第二图像800。
处理第二图像800以确定多个参考点1002。多个参考点1002包括存在于第一图像700和第二图像800这两者中的特征。铆钉802与第一图像700中的铆钉702相同。铆钉804与第一图像700中的铆钉704相同。孔806与第一图像700中的孔706相同。在第一图像700中看不到铆钉808。
多个参考点1002包括铆钉802、铆钉804和孔806。在视图1000中，说明性标记1004表示多个参考点1002。表示多个参考点1002的说明性标记1004覆盖在铆钉802、铆钉804、孔806上。
例如，说明性标记1006覆盖在铆钉802上。说明性标记1008覆盖在铆钉804上。说明性标记1010覆盖在孔806上。
多个参考点1002用于对准第二图像800。在一些说明性示例中，使用多个参考点1002来相对于与第一图像700相同的坐标系统定位第二图像800。
在处理第二图像800之后，分析第二图像800。分析第二图像800以确定铆钉808的多个位置1012。
现在转向图11，描绘了根据一说明性实施例的处理后的第二图像的图示。视图1100是具有多个参考点1002和轮廓1102的第二图像800的视图。轮廓1102包括表示第一图像700的7孔08的点1104。轮廓1102表示孔708在图9中的多个位置912。
现在转向图12，描绘了根据一说明性实施例的覆盖在第二图像的一部分上的代表性分析的图示。视图1200是具有代表性分析1202的第二图像800的铆钉808的视图。代表性分析1202是由图2的比较器209执行的分析的一系列视觉指示符。
如上面参考图9所讨论的，执行分析以确定图9的孔708的多个位置912。孔708的多个位置912是孔708的所检测的边缘。
如上面参考图10所讨论的，执行分析以确定铆钉808的多个位置1012。铆钉808的多个位置1012是铆钉808的扣状部的所检测的边缘。
代表性分析1202包括轮廓1102。轮廓1102包括表示第一图像700的孔708的点1204。如所描绘的，轮廓1102大致为圆形。点1204大致对应于图7的孔708的多个位置912。
轮廓1206包括表示第二图像800的铆钉808的点1208。如所描绘的，轮廓1206和铆钉808是不规则的。点1208大致对应于图10的铆钉808的多个位置1012。
在该说明性示例中，确定铆钉同心度包括确定孔708的轮廓1102的点1204与铆钉808的轮廓1206的点1208之间的距离1210。在一些说明性示例中，铆钉同心度是距离1210的最小值。
代表性分析1202包括距离1212、距离1214、距离1216、距离1218和距离1220。虽然仅描绘了五个距离，但是可确定任何期望数量的距离。在该说明性示例中，距离1220是最小值。在该说明性示例中，距离1220被设定为铆钉同心度。
现在转向图13，描绘了根据一说明性实施例的覆盖在第二图像的一部分上的代表性分析的图示。视图1300是具有代表性分析1302的第二图像800的铆钉808的视图。代表性分析1302是由图2的比较器209执行的分析的一系列视觉指示符。
如上面参考图9所讨论的，执行分析以确定孔708的多个位置912。孔708的多个位置912是孔708的所检测的边缘。
如上面参考图10所讨论的，执行分析以确定铆钉808的多个位置1012。铆钉808的多个位置1012是铆钉808的扣状部的所检测的边缘。
代表性分析1302包括轮廓1102。轮廓1102包括表示第一图像700的孔708的点1204。如所描绘的，轮廓1102大致为圆形。点1204大致对应于图7的孔708的多个位置912。在分析期间确定孔708的轮廓1102的中心点1304。
轮廓1206包括表示第二图像800的铆钉808的点1208。如所描绘的，轮廓1206和铆钉808是不规则的。点1208大致对应于图8的铆钉808的多个位置1012。
在该说明性示例中，确定铆钉同心度包括确定铆钉808的轮廓1206的点1208与中心点1304之间的距离1306。在一些说明性示例中，铆钉同心度是距离1306的最小值。
代表性分析1302包括距离1308、距离1310和距离1312。虽然仅描绘了三个距离，但是可确定任何期望数量的距离。在该说明性示例中，距离1312是最小值。在该说明性示例中，距离1312被设定为铆钉同心度。
现在转向图14，描绘了根据一说明性实施例的覆盖在第二图像的一部分上的代表性分析的图示。视图1400是具有代表性分析1402的第二图像800的铆钉808的视图。代表性分析1402是由图2的比较器209执行的分析的一系列视觉指示符。
如上面参考图9所讨论的，执行分析以确定孔708的多个位置912。孔708的多个位置912是孔708的所检测的边缘。
如上面参考图10所讨论的，执行分析以确定铆钉808的多个位置1012。铆钉808的多个位置1012是铆钉808的扣状部的所检测的边缘。
典型分析1402包括轮廓1102。轮廓1102包括表示第一图像700的孔708的点1204。如所描绘的，轮廓1102大致为圆形。点1204大致对应于图7的孔708的多个位置912。在分析期间确定图7的孔708的轮廓1102的中心点1304。
轮廓1206包括表示第二图像800的铆钉808的点1208。如所描绘的，轮廓1206和铆钉808是不规则的。点1208大致对应于图8的铆钉808的多个位置1012。在分析期间确定铆钉808的轮廓1206的质量中心点1404。
在该说明性示例中，确定铆钉同心度包括确定中心点1304与质量中心点1404之间的距离1406。在该说明性示例中，铆钉同心度是距离1406。
图12到图14是对第一图像和第二图像执行的分析的表示。虽然代表性分析1202、代表性分析1302和代表性分析1402的描绘是图示和覆盖图，但是在一些说明性示例中，这些分析可替代地以图形描绘。在一些说明性示例中，至少一些分析可为没有图形描绘的计算。
图12到图14是图8的铆钉808的每个图像。在其它说明性示例中，铆钉的扣状部相对于包含铆钉的孔可为不同的形状、不同的尺寸或不同的位置。例如，在图12到图14中的每一个图中，铆钉808完全覆盖孔708使它不可见。在其它示例性示例中，铆钉可不完全覆盖相关的孔。在这些说明性示例中，铆钉的轮廓的点与孔的轮廓的点之间的至少一个距离是负的。在一些说明性示例中，当距离为负的时，相应的铆钉(诸如铆钉808)将自动被重新加工。
现在转向图15，描绘了根据一说明性实施例的用于自动化铆钉测量的过程的流程图的图示。自动化铆钉测量系统202可在图2的制造环境200内执行方法1500。可使用自动化铆钉测量系统308在图3的制造环境300中执行方法1500。可对图3到图5的结构304执行方法1500。可使用图7到图11的第一图像700和第二图像800来执行方法1500。方法1500使用末端执行器将铆钉安装在结构中的孔内(操作1502)。
方法1500处理结构中的孔的第一图像和结构中的铆钉的第二图像以识别位于第一图像和第二图像这两者中的多个参考点(操作1504)。在一些说明性示例中，原地拍摄第一图像和第二图像。例如，可在其它制造操作(诸如钻孔、铆接、或者钻孔或铆接后的移动)期间拍摄第一图像和第二图像中的每一者。当原地拍摄第一图像和第二图像时，不产生附加的检查步骤。当原地拍摄第一图像和第二图像时，可不使用附加的末端执行器移动。当原地拍摄第一图像和第二图像时，可缩短检查时间。
在一些说明性示例中，使用相同的照相机拍摄第一图像和第二图像。例如，可使用附接到用于钻孔并安装铆钉的末端执行器的照相机拍摄第一图像和第二图像。作为另一个示例，使用第一末端执行器来钻孔，并且可使用附接到用于安装铆钉的第二末端执行器的照相机拍摄第一图像和第二图像。
在其它说明性示例中，使用不同的照相机拍摄第一图像和第二图像。例如，可使用附接到用于钻孔的末端执行器的照相机拍摄第一图像，而使用附接到用于安装铆钉的第二末端执行器的第二照相机拍摄第二图像。
在一些说明性示例中，添加小的定位移动以定位拍摄第一图像和第二图像的多个照相机。在一些说明性示例中，可在其它制造操作之间添加小的附加定位移动。在一些说明性示例中，末端执行器在制造操作之间暂时停止以拍摄第一图像或第二图像中的至少一者。
方法1500使用多个参考点来对齐第一图像和第二图像(操作1506)。在一些说明性示例中，第一图像和第二图像相对于共有坐标系统定向。在一些说明性示例中，第一图像和第二图像的特征的坐标相对于共有坐标系统被保存。在一些说明性示例中，第二图像可覆盖在第一图像上。
方法1500分析第一图像以确定孔的多个位置(操作1508)。在一些说明性示例中，多个位置包括孔的边界的位置。
方法1500分析第二图像以确定铆钉的多个位置(操作1510)。在一些说明性示例中，多个位置包括铆钉的扣状部的边界。
方法1500使用孔的多个位置和铆钉的多个位置自动确定铆钉同心度(操作1512)。之后该方法终止。
在一些说明性示例中，方法1500原地确定铆钉同心度。当原地确定铆钉同心度时，方法1500可不增加制造时间。当原地确定铆钉同心度时，方法1500可不添加末端执行器移动。在一些说明性示例中，方法1500在钻孔、安装铆钉、或者在钻孔或安装铆钉后的移动中的至少一者期间确定铆钉同心度。
现在转向图16，描绘了根据一说明性实施例的分析选项的流程图的图示。方法1600呈现可实现为方法1500或方法1700的一部分的分析选项。
方法1600产生孔的轮廓(操作1602)。方法1600产生铆钉的轮廓(操作1604)。在一些说明性示例中，确定铆钉同心度包括确定孔的轮廓的点与铆钉的轮廓的点之间的距离，其中铆钉同心度是该距离的最小值(操作1606)。
在一些说明性示例中，方法确定孔的轮廓的中心点(操作1608)。在一些说明性示例中，确定铆钉同心度包括确定铆钉的轮廓的点与中心点之间的距离，其中铆钉同心度是该距离的最小值(操作1610)。在一些说明性示例中，方法确定铆钉的轮廓的质量中心点，其中确定铆钉同心度包括确定中心点与质量中心点之间的距离(操作1612)。在操作1606、操作1610或操作1612中的任一者之后，方法1600终止。
现在转向图17，描绘了根据一说明性实施例的用于自动化铆钉测量的过程的流程图的图示。自动化铆钉测量系统202可在图2的制造环境200内执行方法1700。可使用自动化铆钉测量系统308在图3的制造环境300中执行方法1700。可对图3到图5的结构304执行方法1700。可使用图7到图11的第一图像700和第二图像800来执行方法1700。
方法1700使用被配置为执行钻孔的末端执行器在结构中钻孔(操作1702)。使用第一末端执行器在结构中钻孔。方法1700拍摄结构中的孔的第一图像(操作1704)。在一些说明性示例中，使用附接到第一末端执行器的照相机拍摄第一图像。在一些说明性示例中，原地拍摄第一图像。例如，可在其它制造操作(诸如钻孔、铆接、或者钻孔或铆接后的移动)期间拍摄第一图像。当原地拍摄第一图像时，不产生附加的检查步骤。当原地拍摄第一图像时，可不使用附加的末端执行器移动。当原地拍摄第一图像时，可缩短检查时间。
方法1700使用被配置为执行铆接的末端执行器在孔内安装铆钉(操作1706)。使用末端执行器安装铆钉。在一些说明性示例中，使用用于钻孔的第一末端执行器来安装铆钉。在其它说明性示例中，用第二末端执行器安装铆钉。方法1700拍摄结构中的铆钉的第二图像(操作1708)。
在一些说明性示例中，使用相同的照相机拍摄第一图像和第二图像。在这些说明性示例中，由相同的照相机执行拍摄第一图像和拍摄第二图像。例如，可使用附接到用于钻孔并安装铆钉的第一末端执行器的照相机拍摄第一图像和第二图像。作为另一个示例，使用第一末端执行器来钻孔，并且可使用附接到用于安装铆钉的第二末端执行器的照相机拍摄第一图像和第二图像。在一些说明性示例中，由附接到被配置为执行钻孔的末端执行器的照相机执行拍摄第一图像或拍摄第二图像中的至少一项。在一些说明性示例中，由附接到被配置为执行铆接的末端执行器的照相机执行拍摄第一图像或拍摄第二图像中的至少一项。
在一些说明性示例中，使用不同的照相机拍摄第一图像和第二图像。例如，可使用附接到用于钻孔的第一末端执行器的照相机拍摄第一图像，而使用附接到用于安装铆钉的第二末端执行器的第二照相机拍摄第二图像。
在一些说明性示例中，原地执行拍摄第一图像和拍摄第二图像。在一些说明性示例中，添加小的定位移动以定位拍摄第一图像和第二图像的多个照相机。在一些说明性示例中，可在其它制造操作之间添加小的附加定位移动。在一些说明性示例中，末端执行器在制造操作之间暂时停止以拍摄第一图像或第二图像中的至少一者。在一些说明性示例中，拍摄第一图像和拍摄第二图像不会向被配置为执行钻孔的末端执行器或被配置为执行铆接的末端执行器添加移动步骤。
方法1700处理第一图像和第二图像以识别位于第一图像和第二图像这两者中的多个参考点(操作1710)。在一些说明性示例中，方法1700在接收时自动处理第一图像和第二图像中的每一者。在一些说明性示例中，方法1700在接收第一图像和第二图像这两者之后处理第一图像和第二图像。
方法1700在坐标系统内相对于多个参考点对齐第一图像和第二图像(操作1712)。方法1700分析第一图像以确定孔的多个位置(操作1714)。
方法1700分析第二图像以确定铆钉的多个位置(操作1716)。方法1700使用孔的多个位置和铆钉的多个位置自动确定铆钉同心度(操作1718)。之后该方法终止。
在一些说明性示例中，方法1700原地确定铆钉同心度。当原地确定铆钉同心度时，方法1700可不增加制造时间。当原地确定铆钉同心度时，方法1700可不添加末端执行器移动。在一些说明性示例中，方法1700在钻孔、安装铆钉、或者在钻孔或安装铆钉后的移动中的至少一者期间确定铆钉同心度。
在不同的所描绘的实施例中的流程图和框图说明了说明性实施例中的设备和方法的一些可能实现方式的架构、功能和操作。就此而言，流程图或框图中的每个框可表示模块、区段、功能、或者操作或步骤的一部分中的至少一者。例如，一个或多个框可被实施为程序代码、硬件或程序代码与硬件的组合。当以硬件实施时，硬件可例如采用被制造或被配置为执行流程图或框图中的一个或多个操作的集成电路的形式。当被实施为程序代码与硬件的组合时，实现方式可采用固件的形式。流程图或框图中的每个框可使用执行不同操作的专用硬件系统或专用硬件与由专用硬件运行的程序代码的组合来实施。
在说明性实施例的一些替代实现方式中，框中指出的一个或多个功能可不按照附图中指出的顺序发生。例如，在一些情况下，取决于所涉及的功能，连续示出的两个框可大致同时执行，或者框有时可以相反的顺序执行。另外，在流程图或框图中，除了所说明的框之外，还可添加其它框。
在一些示例中，在方法1500中，识别位于第一图像和第二图像这两者中的多个参考点包括识别存在于第一图像和第二图像中的铆钉作为多个参考点的第一特征。在一些示例中，在方法1500中，识别位于第一图像和第二图像这两者中的多个参考点包括识别存在于第一图像和第二图像中的另一个铆钉作为多个参考点的第二特征。在一些示例中，在方法1500中，多个参考点包括结构的铆钉、孔或边缘中的至少一者。
现在转向图18，描绘了根据一说明性实施例的数据处理系统的框图的图示。数据处理系统1800可用于实施图2中的计算机系统232。在该说明性示例中，数据处理系统1800包括通信框架1802，该通信框架在处理器单元1804、存储器1806、持久性存储装置1808、通信单元1810、输入/输出单元1812和显示器1814之间提供通信。在该示例中，通信框架1802可采用总线系统的形式。
处理器单元1804用于执行关于可加载到存储器1806中的软件的指令。取决于具体实现方式，处理器单元1804可为多个处理器、多处理器核心或一些其它类型的处理器。
存储器1806和持久性存储装置1808是存储装置1816的示例。存储装置是能够存储信息的任何硬件，该信息诸如但不限于数据、功能形式的程序代码、或者在临时基础上、永久基础上或者在临时基础和永久基础上的其它合适的信息中的至少一者。在这些说明性示例中，存储装置1816也可被称为计算机可读存储装置。在这些示例中，存储器1806可为例如随机存取存储器或任何其它合适的易失性或非易失性存储装置。持久性存储装置1808可采用各种形式，这取决于特定的实现方式。
例如，持久性存储装置1808可包括一个或多个部件或装置。例如，持久性存储装置1808可为硬盘驱动器、固态硬盘驱动器、闪速存储器、可重写光盘、可重写磁带或上述的一些组合。持久性存储装置1808使用的介质也可为可移除的。例如，可移动硬盘驱动器可用于持久性存储装置1808。
在这些说明性示例中，通信单元1810提供与其它数据处理系统或装置的通信。在这些说明性示例中，通信单元1810是网络接口卡。
输入/输出单元1812允许与可连接到数据处理系统1800的其它装置进行数据的输入和输出。例如，输入/输出单元1812可通过键盘、鼠标或一些其它合适的输入装置中的至少一者来提供用于用户输入的连接。另外，输入/输出单元1812可将输出发送到打印机。显示器1814提供了向用户显示信息的机制。
用于操作系统、应用程序或程序中的至少一者的指令可位于通过通信框架1802与处理器单元1804通信的存储装置1816中。处理器单元1804可使用计算机实施的指令来执行不同实施例的过程，这些指令可位于存储器(诸如存储器1806)中。
这些指令被称为程序代码、计算机可用程序代码或可由处理器单元1804中的处理器读取和执行的计算机可读程序代码。不同实施例中的程序代码可体现在不同的物理或计算机可读存储介质(诸如存储器1806或持久性存储装置1808)上。
程序代码1818以功能形式位于计算机可读介质1820上，该计算机可读介质可选择性地移除并可被加载或传递到数据处理系统1800以供处理器单元1804执行。在这些说明性示例中，程序代码1818和计算机可读介质1820形成计算机程序产品1822。在一个示例中，计算机可读介质1820可为计算机可读存储介质1824或计算机可读信号介质1826。
在这些说明性示例中，计算机可读存储介质1824是用于存储程序代码1818的物理或有形存储装置，而不是传播或传输程序代码1818的介质。
替代地，可使用计算机可读信号介质1826将程序代码1818传递到数据处理系统1800。计算机可读信号介质1826可为例如包含程序代码1818的所传播的数据信号。例如，计算机可读信号介质1826可为电磁信号、光信号或任何其它合适类型的信号中的至少一者。这些信号可通过诸如无线通信链路的通信链路、光纤电缆、同轴电缆、电线或任何其它合适类型的通信链路中的至少一者来传输。
针对数据处理系统1800说明的不同部件并非意味着对其中可实施不同实施例的方式提供架构限制。除了所说明的那些部件以外或代替所说明的那些部件，不同的说明性实施例可在包括用于数据处理系统1800的部件的数据处理系统中实施。图18中所示的其它部件可与所示的示例性示例不同。可使用能够运行程序代码1818的任何硬件装置或系统来实施不同的实施例。
本公开的说明性实施例可在如图19中所示的飞机制造和维修方法1900以及在图20中所示的飞机2000的背景下进行描述。首先转向图19，描绘了根据说明性实施例的飞机制造和维修方法的框图的图示。在生产前期间，飞机制造和维修方法1900可包括图20中的飞机2000的规格和设计1902以及材料采购1904。
在生产期间，发生图20中的飞机2000的部件和子组件制造1906和系统集成1908。此后，图20中的飞机2000可经历认证和交付1910以便投入使用1912。在由客户投入使用1912时，图20中的飞机2000被安排日常维护和维修1914，其可包括修改、重新配置、翻新或其它维护和维修。
飞机制造和维修方法1900的每个过程可由系统集成商、第三方、运营商或其一些组合来执行或实行。在这些示例中，运营商可能是客户。为了该描述目的，系统集成商可包括但不限于任何数量的飞机制造商和主系统分包商；第三方可包括但不限于任何数量的销售商、分包商和供应商；而运营商可以是航空公司、租赁公司、军事实体、服务组织等。
现在参考图20，描绘了其中可实施一说明性实施例的飞机的框图的图示。在该示例中，飞机2000由图19中的飞机制造和维修方法1900生产，并且可包括机身2002以及多个系统2004和内部2006。系统2004的示例包括推进系统2008、电气系统2010、液压系统2012和环境系统2014中的一个或多个。可包括任何数量的其它系统。虽然示出了航空航天示例，但是不同的说明性实施例也可应用于其它行业，诸如汽车行业。
可在图19中的飞机制造和维修方法1900的至少一个阶段期间采用本文实施的设备和方法。在一个说明性示例中，在图19中的部件和子组件制造1906中生产的部件或子组件可以与图19中的飞机2000在投入使用1912时生产的部件或子组件类似的方式制作或制造。作为又一个示例，可在生产阶段(诸如图19中的部件和子组件制造1906和系统集成1908)期间利用一个或多个设备实施例、方法实施例或其组合。当飞机2000在图19中的投入使用1912时、在维护和维修1914期间、或这两者，都可利用一个或多个设备实施例、方法实施例或其组合。例如，可在部件和子组件制造1906期间使用自动化铆钉测量系统执行铆钉(诸如铆钉203)的检查来检查铆钉。另外，自动化铆钉测量系统(诸如图2的自动化铆钉测量系统202)也可在维护和维修1914期间用于检查已经安装的铆钉、在日常维护(包括重新配置、翻新和其它维护或维修)期间安装的铆钉。
一个或多个设备实施例、方法实施例或其组合可用于飞机2000的任何期望的部件中。例如，可在机身2002中安装铆钉期间使用自动化铆钉测量系统执行铆钉(诸如图2的铆钉203)的检查。作为另一个示例，可在内部2006中安装铆钉期间使用自动化铆钉测量系统执行铆钉(诸如铆钉203)的检查。
使用多个不同的说明性实施例可大幅加速飞机2000的组装，降低飞机2000的成本或者既加速飞机2000的组装又降低飞机2000的成本。例如，根据一说明性示例的自动化铆钉测量系统的使用可降低制造飞机2000的时间和成本。例如，可缩短检查铆钉所需的时间。以此方式，与使用涉及破坏性测试测量的当前技术相比，飞机2000可更快地制造。
因此，存在一个或多个克服与在不使用破坏性测试的情况下获得铆钉同心度的测量相关的技术问题的技术方案。一个或多个技术方案可提供识别铆钉同心度而无需执行破坏性测试的技术效果。另外，存在一个或多个提供原地确定铆钉同心度的能力的技术方案。
在不与权利要求混淆的以下条款中也涉及本发明。
A1.一种用于铆钉同心度(230)的自动化非破坏性测试的方法，该方法包括：
使用末端执行器(212或213)将铆钉(219)安装在结构(204)中的孔(216)内；
处理结构(204)中的孔(216)的第一图像(214)和结构(204)中的铆钉(219)的第二图像(218)以识别位于第一图像(214)和第二图像(218)这两者中的多个参考点(224)；
使用多个参考点(224)来对齐第一图像(214)和第二图像(218)；
分析第一图像(214)以确定孔(216a)的多个位置(226)；
分析第二图像(218)以确定铆钉(219b)的多个位置(228)；以及
使用孔(216a)的多个位置(226)和铆钉(219b)的多个位置(228)自动确定铆钉同心度(230)。
A2.还提供了根据段落A1的方法，进一步包括：
产生孔(216a)的轮廓(248)；以及
产生铆钉(219b)的轮廓(250)，其中，确定铆钉同心度(230)包括确定孔(216a)的轮廓(248)的点(253)与铆钉(219b)的轮廓(250)的点(254)之间的距离(252)，其中，铆钉同心度(230)是距离(252)的最小值。
A3.还提供了根据段落A1的方法，进一步包括：
产生孔(216a)的轮廓(248)；
确定孔(216a)的轮廓(248)的中心点(256)；以及
产生铆钉(219b)的轮廓(250)，其中，确定铆钉同心度(230)包括确定铆钉(219b)的轮廓(250)的点(254)与中心点(256)之间的距离(258)，其中，铆钉同心度(230)是距离(258)的最小值。
A4.还提供了根据段落A1的方法，进一步包括：
产生孔(216a)的轮廓(248)；
确定孔(216a)的轮廓(248)的中心点(256)；
产生铆钉(219b)的轮廓(250)；以及
确定铆钉(219b)的轮廓(250)的质量中心点(278)，其中，确定铆钉同心度(230)包括确定中心点(256)与质量中心点(278)之间的距离(262)。
A5.还提供了根据段落A1的方法，其中，识别位于第一图像(214)和第二图像(218)这两者中的多个参考点(224)包括识别存在于第一图像(214)和第二图像(218)中的铆钉(243a，243b)作为多个参考点(224)的第一特征(240a，240b)。
A6.还提供了根据段落A5的方法，其中，识别位于第一图像(214)和第二图像(218)这两者中的多个参考点(224)包括识别存在于第一图像(214)和第二图像(218)中的另一个铆钉(244，244a，244b)作为多个参考点(224)的第二特征(242，242a，242b)。
A7.还提供了根据段落A1的方法，其中，多个参考点(224)包括所述结构(204)的铆钉、孔或边缘中的至少一者。
根据本发明的进一步方面，提供了：
B1.一种自动化铆钉测量系统(202)，包括：
多个末端执行器(206)，被配置为对结构(204)执行钻孔(210)和铆接(211)；
多个照相机(207)，连接到多个末端执行器(206)，多个照相机(207)被配置为拍摄结构(204)中的孔(216)的第一图像(214)和孔(216)中的铆钉(219)的第二图像(218)；
处理器(208)，被配置为处理第一图像(214)和第二图像(218)以识别第一图像(214)和第二图像(218)中的多个参考点(224)；以及
比较器(209)，被配置为使用第一图像(214)中的孔(216a)和第二图像(218)中的铆钉(219b)来确定铆钉同心度(230)，其中使用多个参考点(224)来对齐第一图像(214)和第二图像(218)。
根据本发明的进一步方面，提供了：
B2.还提供了根据段落B1的自动化铆钉测量系统(202)，其中，比较器(209)进一步被配置为分析第一图像(214)以确定孔(216a)的多个位置(226)，分析第二图像(218)以确定铆钉(219b)的多个位置(228)，并且使用孔(216a)的多个位置(226)和铆钉(219b)的多个位置(228)来确定铆钉同心度(230)。
B3.还提供了根据段落B1的自动化铆钉测量系统(202)，其中，比较器(209)被配置为产生孔(216a)的轮廓(248)并产生铆钉(219b)的轮廓(250)，其中，确定铆钉同心度(230)包括确定孔(216a)的轮廓(248)的点(253)与铆钉(219b)的轮廓(250)的点(254)之间的距离(252)，其中，铆钉同心度(230)是距离(252)的最小值。
B4.还提供了根据段落B1的自动化铆钉测量系统(202)，其中，比较器(209)被配置为产生孔(216a)的轮廓(248)，确定孔(216a)的轮廓(248)的中心点(256)，并且产生铆钉(219b)的轮廓(250)，其中，确定铆钉同心度(230)包括确定铆钉(219b)的轮廓(250)的点(254)与中心点(256)之间的距离(258)，其中，铆钉同心度(230)是距离(258)的最小值。
B5.还提供了根据段落B1的自动化铆钉测量系统(202)，其中，比较器(209)被配置为产生孔(216a)的轮廓(248)，确定孔(216a)的轮廓(248)的中心点(256)，产生铆钉(219b)的轮廓(250)，并且确定铆钉(219b)的轮廓(250)的质量中心点(278)，其中，确定铆钉同心度(230)包括确定中心点(256)与质量中心点(278)之间的距离(262)。
B6.还提供了根据段落B1的自动化铆钉测量系统(202)，其中，多个末端执行器(206)包括用于执行钻孔(210)和铆接(211)这两者的一个末端执行器(212)。
B7.还提供了根据段落B1的自动化铆钉测量系统(202)，其中，多个末端执行器(206)包括执行钻孔(210)的第一末端执行器(212)以及执行铆接(211)的第二末端执行器(213)，并且其中，多个照相机(207)包括连接到第一末端执行器(212)的被配置为拍摄第一图像(214)的照相机(220)以及连接到第二末端执行器(213)的被配置为拍摄第二图像(218)的第二照相机(222)。
根据本发明的进一步方面，提供了：
C1.一种用于铆钉同心度(230)的自动化非破坏性测试的方法，该方法包括：
使用被配置为执行钻孔(210)的末端执行器(212)在结构(204)中钻出(210)孔(216)；
拍摄结构(204)中的孔(216)的第一图像(214)；
使用被配置为执行铆接(211)的末端执行器(212或213)将铆钉(219)安装在孔(216)内；
拍摄结构(204)中的铆钉(219)的第二图像(218)；
处理第一图像(214)和第二图像(218)以识别位于第一图像(214)和第二图像(218)这两者中的多个参考点(224)；
在坐标系统(246)内相对于多个参考点(224)对齐第一图像(214)和第二图像(218)；
分析第一图像(214)以确定孔(216a)的多个位置(226)；
分析第二图像(218)以确定铆钉(219b)的多个位置(228)；以及
使用孔(216a)的多个位置(226)和铆钉(219b)的多个位置(228)自动确定铆钉同心度(230)。
C2.还提供了根据段落C1的方法，进一步包括：
产生孔(216a)的轮廓(248)；以及
产生铆钉(219b)的轮廓(250)，其中，确定铆钉同心度(230)包括确定孔(216a)的轮廓(248)的点(253)与铆钉(219b)的轮廓(250)的点(254)之间的距离(252)，其中，铆钉同心度(230)是距离(252)的最小值。
C3.还提供了根据段落C1的方法，进一步包括：
产生孔(216a)的轮廓(248)；
确定孔(216a)的轮廓(248)的中心点(256)；以及
产生铆钉(219b)的轮廓(250)，其中，确定铆钉同心度(230)包括确定铆钉(219b)的轮廓(250)的点(254)与中心点(256)之间的距离(258)，其中，铆钉同心度(230)是距离(258)的最小值。
C4.还提供了根据段落C1的方法，进一步包括：
产生孔(216a)的轮廓(248)；
确定孔(216a)的轮廓(248)的中心点(256)；
产生铆钉(219b)的轮廓(250)；以及
确定铆钉(219b)的轮廓(250)的质量中心点(278)，其中，确定铆钉同心度(230)包括确定中心点(256)与质量中心点(278)之间的距离(262)。
C5.还提供了根据段落C1的方法，其中，识别位于第一图像(214)和第二图像(218)这两者中的多个参考点(224)包括识别存在于第一图像(214)和第二图像(218)中的铆钉(243a，243b)作为多个参考点(224)的第一特征(240a，240b)。
C6.还提供了根据段落C5的方法，其中，识别位于第一图像(214)和第二图像(218)这两者中的多个参考点(224)包括识别存在于第一图像(214)和第二图像(218)中的另一个铆钉(244，244a，244b)作为多个参考点(224)的第二特征(242，242a，242b)。
C7.还提供了根据段落C1的方法，其中，原地执行拍摄第一图像(214)和拍摄第二图像(218)。
C8.还提供了根据段落C1的方法，其中，由相同的照相机(220或222)执行拍摄第一图像(214)和拍摄第二图像(218)。
C9.还提供了根据段落C1的方法，其中，由附接到被配置为执行钻孔(210)的末端执行器(212)的照相机(220)执行拍摄第一图像(214)或拍摄第二图像(218)中的至少一项。
C10.还提供了根据段落C1的方法，其中，由附接到被配置为执行铆接(211)的末端执行器(212或213)的照相机(220或222)执行拍摄第一图像(214)或拍摄第二图像(218)中的至少一项。
C11.还提供了根据段落C1的方法，其中，拍摄第一图像(214)和拍摄第二图像(218)不向被配置为执行钻孔(210)的末端执行器(212)或被配置为执行铆接(211)的末端执行器(212或213)添加移动步骤。
已经出于说明和描述目的呈现了对不同说明性实施例的描述，并且该描述并非旨在是穷举的或限制于所公开形式的实施例。不同的说明性示例描述了执行动作或操作的部件。在说明性实施例中，部件可被配置为执行所描述的动作或操作。例如，部件可具有用于这样的结构的配置或设计，该结构向部件提供执行在说明性示例中描述为由部件执行的动作或操作的能力。
对于本领域一般技术人员来说，许多修改和变化将是显而易见的。另外，与其它期望的实施例相比较，不同的说明性实施例可提供不同的特征。选择并描述所选择的一个或多个实施例以便最好地解释实施例的原理、实际应用，并且使得本领域其它一般技术人员能够针对具有适于特定预期使用的各种修改的各种实施例来理解本公开内容。

Claims (14)

1.一种用于铆钉同心度(230)的自动化非破坏性测试的方法，所述方法包括：
使用末端执行器(212或213)将铆钉(219)安装在结构(204)中的孔(216)内；
处理所述结构(204)中的所述孔(216)的第一图像(214)和所述结构(204)中的所述铆钉(219)的第二图像(218)以识别位于所述第一图像(214)和所述第二图像(218)这两者中的多个参考点(224)；
使用所述多个参考点(224)来对齐所述第一图像(214)和所述第二图像(218)；
分析所述第一图像(214)以确孔(216a)的多个位置(226)；
分析所述第二图像(218)以确定铆钉(219b)的多个位置(228)；以及
使用所述孔(216a)的所述多个位置(226)和所述铆钉(219b)的多个位置(228)自动确定铆钉同心度(230)。
2.根据权利要求1所述的方法，进一步包括：
产生所述孔(216a)的轮廓(248)；以及
产生所述铆钉(219b)的轮廓(250)，其中，确定所述铆钉同心度(230)包括确定所述孔(216a)的所述轮廓(248)的点(253)与所述铆钉(219b)的所述轮廓(250)的点(254)之间的距离(252)，其中，所述铆钉同心度(230)是所述距离(252)的最小值。
3.根据权利要求1所述的方法，进一步包括：
产生所述孔(216a)的轮廓(248)；
确定所述孔(216a)的所述轮廓(248)的中心点(256)；以及
产生所述铆钉(219b)的轮廓(250)，其中，确定所述铆钉同心度(230)包括确定所述铆钉(219b)的所述轮廓(250)的点(254)与所述中心点(256)之间的距离(258)，其中，所述铆钉同心度(230)是所述距离(258)的最小值。
4.根据权利要求1所述的方法，进一步包括：
产生所述孔(216a)的轮廓(248)；
确定所述孔(216a)的所述轮廓(248)的中心点(256)；
产生所述铆钉(219b)的轮廓(250)；以及
确定所述铆钉(219b)的所述轮廓(250)的质量中心点(278)，其中，确定所述铆钉同心度(230)包括确定所述中心点(256)与所述质量中心点(278)之间的距离(262)。
5.根据权利要求1所述的方法，其中，识别位于所述第一图像(214)和所述第二图像(218)这两者中的所述多个参考点(224)包括识别存在于所述第一图像(214)和所述第二图像(218)中的铆钉(243a，243b)作为所述多个参考点(224)的第一特征(240a，240b)。
6.根据权利要求5所述的方法，其中，识别位于所述第一图像(214)和所述第二图像(218)这两者中的所述多个参考点(224)包括识别存在于所述第一图像(214)和所述第二图像(218)中的另一个铆钉(244，244a，244b)作为所述多个参考点(224)的第二特征(242，242a，242b)。
7.根据权利要求1所述的方法，其中，所述多个参考点(224)包括所述结构(204)的铆钉、孔以及边缘中的至少一者。
8.一种自动化铆钉测量系统(202)，包括：
多个末端执行器(206)，被配置为对结构(204)执行钻孔(210)和铆接(211)；
多个照相机(207)，连接到所述多个末端执行器(206)，所述多个照相机(207)被配置为拍摄所述结构(204)中的孔(216)的第一图像(214)和所述孔(216)中的铆钉(219)的第二图像(218)；
处理器(208)，被配置为处理所述第一图像(214)和所述第二图像(218)以识别所述第一图像(214)和所述第二图像(218)中的多个参考点(224)；以及
比较器(209)，被配置为使用所述第一图像(214)中的孔(216a)和所述第二图像(218)中的铆钉(219b)来确定铆钉同心度(230)，其中使用所述多个参考点(224)来对齐所述第一图像(214)和所述第二图像(218)。
9.根据权利要求8所述的自动化铆钉测量系统(202)，其中，所述比较器(209)进一步被配置为分析所述第一图像(214)以确定所述孔(216a)的多个位置(226)，分析所述第二图像(218)以确定所述铆钉(219b)的多个位置(228)，并且使用所述孔(216a)的所述多个位置(226)和所述铆钉(219b)的所述多个位置(228)来确定铆钉同心度(230)。
10.根据权利要求8所述的自动化铆钉测量系统(202)，其中，所述比较器(209)被配置为产生所述孔(216a)的轮廓(248)并产生所述铆钉(219b)的轮廓(250)，其中，确定所述铆钉同心度(230)包括确定所述孔(216a)的所述轮廓(248)的点(253)与所述铆钉(219b)的所述轮廓(250)的点(254)之间的距离(252)，其中，所述铆钉同心度(230)是所述距离(252)的最小值。
11.根据权利要求8所述的自动化铆钉测量系统(202)，其中，所述比较器(209)被配置为产生所述孔(216a)的轮廓(248)、确定所述孔(216a)的所述轮廓(248)的中心点(256)、并且产生所述铆钉(219b)的轮廓(250)，其中，确定所述铆钉同心度(230)包括确定所述铆钉(219b)的所述轮廓(250)的点(254)与所述中心点(256)之间的距离(258)，其中，所述铆钉同心度(230)是所述距离(258)的最小值。
12.根据权利要求8所述的自动化铆钉测量系统(202)，其中，所述比较器(209)被配置为产生所述孔(216a)的轮廓(248)、确定所述孔(216a)的所述轮廓(248)的中心点(256)、产生所述铆钉(219b)的轮廓(250)、并且确定所述铆钉(219b)的所述轮廓(250)的质量中心点(278)，其中，确定所述铆钉同心度(230)包括确定所述中心点(256)与所述质量中心点(278)之间的距离(262)。
13.根据权利要求8所述的自动化铆钉测量系统(202)，其中，所述多个末端执行器(206)包括用于执行钻孔(210)和铆接(211)这两者的一个末端执行器(212)。
14.根据权利要求8所述的自动化铆钉测量系统(202)，其中，所述多个末端执行器(206)包括执行钻孔(210)的第一末端执行器(212)以及执行铆接(211)的第二末端执行器(213)，并且其中，所述多个照相机(207)包括连接到所述第一末端执行器(212)的被配置为拍摄所述第一图像(214)的照相机(220)以及连接到所述第二末端执行器(213)的被配置为拍摄所述第二图像(218)的第二照相机(222)。
CN201810998993.4A 2017-09-06 2018-08-29 自动化铆钉测量系统 Active CN109458962B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/697,442 US10571260B2 (en) 2017-09-06 2017-09-06 Automated rivet measurement system
US15/697,442 2017-09-06

Publications (2)

Publication Number Publication Date
CN109458962A true CN109458962A (zh) 2019-03-12
CN109458962B CN109458962B (zh) 2021-10-01

Family

ID=63490293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810998993.4A Active CN109458962B (zh) 2017-09-06 2018-08-29 自动化铆钉测量系统

Country Status (7)

Country Link
US (1) US10571260B2 (zh)
EP (1) EP3454047B1 (zh)
JP (1) JP7060475B2 (zh)
CN (1) CN109458962B (zh)
BR (1) BR102018013581B1 (zh)
CA (1) CA3010831C (zh)
ES (1) ES2799879T3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110076277A (zh) * 2019-05-07 2019-08-02 清华大学 基于增强现实技术的配钉方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020079780A1 (ja) * 2018-10-17 2020-04-23 株式会社島津製作所 航空機検査支援装置および航空機検査支援方法
CN110202381B (zh) * 2019-04-28 2024-07-12 常州市三利精机有限公司 一种用于飞机机身制造的钻铆机床
EP3995256A1 (en) * 2020-11-04 2022-05-11 The Boeing Company Method of inspecting a fastener, and a system and apparatus for inspecting a fastener
US20240027360A1 (en) * 2022-07-25 2024-01-25 Perfect Point EDM Handheld fastener removal inspection device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987348A (zh) * 2005-12-23 2007-06-27 鸿富锦精密工业（深圳）有限公司 偏心检测装置
JP2009297753A (ja) * 2008-06-13 2009-12-24 Kawasaki Heavy Ind Ltd 仮鋲を用いた穿孔加工方法
CN201488714U (zh) * 2009-08-31 2010-05-26 东莞市鑫海金属制品有限公司 一种保险丝铜帽铆接质量监控系统
CN102519398A (zh) * 2011-10-28 2012-06-27 广西师范大学 一种基于视觉测量的光纤插针同心度测量方法及系统
CN102974739A (zh) * 2012-11-23 2013-03-20 浙江大学 基于机器视觉的针对片状带孔零件铆接装配流水线及方法
CN103076100A (zh) * 2011-10-25 2013-05-01 索尼公司 成像设备及成像方法
CN103517783A (zh) * 2011-05-09 2014-01-15 波音公司 具有孔测量能力的钻孔机
CN103940826A (zh) * 2013-01-21 2014-07-23 昆山金群力精密模具有限公司 自动铆钉点焊品质检测装置
CN104252403A (zh) * 2013-06-27 2014-12-31 波音公司 用于在组装过程中执行工具作业操作的实时反馈控制
CN105377513A (zh) * 2013-05-17 2016-03-02 罗信2002有限公司 具有视觉的自动机加工头及方法
CN106471331A (zh) * 2014-05-06 2017-03-01 布勒特耶自动控制设备有限责任公司 用于检查铆钉的方法
US20180005362A1 (en) * 2015-01-06 2018-01-04 Sikorsky Aircraft Corporation Structural masking for progressive health monitoring

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0781827B2 (ja) * 1990-10-05 1995-09-06 株式会社クボタ 管の継手用ボルト孔の検査方法
US5768409A (en) 1995-08-02 1998-06-16 Lucent Technologies Inc. Automatic inspection method for contactlessly measuring an offset of a central feature of an object
JP4145308B2 (ja) 2005-03-30 2008-09-03 三洋電機株式会社 手ぶれ補正装置
JP2007010620A (ja) * 2005-07-04 2007-01-18 Fanuc Ltd ねじ部検査装置及びねじ部検査方法
JP5368599B2 (ja) 2012-03-26 2013-12-18 平田ネジ株式会社 ネジの移送装置
ES2763835T3 (es) 2013-03-13 2020-06-01 Comau Llc Procedimiento y aparato para la inspección de unión de materiales
US9187188B2 (en) 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
BR112019000273B1 (pt) * 2016-07-08 2022-12-13 Macdonald, Dettwiler And Associates Inc Método implementado por computador em tempo real para vedação, sistema de dispensação, e, sistema de vedação

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987348A (zh) * 2005-12-23 2007-06-27 鸿富锦精密工业（深圳）有限公司 偏心检测装置
JP2009297753A (ja) * 2008-06-13 2009-12-24 Kawasaki Heavy Ind Ltd 仮鋲を用いた穿孔加工方法
CN201488714U (zh) * 2009-08-31 2010-05-26 东莞市鑫海金属制品有限公司 一种保险丝铜帽铆接质量监控系统
CN103517783A (zh) * 2011-05-09 2014-01-15 波音公司 具有孔测量能力的钻孔机
CN103076100A (zh) * 2011-10-25 2013-05-01 索尼公司 成像设备及成像方法
CN102519398A (zh) * 2011-10-28 2012-06-27 广西师范大学 一种基于视觉测量的光纤插针同心度测量方法及系统
CN102974739A (zh) * 2012-11-23 2013-03-20 浙江大学 基于机器视觉的针对片状带孔零件铆接装配流水线及方法
CN103940826A (zh) * 2013-01-21 2014-07-23 昆山金群力精密模具有限公司 自动铆钉点焊品质检测装置
CN105377513A (zh) * 2013-05-17 2016-03-02 罗信2002有限公司 具有视觉的自动机加工头及方法
CN104252403A (zh) * 2013-06-27 2014-12-31 波音公司 用于在组装过程中执行工具作业操作的实时反馈控制
CN106471331A (zh) * 2014-05-06 2017-03-01 布勒特耶自动控制设备有限责任公司 用于检查铆钉的方法
US20180005362A1 (en) * 2015-01-06 2018-01-04 Sikorsky Aircraft Corporation Structural masking for progressive health monitoring

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110076277A (zh) * 2019-05-07 2019-08-02 清华大学 基于增强现实技术的配钉方法
CN110076277B (zh) * 2019-05-07 2020-02-07 清华大学 基于增强现实技术的配钉方法

Also Published As

Publication number Publication date
CA3010831A1 (en) 2019-03-06
ES2799879T3 (es) 2020-12-22
US10571260B2 (en) 2020-02-25
BR102018013581B1 (pt) 2023-02-07
CN109458962B (zh) 2021-10-01
BR102018013581A2 (pt) 2019-04-16
CA3010831C (en) 2024-03-26
EP3454047B1 (en) 2020-04-15
EP3454047A1 (en) 2019-03-13
JP2019082463A (ja) 2019-05-30
JP7060475B2 (ja) 2022-04-26
US20190072381A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109458962A (zh) 自动化铆钉测量系统
JP6657433B2 (ja) 不適合視覚化システム
US8116529B2 (en) Populating fleet maintenance data using 2D feature recognition
JP5873500B2 (ja) 自動目視検査システム
EP2994266B1 (en) Shop order status visualization system
US9081914B2 (en) Component configuration system and methods of operating same
CN108469787B (zh) 对结构的装配状况执行自动验证的方法和装置
JP2014201307A (ja) ３次元視覚化のためのロケータシステム
KR102443485B1 (ko) 조립 검증의 상태를 위한 경로를 식별하는 방법 및 장치
US11442438B2 (en) Automated supervision and inspection of assembly process
JP5971932B2 (ja) 迅速なリワーク解析システム
US9446860B2 (en) Aircraft part and subassembly damage reporting method, system and mobile computer software application
US20220365518A1 (en) Development of a product using a process control plan digital twin
US20180341725A1 (en) Rivet Measurement System
US20220198091A1 (en) Structural inconsistency detection using distance data
US9411927B2 (en) Float remaining volume identification
US10018458B2 (en) Validating parts using a number of contiguous coupons produced from part excess
CN117828911A (zh) 用于声波疲劳分析的方法、系统和存储介质
BR102016009976A2 (pt) sistema de teste não destrutivo com especialista remoto, e, método de operação de um sistema de teste não destrutivo com especialista remoto
BR102016009976B1 (pt) Sistema de teste não destrutivo com especialista remoto, e, método de operação de um sistema de teste não destrutivo com especialista remoto

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant