CN114585981A - 用于制造过程的系统、方法和介质 - Google Patents

用于制造过程的系统、方法和介质 Download PDF

Info

Publication number
CN114585981A
CN114585981A CN202080073852.7A CN202080073852A CN114585981A CN 114585981 A CN114585981 A CN 114585981A CN 202080073852 A CN202080073852 A CN 202080073852A CN 114585981 A CN114585981 A CN 114585981A
Authority
CN
China
Prior art keywords
quality metric
station
manufacturing system
final quality
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080073852.7A
Other languages
English (en)
Inventor
安德鲁·桑德斯特罗姆
达马斯·利莫格
恩索尔·金
瓦迪姆·潘斯基
马修·C·普特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nano Electronic Imaging Co ltd
Original Assignee
Nano Electronic Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nano Electronic Imaging Co ltd filed Critical Nano Electronic Imaging Co ltd
Publication of CN114585981A publication Critical patent/CN114585981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8411—Application to online plant, process monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31372—Mes manufacturing execution system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32181—Monitor production, assembly apparatus with multiple sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32216—If machining not optimized, simulate new parameters and correct machining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/034—Test or assess a computer or a system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本文公开了一种制造系统。该制造系统包括一个或更多个站、监测平台、以及控制模块。一个或更多个站中的每个站被配置为在部件的多步骤制造过程中执行至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的每个步骤的处理参数，以实现部件的期望的最终质量度量。

Description

用于制造过程的系统、方法和介质
相关申请的交叉引用
本申请要求于2019年11月6日提交的美国临时申请序列No.62/931,448、于2019年11月7日提交的美国临时申请序列No.62/932,063以及于2019年11月6日提交的美国临时申请序列No.62/931,453的优先权，通过引用将以上申请的全部内容并入本文。
技术领域
本公开总体上涉及一种用于制造过程的系统、方法和介质。
背景技术
从18世纪工业革命的开始，自动化控制了商品的生产。虽然今天的工厂已经完全接受自动化作为核心原理—机器人在高生产环境中执行许多可重复的任务—但许多装配任务继续由人执行。这些任务由于成本、严重故障的风险或者部署用于低量生产运行的机器人系统的组织工作而难以自动化。这些生产线由标准过程控制和人员管理监督，使得装配者被教授随着时间执行一定的质量度量，或者它们由另一操作员替换。自装配出现以来，这个过程在很大程度上保持不变。
发明内容
在一些实施例中，本文公开了一种制造系统。该制造系统包括监测平台、控制模块以及一个或更多个站。每个站被配置为执行部件的多步骤制造过程中的至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的步骤的处理参数以实现部件的期望的最终质量度量，控制模块被配置为执行操作。操作包括接收一个或更多个站中的第一站的工具的图像数据。操作还包括从图像数据识别一组关键点。关键点对应于工具在第一站处的处理期间的位置信息。操作还包括通过机器学习模型基于关键点来确定部件的最终质量度量。操作还包括确定最终质量度量不在最终质量度量的阈值容差内。操作还包括：基于所述确定，更新多步骤制造过程中的后续站的处理参数。
在一些实施例中，本文公开了一种制造系统。该制造系统包括监测平台、控制模块以及一个或更多个站。每个站被配置为执行部件的多步骤制造过程中的至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的步骤的处理参数以实现部件的期望的最终质量度量，控制模块被配置为执行操作。操作包括在一个或更多个处理站中的第一处理站处识别对应于部件的位置信息。操作还包括基于对应于部件的位置信息确定存在不可逆误差。操作还包括基于所述确定，生成更新的指令集以校正不可逆误差，更新的指令集由下游站执行。操作还包括由机器学习模型基于更新的指令集预测部件的最终质量度量。操作还包括基于预测的最终质量度量，将更新的指令集提供给下游站。
在一些实施例中，本文公开了一种制造系统。该制造系统包括监测平台、控制模块以及一个或更多个站。每个站被配置为执行部件的多步骤制造过程中的至少一个步骤。监测平台被配置为监测部件在整个多步骤制造过程中的进展。控制模块被配置为动态地调整多步骤制造过程的步骤的处理参数以实现部件的期望的最终质量度量，控制模块被配置为执行操作。操作包括接收一个或更多个站中的第一站的工具的图像数据。操作还包括从图像数据识别一组关键点。关键点对应于工具在第一站处的处理期间的位置信息。操作还包括通过机器学习模型基于关键点来确定部件的最终质量度量。操作还包括确定最终质量度量不在最终质量度量的阈值容差内。操作还包括基于所述确定，推断对应于第一处理站处的部件的位置信息。操作还包括基于所述确定，生成将由下游站执行的更新的指令集。操作还包括由机器学习模型基于更新的指令集来预测部件的最终质量度量。操作还包括基于预测的最终质量度量，将更新的指令集提供给下游站。
附图说明
为了能够详细理解本公开的上述特征的方式，可以通过参考实施例(在附图中示出了这些实施例中的一些)来得到以上简要概述的本公开的更具体描述。然而，应注意，附图仅示出了本公开的典型实施例，且因此不被应视为限制其范围，因为本公开可允许其他等效实施例。
图1是示出根据示例实施例的制造环境的框图。
图2是示出根据示例性实施例的控制模块的框图，。
图3是示出根据示例实施例的LSTM模型的示例性架构的框图。
图4是形象地示出根据示例实施例的用于工具模块的反馈区段的总过程流程的框图。
图5是示出根据示例实施例的GRU模型的架构的框图。
图6是示出根据示例实施例的校正多步骤制造过程的方法的流程图。
图7是示出根据示例实施例的校正多步骤制造过程的方法的流程图。
图8A示出了根据示例实施例的系统总线计算系统架构。
图8B示出了根据示例实施例的具有芯片组架构的计算机系统。
为了便于理解，在可能的情况下，已经使用相同的参考数字来指代附图中共有的相同元素。预期在一个实施例中公开的元素可有益地用于其他实施例而无需具体叙述。
具体实施方式
制造过程可以是复杂的并且包括由不同的处理站(或“站”)处理直到生产最终部件的原材料。在一些实施例中，每个处理站接收用于处理的输入并且可以输出中间输出，该中间输出可以被传递到后续(下游)处理站以用于附加的处理。在一些实施例中，最终处理站可接收用于处理的输入并且可输出最终部件或更一般地输出最终输出。
在一些实施例中，每个站可以包括一个或更多个工具/设备，该一个或更多个工具/设备可以执行一组处理步骤。示例性处理站可以包括但不限于传送带、注塑成型压机、切割机、冲模机、挤压机、计算机数控(CNC)铣床、研磨机、装配站、三维打印机、质量控制站、验证站等。
在一些实施例中，每个处理站的操作可以由一个或更多个过程控制器管理。在一些实施例中，每个处理站可包括一个或更多个过程控制器，一个或更多个过程控制器可被编程以控制处理站的操作。在一些实施例中，操作员或控制算法可以为站控制器提供站控制器设定点，这些站控制器设定点可以表示每个控制值的期望值或值范围。在一些实施例中，用于制造过程中的反馈或前馈的值可以被称为控制值。示例性控制值可以包括但不限于：速度、温度、压力、真空、旋转、电流、电压、功率、粘度、在站处使用的材料/资源、生产速率、中断时间、有害烟雾等。
本文提供的一种或更多种技术通过提供一种系统来改进常规过程，通过该系统，可以将图像和/或视频数据用于预测或预报部件的最终质量度量。在一些实施例中，该系统可以包括监测系统，该监测系统被配置为捕获或记录制造系统的每个处理节点或站的工具的视频和/或图像数据。基于在处理步骤期间工具的定位，本系统可以被配置为预测或预报部件的最终质量度量。如果预测的最终质量度量落在可接受值的范围之外，则本系统可以生成更新的处理指令并向下游处理节点和/或站提供更新的处理指令，以试图校正处理中的任何误差，使得可以实现期望的最终质量度量。
在一些实施例中，该系统可以包括监测系统，该监测系统被配置为捕获或记录制造系统的每个处理节点或站处的部件的视频和/或图像数据。基于关于处理节点末端处的部件的视觉信息，本系统可以被配置为预测或预报部件的最终质量度量。如果预测的最终质量度量落在可接受值的范围之外，则本系统可以生成更新的处理指令并向下游处理节点和/或站提供更新的处理指令，以试图校正处理中的任何误差，使得可以实现期望的最终质量度量。
以此方式，本系统能够在制造过程的任何阶段预测或预报部件的最终质量度量，而不必实际测试该部件。这种系统对于以其他方式需要破坏性测试的最终质量度量特别有用，或者对于直到处理完成才能评估的最终质量度量特别有用。
图1是示出根据示例实施例的制造环境100的框图。制造环境100可以包括制造系统102、监测平台104和控制模块106。制造系统102可以广泛地表示多步骤制造系统。在一些实施例中，制造系统102可表示装配线系统，其中每个处理站可表示工作人员。在一些实施例中，制造系统102可以表示用于在增材制造(例如，3D打印系统)中使用的制造系统。在一些实施例中，制造系统102可以表示在减材制造(例如，CNC机加工)中使用的制造系统。在一些实施例中，制造系统102可以表示在增材制造和减材制造的组合中使用的制造系统。更一般地，在一些实施例中，制造系统102可以表示用于在一般制造过程中使用的制造系统。
制造系统102可包括一个或更多个站1081-108n(通常，“站108”)。每个站108可以表示多步骤制造过程中的步骤和/或站。例如，每个站108可以表示3D打印过程中的层沉积操作(例如，站1081可以对应于层1，站1082可以对应于层2等)。在另一示例中，每个站108可对应于特定处理站。在另一示例中，每个站108可对应于在装配线制造过程中执行特定任务的特定人工操作员。
每个站108可以包括过程控制器114和控制逻辑116。每个过程控制器1141-114n可被编程以控制每个相应站108的操作。在一些实施例中，控制模块106可为每个过程控制器114提供站控制器设定点，该站控制器设定点可表示用于每个控制值的期望值或值的范围。控制逻辑116可参考与站108的处理步骤相关联的属性/参数。在操作中，根据最终质量度量的当前轨迹，可以由控制模块106在整个制造过程中动态地更新用于每个站108的控制逻辑116。
监测平台104可以被配置为监测制造系统102的每个站108。在一些实施例中，监测平台104可以是制造系统102的部件。例如，监测平台104可以是3D打印系统的部件。在一些实施例中，监测平台104可以独立于制造系统102。例如，监测平台104可以改装到现有制造系统102上。在一些实施例中，监测平台104可以表示被配置为在多步骤处理的每个步骤处捕获部件或工具(例如，工人或处理工具)的图像的成像装置。例如，监测平台104可以被配置为捕获在每个站108处的部件的图像和/或在每个站108处开发部件的部件(例如，工具、人等)的图像。通常，监测平台104可以被配置为捕获与部件(例如，图像、电压读数、速度读数等)和/或工具(例如，手位置、工具位置等)的生产相关联的信息，并且将该信息作为输入提供给控制模块106用于评估。
控制模块106可以经由一个或更多个通信信道与制造系统102和监测平台104通信。在一些实施例中，一个或更多个通信信道可表示经由互联网(诸如蜂窝或Wi-Fi网络)的单独连接。在一些实施例中，一个或更多个通信信道可使用诸如射频识别(RFID)、近场通信(NFC)、蓝牙TM、低能耗蓝牙TM(BLE)、Wi-FiTM、ZigBeeTM、环境反向散射通信(ABC)协议、USB、WAN或LAN等的直接连接来连接终端、服务和移动装置。
控制模块106可以被配置为控制制造系统102的每个过程控制器。例如，基于由监测平台104捕获的信息，控制模块106可以被配置为调整与特定站108相关联的过程控制。在一些实施例中，控制模块106可被配置为基于预计的最终质量度量来调整特定站108的过程控制。
图2是示出根据示例性实施例的控制模块106的框图。控制模块106可以包括工具模块202和部件模块204。
工具模块202可以被配置为基于通过监测平台104获得的图像数据来预计标本在给定生产阶段的最终质量度量。在操作中，控制模块106可以从监测平台104接收输入。在一些实施例中，这样的输入可以采取在多步骤制造过程的给定步骤处执行子过程的工具的图像或视频的形式。例如，该图像或视频数据可以包括在执行多步骤制造过程的特定子过程时人的手的图像或视频数据。在另一示例中，图像或视频数据可包括执行沉积多层制造过程的特定层的三维打印机的图像或视频数据。基于该输入，控制模块106可以预计部件的最终质量度量。根据部件的预计最终质量度量，控制模块106可以确定在后续制造步骤中要采取的一个或更多个动作，以便达到期望的或阈值最终质量度量。例如，如果预计的最终质量度量落在可接受值的范围之外，则控制模块106可采取一个或更多个行动以纠正制造过程。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供将在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
部件模块204可被配置为基于由监测平台104获得的图像数据来预计标本在给定生产阶段的最终质量度量。在一些实施例中，部件模块204可以从监测平台104接收输入。在一些实施例中，这样的输入可以采取在多步骤制造过程的给定步骤处的部件的图像或视频的形式。在一些实施例中，部件模块204可以从工具模块202接收多步骤制造过程的给定步骤处的推断的部件数据。例如，工具模块202可以基于工具图像或视频数据推断关于多步骤制造过程的给定步骤处的部件的信息并且将推断的信息作为输入提供至部件模块204。基于该输入，部件模块204可预计部件的最终质量度量。根据部件的预计最终质量度量，部件模块204可确定在后续制造步骤中要采取的一个或更多个动作，以便达到期望或阈值最终质量度量。例如，如果预计的最终质量度量落在可接受值的范围之外，则部件模块204可识别一个或更多个动作以纠正制造过程。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供将在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
工具模块202和部件模块204中的每一个可以包括一个或更多个软件模块。一个或更多个软件模块可以是存储在介质(例如，与控制模块106相关联的计算系统的存储器)上的代码或指令的集合，该代码或指令的集合表示实施一个或更多个算法步骤的一系列机器指令(例如，程序代码)。这样的机器指令可以是处理器解释以实现指令的实际计算机代码，或者可替代地，可以是被解释以获得实际计算机代码的指令的更高级编码。一个或更多个软件模块还可以包括一个或更多个硬件部件。示例算法的一个或更多个方面可由硬件部件(例如，电路)本身执行，而不是作为指令的结果。此外，在一些实施例中，工具模块202和部件模块204中的每一个均可以被配置为在部件之间传输一个或更多个信号。在这样的实施例中，这样的信号可以不限于由计算装置执行的机器指令。
在一些实施例中，工具模块202和部件模块204可以经由一个或更多个局域网通信。网络可以是任何合适的类型，包括经由互联网(诸如蜂窝或Wi-Fi网络)的单独连接。在一些实施例中，网络可以使用诸如射频识别(RFID)、近场通信(NFC)、蓝牙TM、低能耗蓝牙TM(BLE)、Wi-FiTM、ZigBeeTM、环境反向散射通信(ABC)协议、USB、WAN或LAN等的直接连接来连接终端、服务和移动装置。由于所传输的信息可以是个人的或机密的，安全问题可规定这些类型的连接中的一个或更多个被加密或以其他方式被保护。然而，在一些实施例中，所传输的信息可能是较少个人的，因此为了方便而不是安全，可选择网络连接。
工具模块202可以包括采集系统206、提取器模块208和预测模块210。通常，多节点或多站装配环境(诸如制造系统102)可以被广泛地表示为
Figure BDA0003607361980000071
其中
Figure BDA0003607361980000072
可以表示部件在所有i节点处的状态，并且
Figure BDA0003607361980000073
可以表示在所有i节点处，将由工具在部件上执行的一组动作。给定标准或规范质量测量Vc，工具模块202可以被配置为利用估计的质量度量
Figure BDA0003607361980000074
优化装配过程中的误差，使得
Figure BDA0003607361980000075
可以在阈值距离Vc内。在一些实施例中，工具模块202可以估计状态
Figure BDA0003607361980000076
以及动作
Figure BDA0003607361980000077
状态
Figure BDA0003607361980000078
可以是在所有N个节点处的部件的状态的数字表示，动作
Figure BDA0003607361980000079
可表示每个节点处的指令或控制值。
采集系统206可被配置为在每个节点N处接收装配过程的图像数据。在一些实施例中，采集系统206可以接收监测平台104的装配过程的图像数据。在一些实施例中，对于每个节点N，采集系统206可以接收V个图像，其中V可以表示可以记录每个节点处的装配过程的监测平台104的相机的数量。因此，V个图像中的每个图像可以在处理期间捕获部件的不同视角。在接收到图像数据之后，采集系统206可以被配置为提取帧的图像的子集。例如，采集系统206可以被配置为从所接收的图像数据中提取L个图像。提取的图像可被称为界标帧。界标帧可以是处于高运动的那些图像帧。提取的图像可包括包含部件的某些界标
Figure BDA0003607361980000081
的那些图像或帧，其中
Figure BDA0003607361980000082
并且可以表示部件的整个制造过程。
针对给定操作员的最小运动(例如，“界标”)帧和最大运动(例如，“高运动”)帧两者可以包含针对分类器的有用信息，所述分类器尝试跨多个操作员以鲁棒的方式使手指-手-臂数据与飞行性能数据相关联。在一些实施例中，光流算法可以用于测量任何给定帧中的运动量。采集系统206可以选择包含最多运动的那些帧。
提取器模块208可被配置为从L个图像提取关键点。例如，提取器模块208可被配置为每个界标Ii提取K个关键点(即，(x,y)对)。换言之，提取器模块208可被配置为针对给定输入
Figure BDA0003607361980000083
(其中l∈[0,L-1])，输出K个关键点。作为输出，提取器模块208可以生成单个向量
Figure BDA0003607361980000084
这个向量可以包括K个(x,y)对的界标表示，K个(x,y)对可以由
Figure BDA0003607361980000085
表示，其中i∈[0,L-1]。
在一些实施例中，为了生成
Figure BDA0003607361980000086
提取器模块208可以实现两种单独的算法：(1)边界框估计；以及(2)关键点检测。
关于边界框估计，给定
Figure BDA0003607361980000087
每个界标帧可以用阈值图像分割来处理以生成用于每个工具部件的掩模图像。例如，在工具是人的实施例中，提取器模块208可以针对用户的每只手生成掩模图像。在一些实施例中，提取器模块208可以实施斑点检测以定位工具的部件。使用人作为示例，提取器模块208可假设图像总是包含用户的左手和右手。当帧未能包含双手时，提取器模块208可向值分配任意常数值c。
关于关键点检测，提取器模块208可以基于估计的边界框识别工具的关键点。例如，在给定输入的情况下，提取器模块208可以估计K个点
Figure BDA0003607361980000088
连同其置信值
Figure BDA0003607361980000089
在一些实施例中，提取器模块208不仅可以估计在帧上可见的点，而且可以估计由于关节连接、视点、对象或工具交互中的一个或更多个而可能在帧中被遮挡的点。因为目的可能是使用跟踪的关键点来预测质量测量，所以非估计的被遮挡点可能是表示装配过程的独特且重要的特征。因此，遮挡阈值to可以从对界标帧的小的随机选择的子集中的遮挡点上的ci值的观测得出。使用to，提取器模块208可以过滤掉co<to的估计。对于那些经过滤的点，提取器模块208可以将任意的常数值c分配给它们。无论帧上的工具或关键点的可见度如何，提取器模块208的输出都可以包括用于每个部件的L*K(x,y)对。
换言之，提取器模块208可以被配置为为被遮挡的部件分配默认的基础置信水平，因此估计那些关键点，使得全组关键点可以被用于测量所观测的试验工具部件位置与规范工具部件位置之间的差异。在一些实施例中，工具模块202可以得出关于部件在给定时间点(例如，站i)处的状态的推断，然后输出推荐的根据规范修正的后续动作以进行校正测量的差异。
预测模块210可以被配置为预测最终质量度量
Figure BDA0003607361980000091
例如，给定L个时间点的工具跟踪信息
Figure BDA0003607361980000092
预测模块210可以被配置为预测最终质量度量
Figure BDA0003607361980000093
其中，
Figure BDA0003607361980000094
可以从每个处理站108收集。在一些实施例中，预测模块210可实现长短期记忆(LSTM)模型以输出最终质量度量。LSTM模型可允许预测模块210克服在常规递归神经网络中常见的消失梯度问题。消失梯度问题是模型未能针对长序列输入将早期输入与较晚输入相关的情况。LSTM模型消除了这个问题。
图3是示出根据示例实施例的LSTM模型的示例性架构的框图。如图所示，LSTM模型300可包括三层3021-3023(通常为层302)。如图所示，每个层302可以包括一个或更多个单元304。在一些实施例中，每个单元304的输入可以是pi，其中i∈[0,L-1]。LSTM中的每个单元可被定义为：
等式1：fi＝σ(Wf*[hi-1,pi]+bf)
等式2：I_i＝σ(W_I*[h_(i-1),p_i]+b_I)
等式3：c＝fi*ct-1+Ii*tanh(Wc*[hi-1,pi]+bc)
等式4：oi＝σ(Wo*[hi-1,pi]+bo)
等式5：hi＝oi*tanh ci
其中，等式1决定是否保持来自前一单元的信息；等式(2)决定更新哪些值；等式(3)更新单元；以及等式(4)决定输出哪个部分。等式(5)可对输出部分进行过滤，使得LSTM模型300仅输出其被编程为输出的内容。
在一些实施例中，LSTM模型300可包括具有30个隐藏尺寸的三个层302。在一些实施例中，LSTM模型300可为序列对一的LSTM模型。对于训练，可以使用亚当优化器来最小化L1、平均绝对误差(MAE)、损失函数：
Figure BDA0003607361980000101
在一些实施例中，不管误差的方向如何，都可以使用MAE，因为目标可以是最小化或减小误差的大小。
返回参见图2，可以使用规范指令集
Figure BDA0003607361980000102
和多个分量M来训练预测模块210。例如，使用M个数据的10个节点视频，可以通过首先通过采集系统206和提取器模块208进行预处理来构造预测模块210的输入。在一些实施例中，可以通过检查其成分(例如，形状)的验证算法来验证训练中涉及的每个分量。在一些实施例中，验证算法可以通过将成分与规范成分进行比较来计算关于每个节点的末端处的成分的相似性指数。因此，用于训练的分量大致类似于规范成分。
在一些实施例中，对于输出，可在受控环境中测试对应物理部件以测量其质量度量。使用具有对应输出数据的所准备的输入数据，预测模块210可以被训练，例如，其中M的一部分是训练数据并且M的另一部分是验证数据。一旦被训练，预测模块210就能够基于工具的图像数据在给定处理步骤处预测部件的质量测量。
现在参考部件模块204，部件模块204可以包括随机梯度下降(SGD)模块212、门控循环单元(GRU)模型214和模拟模块216。出于本讨论的目的，部件的部分构造可以被定义为
Figure BDA0003607361980000103
其中步骤k在制造过程中引入不可逆误差，并且步骤k+1,...,N尚未定义。部件模块204可以被配置为识别剩余动作的最优校正序列[{rk+1,tk+1},...,{rN,tN}]，其中，r和t可以对应于在制造系统102的每个后续处理站(k+1至N)处对部件执行的特定操作。更一般地，任何部件
Figure BDA0003607361980000104
可以被定义为在制造系统的每个处理站1...N处执行的所有操作的序列。在数学上，
Figure BDA0003607361980000105
在每个制造步骤i＝1,...,10处，虚拟表示系统可以将欧几里得空间中的分量(例如，
Figure BDA0003607361980000106
)表示为一组连接表面和沿着每个表面的外轮廓均匀分布的一组连接点。在一些实施例中，生成这些表示的虚拟表示函数可以被分别称为
Figure BDA0003607361980000107
和
Figure BDA0003607361980000108
在一些实施例中，部件模块204可以被配置为朝向特定的规范部件
Figure BDA0003607361980000109
校正
Figure BDA00036073619800001010
模拟模块216可以被配置为模拟或生成给定部件
Figure BDA0003607361980000111
的表面模型。例如，模拟模块216可以从工具模块202接收工具信息。基于由工具模块202生成的关键点，模拟模块216可以被配置为在特定过程步骤i处生成表示部件
Figure BDA0003607361980000112
的状态的表面模型。在一些实施例中，表面模型可以被表示为
Figure BDA0003607361980000113
在一些实施例中，模拟模块216可以进一步被配置为生成或估计部件
Figure BDA0003607361980000114
的质量度量。根据表面模型，模拟模块216可以被配置为生成表示部件
Figure BDA0003607361980000115
的特定坐标的点模型
Figure BDA0003607361980000116
例如，根据表面模型
Figure BDA0003607361980000117
模拟模块216可以通过在
Figure BDA0003607361980000118
中围绕每个表面的边界轮廓均匀地间隔放置多个点来创建点模型
Figure BDA0003607361980000119
在一些实施例中，
Figure BDA00036073619800001110
可以用于模拟人工制品
Figure BDA00036073619800001111
的性能。
SGD模块212可以从模拟模块216接收点模型
Figure BDA00036073619800001112
SGD模块212可以通过在步骤i处将点模型
Figure BDA00036073619800001113
与规范部件
Figure BDA00036073619800001114
的规范点模型
Figure BDA00036073619800001115
进行比较来确定是否已经发生不可逆误差k。不可逆误差可以被定义为在步骤k与规范部件的可测量地显著的结构偏差。SGD模块212可以被配置为通过取豪斯多夫(Hausdorff)距离来检测不可逆误差。例如，SGD模块212可以基于相应的欧几里得点集将当前部件
Figure BDA00036073619800001116
的处理步骤与规范部件
Figure BDA00036073619800001117
进行匹配。在数学上，SGD模块212可以被配置为计算
Figure BDA00036073619800001118
与
Figure BDA00036073619800001119
(其中i∈i＝1,...,N)之间的豪斯多夫距离。例如，
Figure BDA00036073619800001120
其中d(x,y)可以是x和y之间的欧几里得距离，并且无向豪斯多夫距离可以是：
H(X,Y)＝max{h(X,Y),h(Y,X)
在当前部件
Figure BDA00036073619800001121
与规范部件
Figure BDA00036073619800001122
之间的豪斯多夫距离超过某个阈值容差时，可能存在不可逆误差。例如，SGD模块212可以在以下情况下确定在步骤k处发生误差：
Figure BDA00036073619800001123
其中，τH是一些适当定义的容差阈值。
假设存在误差，SGD模块212可以被配置为构造一组更新的动作[{rk+1,tk+1},...,{rN,tN}]，假定是直到误差点(不可逆误差k)的一组动作。在一些实施例中，该组更新的动作可被称为xtail。在误差步骤k之前且包括误差步骤k的步骤或动作的序列可称为xhead。xtail和xhead一起可以定义部件
Figure BDA0003607361980000121
基于xhead，SGD模块212可以使用随机梯度下降法求解xtail。
GRU模型214可以被配置为基于
Figure BDA0003607361980000122
来预测部件
Figure BDA0003607361980000123
的最终质量度量，其中
Figure BDA0003607361980000124
可以表示向量级联运算符。由GRU模型214生成的最终质量度量可以与规范最终质量度量进行比较，以确定xtail是否合适。例如，假设xtail和xhead的组合产生落在可接受值范围之外的最终质量度量，则GRU模型214可以指示SGD模块212生成用于进一步评估的更新的动作的更新的序列。
图5是示出根据示例实施例的GRU模型214的架构的框图。如图所示，GRU模型214可以包括N个GRU单元5021-502N(通常为GRU单元502)，其中每个GRU单元502对应于相应的处理站108。每个GRU单元502可以包括预定尺寸的输入对(ri,ti)和隐藏状态输出
Figure BDA0003607361980000125
这些输入对(ri,ti)可以一起定义给定部件
Figure BDA0003607361980000126
在一些实施例中，每个GRU单元502可以由以下定义：
Figure BDA0003607361980000127
Figure BDA0003607361980000128
Figure BDA0003607361980000129
Figure BDA00036073619800001210
其中，
Figure BDA00036073619800001211
可以是在时间t处的隐藏状态，
Figure BDA00036073619800001212
可以是在时间t处的输入，并且
Figure BDA00036073619800001213
和
Figure BDA00036073619800001214
可以分别表示在时间t处的复位、更新和新门。
GRU模型214可以被训练以生成与其对应的权重。例如，可以迭代地训练GRU模型214，以使GRU模型214偏向求解特定子问题。在一些实施例中，在第一迭代过程中，GRU模型214可以生成多个(例如，几百至几千个)最佳预测(步骤k处针对每个可能的误差的最佳预测)以在步骤k+1,...,N处，连同对应于每个预测的对应的预测的质量度量，完成给定部件
Figure BDA00036073619800001215
在一些实施例中，可以在虚拟表示系统中渲染所有预测的飞机完成，计算它们的逐步豪斯多夫距离，并模拟它们的渲染表面，以获得生成的预测和规范之间的距离测量。在一些实施例中，可以计算规范质量度量与预测质量度量之间的损耗值并将该损耗值反馈到GRU模型214中，可以经由反向传播来调整GRU模型的权重，从而产生第二迭代。此过程可继续，直到获得期望的误差阈值。
图4是形象地示出了根据示例实施例的用于工具模块202的反馈区段400的整体处理流程的框图。
如图所示，反馈区段400可以包括第一部分402、第二部分404和第三部分406。在第一部分402期间，工具模块202可以执行采集过程，诸如至少部分由采集系统206执行的采集过程。
如图所示，在框408处，制造系统102可以接收用于处理部件的处理指令。在一些实施例中，制造系统102可以在每个站108的基础上接收处理指令。例如，制造系统102的每个站108可以接收独立的处理指令。在一些实施例中，处理指令可包括定义用于制造的站108的属性(例如，温度、压力等)的控制值。在一些实施例中，处理指令可以包括形象地向人工操作员示出如何在制造过程的处理节点处执行特定处理步骤的视频或图像。
在框410处，采集系统206可以从监测平台104接收图像数据。在一些实施例中，对于每个节点N，采集系统206可以接收V个图像，其中V可以表示可以记录每个节点处的装配过程的监测平台104的相机的数量。在接收到图像数据之后，在框412处，采集系统206可以被配置为提取帧的图像的子集。例如，采集系统206可以被配置为从所接收的图像数据中提取L个图像。提取的图像可被称为界标帧。提取的图像可包括包含某些界标的那些图像或帧，并且可表示部件的整个制造过程。
第二部分404可以对应于由提取器模块208执行的操作。如图所示，提取器模块208可从采集系统206至少接收提取的图像。提取器模块208可被配置为从L个图像提取关键点。例如，提取器模块208可以被配置为每个界标Ii提取K个关键点(即，(x,y)对)。
在框414处，提取器模块208可以执行边界框估计。例如，给定
Figure BDA0003607361980000131
每个界标帧可以用阈值图像分割来处理以生成用于每个工具部件的掩模图像。例如，如所示出的，在工具是人的实施例中，提取器模块208可以针对用户的每只手生成掩模图像。
在框416处，在给定边界框估计的情况下，提取器模块208可执行关键点检测。例如，在给定输入的情况下，提取器模块208可以估计K个点
Figure BDA0003607361980000141
连同其置信值
Figure BDA0003607361980000142
在一些实施例中，提取器模块208不仅可以估计在帧上可见的点，而且可以估计由于关节连接、视点、对象或工具交互中的一个或更多个而可能在帧中被遮挡的点。
第三部分406可对应于由预测模块210执行的操作。如所示出的，在框418处，预测模块210可以从提取器模块208接收关键点信息，并且可以被配置为预测最终质量度量
Figure BDA0003607361980000143
在一些实施例中，预测模块210可实现长短期记忆(LSTM)模型以输出最终质量度量。
图6是示出根据示例实施例的校正多步骤制造过程的方法600的流程图。方法600可在步骤602处开始。
在步骤602处，可以将指令集提供给制造系统102。指令集可以表示用于由制造系统102执行的制造过程的一组指令。在一些实施例中，可以将指令集提供给每个站108。例如，提供给每个相应站108的每个规范指令集可以定义用于特定制造步骤的处理参数。在另一示例中，每个规范指令集可以是将由人工参与者在特定处理节点或站108处执行的离散步骤的视频。
在步骤604处，控制模块106可以从监测平台104接收工具(例如，站108)的图像数据。例如，采集系统206可以在相应的处理节点处接收装配过程的图像数据。在一些实施例中，采集系统206可接收V个图像，其中V可表示可记录特定处理站108处的装配过程的监测平台104的相机的数量。因此，V个图像中的每个图像可以在处理期间捕获工具的不同视角。
在步骤606处，控制模块106可从获得的图像数据提取图像子集。例如，在接收到图像数据之后，采集系统206可以被配置为提取帧的图像的子集。例如，采集系统206可以被配置为从接收的图像数据提取L个图像，即界标帧。提取的图像可被称为界标帧。界标帧可以是处于高运动的那些图像帧。提取的图像可包括包含部件的某些界标
Figure BDA0003607361980000144
的那些图像或帧，其中
Figure BDA0003607361980000145
并且可以表示部件的整个制造过程。
在步骤608处，控制模块106可以从界标帧中提取工具的一个或更多个关键点。例如，提取器模块208可从L个图像中提取关键点。提取器模块208可识别或提取给定输入
Figure BDA0003607361980000146
的K个关键点，其中l∈[0,L-1]。作为输出，提取器模块208可以生成单个向量
Figure BDA0003607361980000147
这个向量可以包括K个(x,y)对的界标表示，这些表示可以由
Figure BDA0003607361980000151
表示，其中i∈[0,L-1]。
在步骤610处，控制模块106可至少基于所识别的关键点来预测部件的最终质量度量。在一些实施例中，预测模块210可实现长短期记忆(LSTM)模型以输出最终质量度量。
在步骤612处，控制模块106可以将最终质量度量与期望的质量度量进行比较。如果在步骤610处，控制模块106确定最终质量度量是期望的质量度量的阈值容差，则制造过程可以根据原始指令集继续进行到下一处理站或节点(例如，步骤616)。然而，如果在步骤612处，控制模块106确定最终质量度量不在期望的质量度量的阈值容差内，则在步骤614处，控制模块106可以调整下游处理站的处理参数。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供将在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
图7是示出了根据示例实施例的校正多步骤制造过程的方法700的流程图。方法700可以在步骤702处开始。
在步骤702处，可以将指令集提供给制造系统102。指令集可以表示用于由制造系统102执行的制造过程的一组指令。在一些实施例中，可以将指令集提供给每个站108。例如，提供给每个相应站108的每个规范指令集可以定义用于特定制造步骤的处理参数。在另一示例中，每个规范指令集可以是将由人工参与者在特定处理节点或站108处执行的离散步骤的视频。
在步骤704处，控制模块106可以识别对应于相应处理节点处的部件的信息。在一些实施例中，模拟模块216可以从工具模块202接收工具信息。基于由工具模块202生成的关键点，模拟模块216可以被配置为在特定处理步骤i处生成表示部件
Figure BDA0003607361980000152
的状态的表面模型。在一些实施例中，表面模型可以被表示为
Figure BDA0003607361980000153
在一些实施例中，模拟模块216可以进一步被配置为生成或估计部件
Figure BDA0003607361980000154
的质量度量。根据表面模型中，模拟模块216可以被配置为生成表示部件
Figure BDA0003607361980000155
的特定坐标的点模型
Figure BDA0003607361980000156
在步骤706处，控制模块106可以确定是否已经发生不可逆误差。例如，SGD模块212可以从模拟模块216接收点模型
Figure BDA0003607361980000157
SGD模块212可以通过在步骤i处将点模型
Figure BDA0003607361980000161
与规范部件
Figure BDA0003607361980000162
的规范点模型
Figure BDA0003607361980000163
进行比较来确定是否已经发生不可逆误差k。SGD模块212可以被配置为通过取点模型与对应的规范点模型之间的豪斯多夫距离来检测不可逆误差。当在相应处理站或节点处的当前部件
Figure BDA0003607361980000164
与规范部件
Figure BDA0003607361980000165
之间的豪斯多夫距离超过某个阈值容差时，可能存在不可逆误差。
如果在步骤706处，控制模块106确定没有发生不可逆误差，那么根据原始指令集，制造过程可以进行到下一处理站或节点(步骤705)。然而，如果在步骤706处，控制模块106确定已经发生不可逆误差，则方法700前进到步骤708。
在步骤708处，控制模块106可以生成更新的一组动作以校正不可逆误差。SGD模块212可以构造一组更新的动作[{rk+1,tk+1},...,{rN,tN}]，假定是直到误差点(不可逆误差k)的一组动作。在一些实施例中，该组更新的动作可被称为xtail。在误差步骤k之前且包括误差步骤k的步骤或动作的序列可称为xhead。xtail和xhead一起可以定义部件
Figure BDA0003607361980000166
基于xhead，SGD模块212可以使用随机梯度下降法求解xtail。在误差步骤k之前且包括误差步骤k的步骤或动作的序列可称为xhead。xtail和xhead一起可以定义部件
Figure BDA0003607361980000167
基于xhead，SGD模块212可以使用随机梯度下降法求解xtail。
在步骤710处，控制模块106可以基于由SGD模块212生成的一组动作来生成部件的预测的最终质量度量。例如，GRU模型214可以被配置为基于
Figure BDA0003607361980000168
来预测部件
Figure BDA0003607361980000169
的最终质量度量，其中
Figure BDA00036073619800001610
可以表示向量级联运算符。
在步骤712处，控制模块106可以确定预测的最终质量度量是否在规范最终质量度量的阈值容差内。例如，由GRU模型214生成的最终质量度量可以与规范最终质量度量进行比较，以确定xtail是否合适。在步骤712处，如果控制模块106确定预测的质量度量在阈值容差内，则在步骤714处，控制模块106可以调整下游处理站的处理参数。在一些实施例中，控制模块106可以与后续站108中的站控制器对接，以调整它们相应的控制和/或站参数。在一些实施例中，控制模块106可为人类制造商提供在生产线的每个下游处理站处执行的更新的指令。这些调整可有助于校正制造过程，使得最终质量度量可在可接受质量度量的范围内。
然而，如果在步骤712处，控制模块106确定预测的质量度量不在阈值容差内，则GRU模型214可以提示SGD模块212生成新的xtail。例如，方法700可以返回到步骤708以使SGD模块212构造新的一组更新的动作。
图8A示出了根据示例实施例的系统总线计算系统架构800。系统800的一个或更多个部件可以使用总线805彼此电通信。系统800可以包括处理器(例如，一个或更多个CPU、GPU或其他类型的处理器)810和系统总线805，该系统总线805将包括系统存储器815(诸如只读存储器(ROM)820和随机存取存储器(RAM)825)的各个系统部件耦接至处理器810。系统800可以包括与处理器810直接连接、紧密接近或集成为处理器810的一部分的高速存储器的高速缓存。系统800可以将数据从存储器815和/或存储装置830复制到高速缓存812以供处理器810快速访问。以此方式，高速缓存812可提供避免处理器810在等待数据时延迟的性能提升。这些和其他模块可以控制或被配置为控制处理器810以执行各种动作。其他系统存储器815也可供使用。存储器815可以包括具有不同性能特性的多个不同类型的存储器。处理器810可以表示单个处理器或多个处理器。处理器810可包括通用处理器或硬件模块或软件模块中的一个或更多个，诸如存储在存储装置830中的的服务1 832、服务2 834和服务3836，通用处理器或硬件模块或软件模块中的一个或更多个被配置为控制处理器810，以及其中软件指令被合并到实际处理器设计中的专用处理器。处理器810实质上可以是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现与计算装置800的用户交互，输入装置845可以是任何数量的输入机构，如用于语音的麦克风、用于手势或图形输入的触敏屏、键盘、鼠标、运动输入、语音等等。输出装置835还可以是本领域技术人员已知的多个输出机构中的一个或更多个。在一些实例中，多模式系统可以使得用户能够提供多种类型的输入来与计算装置800通信。通信接口840通常可以控制和管理用户输入和系统输出。对在任何特定硬件布置上的操作没有限制，因此，此处的基本特征可以容易地替代为改进的硬件或固件布置，因为它们被开发。
存储装置830可以是非易失性存储器并且可以是硬盘或可以存储由计算机可访问的数据的其他类型的计算机可读介质，如磁带盒、闪存卡、固态存储器装置、数字通用盘、盒式磁带、随机存取存储器(RAM)825、只读存储器(ROM)820、以及它们的混合。
存储装置830可以包括用于控制处理器810的服务832、834和836。其他硬件或软件模块是可预期的。存储装置830可以被连接到系统总线805。在一个方面，执行特定功能的硬件模块可包括存储在计算机可读介质中的软件部件，该软件部件与必要硬件部件(诸如处理器810、总线805、显示器835等)连接，以执行该功能。
图8B示出了根据示例实施例的具有芯片组架构的计算机系统850。计算机系统850可以是可用于实现所公开的技术的计算机硬件、软件和固件的示例。系统850可包括一个或更多个处理器855，该一个或更多个处理器855表示能够执行软件、固件和硬件的任何数目的物理和/或逻辑上不同的资源，软件、固件和硬件被配置为执行识别的计算。一个或更多个处理器855可与芯片组860通信，芯片组860可控制到一个或更多个处理器855的输入和从一个或更多个处理器855的输出。在此示例中，芯片组860将信息输出到输出865(例如，显示器)，且可将信息读取并将其写入到存储装置870，存储装置870可包括例如磁介质和固态介质。芯片组860还可以从RAM 875读取数据和向RAM 875写入数据。可以提供用于与各种用户接口部件885连接的桥880以用于与芯片组860连接。这样的用户接口部件885可以包括键盘、麦克风、触摸检测和处理电路、诸如鼠标之类的指点装置等。一般而言，到系统850的输入可以来自机器生成和/或人工生成的各种源中的任何源。
芯片组860还可以与可以具有不同物理接口的一个或更多个通信接口890连接。这样的通信接口可以包括用于有线和无线局域网、用于宽带无线网络以及个人局域网的接口。本文公开的用于生成、显示和使用GUI的方法的一些应用可包括通过物理接口接收经排序的数据集，或由机器本身通过一个或更多个处理器855分析存储在存储装置870或875中的数据来生成。进一步，机器可通过用户接口部件885从用户接收输入，并通过使用一个或更多个处理器855解释这些输入来执行适当的功能，诸如浏览功能。
可以认识到，示例系统800和850可以具有多于一个的处理器810或是联网在一起以提供更大处理能力的计算装置组或群集的一部分。
虽然前述内容针对本文描述的实施例，但是在不背离其基本范围的情况下，可以设计其他和进一步的实施例。例如，本公开的各方面可用硬件或软件或硬件和软件的组合来实现。本文描述的一个实施例可以实现为与计算机系统一起使用的程序产品。程序产品的程序定义实施例的功能(包括本文描述的方法)，并且可以被包含在各种计算机可读存储介质上。说明性计算机可读存储介质包括但不限于：(i)其上永久地存储信息的非可写存储介质(例如，计算机内的只读存储器(ROM)装置，诸如可由CD-ROM驱动器读取的CD-ROM盘、闪存、ROM芯片或任何类型的固态非易失性存储器)；以及(ii)其上存储有可变信息的可写存储介质(例如，盘驱动器内的软盘或硬盘驱动器或任何类型的固态随机存取存储器)。当携带指导所公开的实施例的功能的计算机可读指令时，这样的计算机可读存储介质是本公开的实施例。
本领域技术人员将理解的是，前述示例是示例性的而非限制性的。在阅读说明书和研究附图时，所有置换、增强、等同物、及其改进对于本领域技术人员而言都是显而易见的，都被包括在本公开的真实精神和范围内。因此，所附权利要求旨在包括落入这些教导的真实精神和范围内的所有这些修改、置换和等同物。

Claims (20)

1.一种制造系统，包括：
一个或更多个站，每个站被配置为执行部件的多步骤制造过程中的至少一个步骤；
监测平台，所述监测平台被配置为监测所述部件在整个所述多步骤制造过程中的进展；以及
控制模块，所述控制模块被配置为动态地调整所述多步骤制造过程的步骤的处理参数以实现所述部件的期望的最终质量度量，所述控制模块被配置为执行操作，所述操作包括：
接收所述一个或更多个站中的第一站的工具的图像数据；
从所述图像数据识别一组关键点，所述一组关键点对应于所述工具在所述第一站处的处理期间的位置信息；
通过机器学习模型，基于所述一组关键点来确定所述部件的最终质量度量；
确定所述最终质量度量不在所述最终质量度量的阈值容差内；以及
基于所述确定，更新所述多步骤制造过程的后续站的处理参数。
2.根据权利要求1所述的制造系统，其中，在所述部件的处理完成之前，不测量所述最终质量度量。
3.根据权利要求1所述的制造系统，其中，所述图像数据包括多个图像，每个图像对应于相应的相机。
4.根据权利要求1所述的制造系统，其中，所述操作还包括：
从所述图像数据提取图像子集，其中，所述图像子集中的每个图像包括所述第一站的工具。
5.根据权利要求1所述的制造系统，其中从所述图像数据中识别所述一组关键点包括：
将斑点检测应用于所述图像数据以识别所述图像数据中工具的位置。
6.根据权利要求5所述的制造系统，还包括：
生成对应于所述图像数据中的所述工具的多个点。
7.根据权利要求1所述的制造系统，其中，所述机器学习模型是长短期记忆模型。
8.一种制造系统，包括：
一个或更多个处理站，每个处理站被配置为执行部件的多步骤制造过程中的至少一个步骤；
监测平台，所述监测平台被配置为监测所述部件在整个所述多步骤制造过程的进展；以及
控制模块，所述控制模块被配置为动态地调整所述多步骤制造过程的步骤的处理参数以实现所述部件的期望的最终质量度量，所述控制模块被配置为执行操作，所述操作包括：
在所述一个或更多个处理站中的第一处理站处识别对应于所述部件的位置信息；
基于对应于所述部件的所述位置信息确定存在不可逆误差；
基于所述确定，生成更新的指令集以校正所述不可逆误差，所述更新的指令集由下游处理站执行；
通过机器学习模型，基于所述更新的指令集预测所述部件的最终质量度量；以及
基于所预测的最终质量度量，将所述更新的指令集提供给所述下游处理站。
9.根据权利要求8所述的制造系统，其中，在所述部件的处理完成之前，不测量所述最终质量度量。
10.根据权利要求8所述的制造系统，其中，识别对应于所述部件的位置信息包括：
接收对应于所述部件的坐标的一组点。
11.根据权利要求10所述的制造系统，其中，基于对应于所述部件的所述位置信息确定存在所述不可逆误差包括：
将对应于所述部件的坐标的一组点与对应于规范部件的规范的一组点进行比较。
12.根据权利要求11所述的制造系统，其中，将对应于所述部件的坐标的一组点与对应于所述规范部件的规范的一组点进行比较包括：
生成所述一组点与所述规范的一组点之间的豪斯多夫距离。
13.根据权利要求8所述的制造系统，其中，生成所述更新的指令集以校正所述不可逆误差包括：
将随机梯度下降应用于在所述不可逆误差之前发生的一组动作。
14.根据权利要求13所述的制造系统，其中，在所述不可逆误差之前发生的所述一组动作包括用于每个上游系统的相应的一组动作。
15.根据权利要求8所述的制造系统，其中，将所述更新的指令集提供给所述下游站包括：
调整每个下游系统的控制参数。
16.一种制造系统，包括：
一个或更多个站，每个站被配置为执行部件的多步骤制造过程中的至少一个步骤；
监测平台，所述监测平台被配置为监测所述部件在整个所述多步骤制造过程中的进展；以及
控制模块，所述控制模块被配置为动态地调整所述多步骤制造过程的步骤的处理参数以实现所述部件的期望的最终质量度量，所述控制模块被配置为执行操作，所述操作包括：
接收所述一个或更多个站中的第一站的工具的图像数据；
从所述图像数据识别一组关键点，所述一组关键点对应于所述工具在所述第一站处的处理期间的位置信息；
通过机器学习模型，基于所述一组关键点来确定所述部件的最终质量度量；
确定所述最终质量度量不在所述最终质量度量的阈值容差内；
基于所述确定，推断对应于所述第一站处的部件的位置信息；
基于所述确定，生成将由下游站执行的更新的指令集；
通过机器学习模型，基于所述更新的指令集预测所述部件的最终质量度量；以及
基于所预测的最终质量度量，将所述更新的指令集提供给所述下游站。
17.根据权利要求16所述的制造系统，其中，在所述部件的处理完成之前，不测量所述最终质量度量。
18.根据权利要求17所述的制造系统，还包括：
基于对应于所述部件的位置信息确定存在不可逆误差。
19.根据权利要求18所述的制造系统，还包括：
将对应于所述部件的坐标的一组点与对应于规范部件的规范的一组点进行比较。
20.根据权利要求16所述的制造系统，其中，生成所述更新的指令集以校正所述不可逆误差包括：
将随机梯度下降应用于在所述不可逆误差之前发生的一组动作。
CN202080073852.7A 2019-11-06 2020-11-06 用于制造过程的系统、方法和介质 Pending CN114585981A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962931448P 2019-11-06 2019-11-06
US201962931453P 2019-11-06 2019-11-06
US62/931,448 2019-11-06
US62/931,453 2019-11-06
US201962932063P 2019-11-07 2019-11-07
US62/932,063 2019-11-07
PCT/US2020/059339 WO2021092329A1 (en) 2019-11-06 2020-11-06 Systems, methods, and media for manufacturing processes

Publications (1)

Publication Number Publication Date
CN114585981A true CN114585981A (zh) 2022-06-03

Family

ID=75687746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080073852.7A Pending CN114585981A (zh) 2019-11-06 2020-11-06 用于制造过程的系统、方法和介质

Country Status (7)

Country Link
US (1) US20210132593A1 (zh)
EP (1) EP4055454A4 (zh)
JP (2) JP7320885B2 (zh)
KR (1) KR20220093171A (zh)
CN (1) CN114585981A (zh)
TW (2) TW202223567A (zh)
WO (1) WO2021092329A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192779A1 (en) * 2019-11-06 2021-06-24 Nanotronics Imaging, Inc. Systems, Methods, and Media for Manufacturing Processes
CN113516285B (zh) * 2021-05-12 2024-02-13 中船重工鹏力（南京）智能装备系统有限公司 自动化装配检测生产线在生产中产品质量分析预测方法
TWI813096B (zh) * 2021-12-15 2023-08-21 科智企業股份有限公司 工件加工部位之指示方法與系統
CN115202310B (zh) * 2022-08-12 2024-01-09 山东品正金属制品有限公司 一种电动汽车电机扣件的自动化加工方法及系统
KR102604762B1 (ko) * 2022-08-29 2023-11-22 주식회사 어시스트키친 뉴럴 네트워크를 이용하여 예측된 배송량에 기반하여 물류 거점에 대한 배송량을 결정하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030431A1 (en) * 2002-08-07 2004-02-12 Popp Robert L. System and method for tracking and exploiting per station information from a multiple repeat manufacturing device
US20060013505A1 (en) * 2002-11-06 2006-01-19 Shing-Tung Yau Analysis of geometric surfaces by comformal structure
US20180005083A1 (en) * 2015-09-16 2018-01-04 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
US20180144248A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. SENTINEL LONG SHORT-TERM MEMORY (Sn-LSTM)
CN108780314A (zh) * 2016-01-20 2018-11-09 罗伯特·博世有限公司 针对不稳定环境的模型适配和在线学习
US20190180153A1 (en) * 2015-08-14 2019-06-13 Elucid Bioimaging Inc. Methods and systems for utilizing quantitative imaging

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486813B2 (en) * 1998-10-08 2009-02-03 Easton Hunt Capital Partners, L.P. Electronic assembly video inspection system
JP4677679B2 (ja) * 2001-03-27 2011-04-27 株式会社デンソー 製品の製造プロセスにおける特性調整方法
DE102011075467A1 (de) * 2011-05-06 2012-11-08 Deckel Maho Pfronten Gmbh Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken
JP5984096B2 (ja) * 2011-08-30 2016-09-06 ディジマーク コーポレイション 物体を識別する方法及び機構
US9110452B2 (en) * 2011-09-19 2015-08-18 Fisher-Rosemount Systems, Inc. Inferential process modeling, quality prediction and fault detection using multi-stage data segregation
US9056422B2 (en) * 2013-04-09 2015-06-16 Massachusetts Institute Of Technology Methods and apparatus for encoded textures
US9855698B2 (en) * 2013-08-07 2018-01-02 Massachusetts Institute Of Technology Automatic process control of additive manufacturing device
DE102013018654A1 (de) * 2013-10-30 2015-04-30 Jenoptik Automatisierungstechnik Gmbh Verfahren und Vorrichtung zur Detektion und zur Korrektur einer räumlichen Lage eines in einer Positionierungseinrichtung gehaltenen Werkstücks
CN106662439B (zh) 2014-06-05 2019-04-09 联邦科学和工业研究组织 增材制造中变形的预测及最小化
CN105488806B (zh) * 2015-12-23 2018-08-03 华中科技大学 一种工件位置追踪定位方法及定位系统
JP2017113979A (ja) 2015-12-24 2017-06-29 キヤノン株式会社 造形装置、造形方法及びプログラム
JP6694643B2 (ja) 2016-02-19 2020-05-20 国立研究開発法人産業技術総合研究所 ワークの加工方法
JP6749582B2 (ja) 2016-05-20 2020-09-02 富士ゼロックス株式会社 ３次元データ生成装置、３次元造形装置、造形物の製造方法及びプログラム
JP2017215277A (ja) * 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
CN110799286B (zh) 2017-06-20 2023-02-28 卡尔蔡司工业测量技术有限公司 用于增材制造的方法和设备
US10753955B2 (en) * 2017-06-30 2020-08-25 General Electric Company Systems and method for advanced additive manufacturing
US10710307B2 (en) 2017-08-11 2020-07-14 Applied Materials, Inc. Temperature control for additive manufacturing
US11511373B2 (en) * 2017-08-25 2022-11-29 Massachusetts Institute Of Technology Sensing and control of additive manufacturing processes
US11609623B2 (en) * 2017-09-01 2023-03-21 Qualcomm Incorporated Ultra-low power neuromorphic artificial intelligence computing accelerator
US10102495B1 (en) * 2017-12-18 2018-10-16 Samsara Networks Inc. Automatic determination that delivery of an untagged item occurs
JP2019155606A (ja) 2018-03-07 2019-09-19 株式会社リコー 造形装置、造形システムおよび方法
JP2019177494A (ja) 2018-03-30 2019-10-17 株式会社リコー 制御システム、造形システムおよびプログラム
JP7068927B2 (ja) 2018-05-28 2022-05-17 株式会社第一興商 彫刻レッスンシステム、彫刻レッスン用プログラム
JP7091876B2 (ja) 2018-06-22 2022-06-28 株式会社リコー 造形装置、制御装置および方法
JP2020001302A (ja) * 2018-06-29 2020-01-09 株式会社リコー 造形予測システム、造形予測表示システム、情報処理装置およびプログラム
JP7091973B2 (ja) * 2018-09-26 2022-06-28 株式会社リコー 定着装置と画像形成装置並びに定着方法
JP7146576B2 (ja) * 2018-10-29 2022-10-04 芝浦機械株式会社 積層造形装置、積層造形方法、及びプログラム
JP6964801B2 (ja) * 2018-11-09 2021-11-10 三菱電機株式会社 積層造形装置
WO2020106725A1 (en) * 2018-11-20 2020-05-28 Relativity Space, Inc. Real-time adaptive control of manufacturing processes using machine learning
JP7062577B2 (ja) * 2018-11-21 2022-05-06 株式会社日立製作所 製造条件特定システムおよび方法
JP7147511B2 (ja) * 2018-11-27 2022-10-05 株式会社リコー 立体物形成装置、立体物形成方法、及びプログラム
DE102018221002A1 (de) * 2018-12-05 2020-06-10 Robert Bosch Gmbh Steuereinrichtung zur Steuerung einer Fertigungsanlage sowie Fertigungsanlage und Verfahren
JP2020132937A (ja) 2019-02-18 2020-08-31 キヤノン株式会社 製造方法、三次元造形装置
JP2020138394A (ja) 2019-02-27 2020-09-03 株式会社リコー 造形装置、システム、方法およびプログラム
KR20220054673A (ko) * 2019-09-10 2022-05-03 나노트로닉스 이미징, 인코포레이티드 제조 공정을 위한 시스템, 방법 및 매체
JP7103379B2 (ja) 2020-03-23 2022-07-20 株式会社ニコン 三次元造形物製造装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040030431A1 (en) * 2002-08-07 2004-02-12 Popp Robert L. System and method for tracking and exploiting per station information from a multiple repeat manufacturing device
US20060013505A1 (en) * 2002-11-06 2006-01-19 Shing-Tung Yau Analysis of geometric surfaces by comformal structure
US20190180153A1 (en) * 2015-08-14 2019-06-13 Elucid Bioimaging Inc. Methods and systems for utilizing quantitative imaging
US20180005083A1 (en) * 2015-09-16 2018-01-04 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
CN108780314A (zh) * 2016-01-20 2018-11-09 罗伯特·博世有限公司 针对不稳定环境的模型适配和在线学习
US20180144248A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. SENTINEL LONG SHORT-TERM MEMORY (Sn-LSTM)

Also Published As

Publication number Publication date
JP2023145545A (ja) 2023-10-11
WO2021092329A1 (en) 2021-05-14
KR20220093171A (ko) 2022-07-05
TWI760916B (zh) 2022-04-11
TW202223567A (zh) 2022-06-16
JP7320885B2 (ja) 2023-08-04
TW202134808A (zh) 2021-09-16
EP4055454A1 (en) 2022-09-14
EP4055454A4 (en) 2024-01-31
US20210132593A1 (en) 2021-05-06
JP2022554302A (ja) 2022-12-28

Similar Documents

Publication Publication Date Title
CN114585981A (zh) 用于制造过程的系统、方法和介质
US11117328B2 (en) Systems, methods, and media for manufacturing processes
US20210311440A1 (en) Systems, Methods, and Media for Manufacturing Processes
US20210263495A1 (en) Systems, Methods, and Media for Manufacturing Processes
TWI802374B (zh) 用於校正製造程序之系統、方法及非暫態電腦可讀媒體
CN115210744A (zh) 用于制造过程的系统、方法和介质
US20210192779A1 (en) Systems, Methods, and Media for Manufacturing Processes
CN112329510A (zh) 跨域度量学习系统和方法
CN115943428A (zh) 用于制造过程的系统、方法和介质
KR102623979B1 (ko) 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법
JP7371776B2 (ja) 画像分類装置、画像分類方法、及び、画像分類プログラム
US20230342908A1 (en) Distortion prediction for additive manufacturing using image analysis
JP2023145546A (ja) 製造プロセスのためのシステム、方法、および媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination